Hvad betyder Model cascade?
En modelkaskade starter med én behandling og vurderer derefter, om resultatet er tilstrækkeligt. Hvis det ikke er det, kan opgaven gå videre til en anden model, en ny metode eller en person. Formålet kan være at bruge mere omfattende behandling dér, hvor den er nødvendig.
Det adskiller sig fra routing, som typisk vælger en vej før modelkaldet. En kaskade har allerede brugt ressourcer på et første resultat. Den samlede pris og svartid afhænger derfor af, hvor ofte opgaver eskaleres, og hvor meget hvert trin koster.
Vurderingen mellem trinene er afgørende. En models egen sikre formulering er ikke et pålideligt bevis på korrekthed. Kontrollen kan i stedet omfatte feltschema, kildegrundlag, konkrete forretningsregler og en evalueret metode til at opdage utilstrækkelige resultater.
Definér, hvornår et resultat må gå videre
Start med kontroller, der kan beskrives præcist. Et påkrævet felt kan mangle, en sum kan være forkert, eller en kilde kan være uden for det tilladte materiale. Nogle fejl kræver ny behandling; andre kræver mere information fra en person.
En anden model kan ikke nødvendigvis løse et problem, som skyldes manglende input. Kaskaden bør kunne stoppe og forklare, hvad der mangler, frem for at fortsætte gennem stadig dyrere gæt.
Giv hvert trin en grænse og en ejer
Aftal maksimalt antal trin, budget, timeout og sluttilstand. Registrér, hvilken kontrol der udløste eskalering, og hvilket resultat der blev godkendt. Det gør det muligt at undersøge både kvalitet og unødvendige gentagelser.
Test også fejlsituationer: utilgængelig model, delvist resultat eller en kontrol, der selv fejler. En kaskade skal have en forståelig udgang, selv når ingen automatiske trin kan gennemføre opgaven.
Et eksempel fra praksis
Forestil jer et dokumentflow, hvor en første model udtrækker felter fra simple bilag. Strukturel og numerisk validering kontrollerer resultatet. Dokumenter med tvivlsomt layout kan gå til en anden behandling, mens manglende obligatoriske oplysninger går til manuel gennemgang.
Piloten registrerer, hvor mange bilag der gennemfører hvert trin, og hvor mange fejl kontrollen overser. Pris og tid beregnes for hele forløbet pr. godkendt bilag. Et billigt første kald er kun en fordel, hvis det ikke skaber for mange ekstra trin eller skjuler fejl.
Typiske faldgruber
- En selvsikker modeltekst kan blive brugt som et utilstrækkeligt kvalitetssignal.
- Flere trin kan forstærke en oprindelig fejl, hvis de genbruger samme forkerte antagelse.
- Pris og svartid kan blive beregnet på første kald alene.
Det skal I afklare
- Hvilke præcise kontroller afgør godkendelse, eskalering eller stop?
- Hvilke fejl kræver nye oplysninger frem for endnu et modelkald?
- Er hele kaskadens resultat, ressourceforbrug og fejlhåndtering testet?
Spørgsmål og svar
Er en større model altid det rigtige næste trin?
Nej. Problemet kan kræve en anden datakilde, en fast kontrol eller en fagpersons vurdering. Næste trin skal følge fejlens årsag.
Kan en kaskade spare penge?
Det er muligt, men afhænger af opgaver og eskaleringsrate. Mål den samlede pris pr. godkendt resultat under de samme kvalitetskrav som referencen.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- FrugalGPT ↗Forskningsarbejde om kaskader og afvejning af pris og kvalitet.
- RouteLLM ↗Beslægtet forskning i valg mellem modeller.