Hvad betyder Context recall?
Context recall handler om det, søgningen mangler. Når en AI-assistent besvarer spørgsmål med dokumenter, kan svaret være forkert, selv om alle de viste uddrag virker relevante. En prisregel kan eksempelvis kræve både grundpris, regionstillæg og en undtagelse. Mangler ét af disse elementer, har modellen ikke et fuldt grundlag.
Metrikken kræver en reference: relevante dokumenter, godkendte tekstpassager eller et facitsvar med identificerede påstande. I en påstandsbaseret variant undersøges, hvor mange af facitsvarets nødvendige oplysninger den hentede kontekst understøtter. Andre varianter sammenligner dokument-ID’er direkte. Resultater fra disse varianter bør ikke blandes.
Context recall måler søgningens dækning, ikke om modellen bruger materialet korrekt. Den kan ignorere en passage eller misforstå en enhed, selv når alle kilder er hentet. Derfor er målet mest nyttigt som en særskilt del af fejlfindingen mellem indeksering, retrieval og svargenerering.
Byg et facit, der viser det nødvendige
Start med spørgsmål, som en fagperson kan besvare ud fra godkendte dokumenter. Markér hvilke oplysninger der er nødvendige, og hvilke der blot er nyttige baggrundsoplysninger. Hvis facit indeholder fire nødvendige påstande, og konteksten underbygger tre, er dækningen i den simple påstandsvariant 3/4. Et facit med overflødige detaljer skaber et kunstigt svært mål. Gem derfor begrundelsen for hvert element og opdatér den ved ændrede regler.
Mere kontekst er en omkostning, ikke en gratis løsning
En større top-k kan øge dækningen, men også tilføre dubletter, gamle versioner og modstridende tekst. Se efter manglende dokumenter i indekset, filtre der er for snævre, og afsnit der er blevet adskilt under parsing. Det kan være bedre at rette datagrundlaget end at sende dobbelt så mange tekststykker til modellen. Sammenlign både tokenforbrug og faglige fejl på de samme testspørgsmål.
Et eksempel fra praksis
Illustrativt eksempel: En servicevirksomhed vil svare på garantispørgsmål. Facit kræver købsdato, registreringskrav og den relevante produktserie. Assistenten finder garantiperioden, men ikke registreringsbetingelsen. Teamet opdager, at betingelsen står i et bilag, som parseren havde sprunget over. Efter bilaget er tilføjet, gentager de testen og vurderer både retrieval og det faktiske svar. En dyrere model ville ikke alene have rettet det manglende dokument.
Typiske faldgruber
- At bruge et facit, der bygger på viden uden for den tilladte dokumentbase.
- At kalde mange hentede dokumenter høj dækning uden at kontrollere relevans.
- At overse, at adgangsregler lovligt kan udelukke bestemte kilder.
Det skal I afklare
- Vælg dokument- eller påstandsbaseret reference og hold den fast.
- Undersøg manglende viden ved de spørgsmål, der fejler.
- Kontrollér præcision, svartid og omkostning efter ændringen.
Spørgsmål og svar
Kan context recall måles uden facit?
Ikke som dokumenteret fuldstændighed. En model kan estimere, om noget mangler, men uden reference ved I ikke, hvilken nødvendig viden testen overser.
Skal dækningen altid være 100 procent?
Acceptkravet afhænger af opgaven og definitionen af nødvendige oplysninger. Kritiske undtagelser bør vurderes særskilt, så et gennemsnit ikke skjuler farlige huller.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Ragas: Context Recall ↗Primærkilde gennemgået 7. september 2026.
- RAGAS: Automated Evaluation of Retrieval Augmented Generation ↗Primærkilde gennemgået 7. september 2026.