Hvad betyder Context precision?
Context precision beskriver kvaliteten af den kontekst, et søgesystem har hentet til et bestemt spørgsmål. Målet hjælper jer med at opdage støj: tekst, der optager plads, men ikke hjælper med at besvare opgaven. Det er særlig relevant, når en chatbot får flere uddrag fra en intern vidensbase.
Navnet dækker forskellige beregninger. En enkel precision@k tæller relevante resultater blandt de første k. Ragas' Context Precision tager også højde for placeringen og belønner relevante uddrag tidligt i rækken. Derfor er det utilstrækkeligt at skrive kontekstpræcision på en rapport uden at angive den konkrete metode.
En høj værdi dokumenterer heller ikke, at søgningen har fundet al nødvendig viden. Ét meget relevant afsnit kan mangle en afgørende undtagelse. Vurder derfor både præcision, dækning og kvaliteten af det endelige svar, inden I beslutter at reducere mængden af kontekst.
Fasthold spørgsmålet og vurder hvert uddrag
Gem spørgsmålet, de hentede dokument-ID’er og rækkefølgen før modellen svarer. En fagperson eller en valideret modelbedømmer mærker derefter uddragene som relevante eller irrelevante efter en skriftlig regel. Ved precision@5 giver tre relevante uddrag en værdi på 3/5. Ved en positionsvægtet metode får det betydning, om de tre står først eller sidst. Rapportér også, hvordan dubletter og tomme søgeresultater behandles, så to søgeversioner kan sammenlignes.
Find årsagen til støjen
Læs de irrelevante resultater, før I ændrer top-k. Er de fra en forkert afdeling, kan et metadatafilter være løsningen. Er de næsten relevante, kan en reranker hjælpe. Er et dokument delt midt i en vigtig forklaring, kan chunking være problemet. En lav score er således et spor til fejlfinding. Den er ikke i sig selv en begrundelse for at udskifte sprogmodellen.
Et eksempel fra praksis
Illustrativt eksempel: En reservedelsgrossist tester spørgsmålet om retur af specialbestilte ventiler. Søgningen henter fem uddrag: tre relevante returregler og to generelle fragttekster. Teamet afprøver et produktfilter og sammenligner de samme spørgsmål igen. De kontrollerer samtidig, at undtagelsen for kundetilpassede dele stadig er med. Målet er mindre støj uden at miste den regel, medarbejderen skal bruge til at svare korrekt.
Typiske faldgruber
- At forveksle positionsvægtet Context Precision med almindelig precision@k.
- At bedømme relevans ud fra et allerede forkert genereret svar.
- At optimere gennemsnittet og overse bestemte produktgruppers fejl.
Det skal I afklare
- Notér metrikkens implementering og antal hentede uddrag.
- Gem relevansmærker og dokumentversion sammen med hvert spørgsmål.
- Sammenhold præcision med context recall og svarkorrekthed.
Spørgsmål og svar
Er højere context precision altid bedre?
Kun hvis den nødvendige viden stadig findes. Et aggressivt filter kan fjerne både støj og en afgørende undtagelse. Undersøg dækningen samtidig.
Skal relevans vurderes af mennesker?
En model kan hjælpe med mange vurderinger, men kriterier og stikprøver bør kontrolleres af fagpersoner. Uenighed er værdifuld information om datasættet.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Ragas: Context Precision ↗Primærkilde gennemgået 7. september 2026.
- RAGAS: Automated Evaluation of Retrieval Augmented Generation ↗Primærkilde gennemgået 7. september 2026.