Hvad betyder Faithfulness i RAG?
Faithfulness handler om troskab mod kilderne i en RAG-løsning. Et svar er kildeunderstøttet, når dets faktuelle påstande følger af den hentede kontekst. Hvis en manual angiver, at en funktion kræver administratoradgang, må assistenten ikke tilføje, at alle medarbejdere kan aktivere den.
Målet er afgrænset. Et svar kan være tro mod en forældet eller forkert kilde og stadig være faktuelt misvisende. Det kan også være fuldt kildeunderstøttet, men undlade at besvare det vigtigste i spørgsmålet. Derfor skal faithfulness suppleres med kontrol af kildernes kvalitet, svarets relevans og den information, søgningen måske manglede.
Kontrollér påstande frem for kun links
En praktisk vurdering deler svaret op i udsagn og undersøger, om hvert udsagn har støtte i den kontekst, modellen modtog. Et kilde-link ved slutningen af et afsnit beviser ikke, at alle afsnittets påstande findes i kilden. Betingelser, tal og undtagelser fortjener særlig opmærksomhed. I automatiske evalueringsværktøjer kan en anden model hjælpe med vurderingen, men den kan også overse nuancer. Gem derfor både svar, hentede tekststykker og vurdering, så en fagperson kan undersøge, hvorfor et udsagn blev godkendt eller afvist.
Adskil manglende støtte fra direkte modstrid
Et udsagn uden kildestøtte er ikke nødvendigvis forkert i verden; det er blot ikke dokumenteret i den givne kontekst. Den forskel er vigtig for fejlretning. Måske skal søgningen hente et manglende afsnit, eller måske skal svarinstruktionen stoppe modellen fra at tilføje antagelser. Direkte modstrid med en kilde er en anden fejltype. Rapportér gerne begge. Kontroller også, om modellen undgår fejl ved at svare så lidt, at brugeren ikke får hjælp. En kort, indholdstom afvisning bør ikke vinde over et fyldigt svar, blot fordi den indeholder færre påstande, der kan fejle.
Et eksempel fra praksis
En intern assistent besvarer et spørgsmål om rejseudgifter. I et tænkt eksempel siger kilden, at udgifter over en bestemt grænse kræver forhåndsgodkendelse. Svaret nævner beløbsgrænsen, men tilføjer en undtagelse for ledere, som ikke findes i materialet. Evalueringen markerer netop denne påstand. Teamet undersøger, om undtagelsen stammer fra et andet dokument eller er opfundet. Løsningen bliver enten at hente den autoritative kilde eller fjerne den udokumenterede tilføjelse.
Typiske faldgruber
- At betragte et synligt kilde-link som bevis for alle svarets udsagn.
- At forveksle overensstemmelse med kilden med universel faktuel sandhed.
- At belønne meget korte eller tomme svar uden også at vurdere nytte og dækning.
Det skal I afklare
- Gem den præcise kontekst, svaret blev genereret ud fra.
- Kontrollér væsentlige påstande, betingelser og undtagelser mod deres kilder.
- Gennemgå stikprøver manuelt og mål relevans og kildefriskhed særskilt.
Spørgsmål og svar
Kan faithfulness måles automatisk?
Ja, værktøjer som Ragas kan vurdere påstandes støtte i konteksten. Resultatet er en evaluering med egne fejlkilder og bør sammenholdes med faglig kontrol på repræsentative eksempler.
Er høj faithfulness nok til en god RAG-chatbot?
Nej. Søgningen skal også hente relevant og dækkende materiale, kilderne skal være egnede, og svaret skal hjælpe brugeren med det spørgsmål, der faktisk blev stillet.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Ragas: Faithfulness ↗Kontrol af svarets påstande mod den hentede kontekst.
- Es m.fl.: Ragas ↗Forskningsgrundlag for at evaluere forskellige dele af en RAG-løsning særskilt.