Hvad betyder Answer relevance?
Answer relevance handler om sammenhængen mellem brugerens behov og det svar, AI-systemet giver. Et svar kan være grammatisk godt og faktuelt korrekt, men alligevel have lav relevans. Hvis brugeren spørger, hvem der skal godkende en bestilling, hjælper en generel beskrivelse af indkøbspolitikken kun delvist.
Relevans er en særskilt kvalitetsdimension. Den fortæller ikke i sig selv, om alle udsagn er sande eller kildeunderstøttede. Et opdigtet, men meget direkte svar kan virke relevant. Derfor bør vurderingen kombineres med faktatjek, faithfulness og kontrol af, om svaret indeholder de nødvendige betingelser for at kunne bruges.
Omsæt spørgsmålet til konkrete svarkrav
Læs spørgsmålet som en opgave. Hvilke oplysninger efterspørges, hvilket format er nyttigt, og hvilke begrænsninger nævner brugeren? Et spørgsmål om pris og leveringstid har mindst to dele. Et svar, der kun dækker pris, er ufuldstændigt, selv om prisafsnittet er korrekt. Ved tvetydighed kan et afklarende spørgsmål være mere relevant end et langt gæt. Definér derfor vurderingskriterier, som tager hensyn til opgavens type. En kort faktasøgning, en sammenligning og en forklaring til en ny medarbejder har forskellige krav til dybde, struktur og næste skridt.
Kombinér automatiske signaler med læsning
Automatisk relevansvurdering kan bruge en bedømmende model eller sammenligne spørgsmålet med det indhold, som svaret handler om. Ragas beskriver eksempelvis en metode, der danner spørgsmål ud fra svaret og sammenligner dem med det oprindelige spørgsmål. Det er et nyttigt signal, men ikke en fuld forståelse af brugerens situation. En model kan holde sig til emnet og stadig overse en afgørende betingelse. Gem derfor eksempler på gode, delvise og dårlige svar. Brug dem til at afstemme vurderingen mellem fagpersoner og automatiske evaluatorer, før en score bruges til at vælge model eller prompt.
Et eksempel fra praksis
En kunde spørger en supportassistent: 'Kan jeg ændre leveringsadressen, og hvad er fristen?' Et tænkt svar forklarer kun, hvordan adresser gemmes på kundekontoen. Det er beslægtet med emnet, men løser ikke spørgsmålet om den aktuelle ordre. Et bedre svar afklarer ordrestatus, beskriver om ændringen stadig er mulig og angiver den relevante frist eller behovet for menneskelig hjælp. Evalueringen kræver alle disse dele, mens rigtigheden kontrolleres mod de aktuelle ordre- og leveringsregler.
Typiske faldgruber
- At forveksle samme emne eller mange fælles nøgleord med et dækkende svar.
- At belønne lange svar, selv om de skjuler den efterspurgte oplysning.
- At bruge relevansscore som dokumentation for faktuel korrekthed.
Det skal I afklare
- Angiv de oplysninger og begrænsninger, et godt svar skal dække.
- Medtag delvise, tvetydige og flerleddede spørgsmål i testsættet.
- Kontrollér relevans, faktuel støtte og praktisk anvendelighed som separate mål.
Spørgsmål og svar
Er et kort svar altid mere relevant?
Nej. Længden skal passe til behovet. Et kort svar kan mangle en afgørende betingelse, mens en længere forklaring kan være nødvendig for at gøre brugerens næste skridt klart.
Hvordan vurderes et afklarende spørgsmål?
Det kan være et godt resultat, hvis den manglende oplysning er nødvendig. Evalueringen bør skelne mellem nyttig afklaring og unødvendige spørgsmål, som systemet allerede har data til at besvare.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Ragas: Response Relevancy ↗Relevans i forhold til brugerens spørgsmål, adskilt fra faktuel korrekthed.
- Es m.fl.: Ragas ↗Forskningsgrundlag for at evaluere forskellige dele af en RAG-løsning særskilt.