Hvad betyder Mean reciprocal rank?
Mean reciprocal rank, ofte forkortet MRR, vurderer placeringen af det første relevante søgeresultat. Det er en enkel metrik til opgaver, hvor brugeren især skal finde én bestemt side, vejledning eller post. Finder systemet den rigtige vare først, er oplevelsen bedre end hvis brugeren skal lede længere nede.
For hver søgning beregnes én divideret med placeringen af det første relevante resultat. Førstepladsen giver 1, andenpladsen 0,5 og fjerdepladsen 0,25. Derefter tages gennemsnittet. Ved en afgrænset MRR@k gives normalt nul, hvis der ikke findes et relevant resultat inden for de første k. Angiv denne regel i testbeskrivelsen.
MRR er ikke en vurdering af alle de øvrige resultater. To lister kan få samme score, selv om den ene efter første træffer er fyldt med støj. Det gør metrikken velegnet til visse navigationsopgaver, men utilstrækkelig som eneste mål for en RAG-løsning, der skal kombinere flere kilder.
Et lille regneeksempel gør målet læsbart
Forestil jer tre testspørgsmål med første relevante træffer på plads ét, to og fire. MRR er da (1 + 0,5 + 0,25) / 3, omtrent 0,583. Det er et illustrativt regnestykke, ikke en måling af Mosel Studios systemer. Fordelen ved målet er, at det hurtigt viser værdien af at løfte den første nyttige træffer. Ulempen er, at forskelle længere nede på listen bliver usynlige.
Brug den til det rette søgebehov
Et opslag på fakturanummer eller en bestemt procedure kan ofte have et klart relevant dokument. En forespørgsel som sammenlign alle installationsmuligheder kræver derimod flere oplysninger. Her bør MRR suppleres med recall eller en rangordningsmetrik, der ser flere resultater. Kontroller desuden om flere dokumentversioner kan være gyldige. En gammel vejledning er ikke en korrekt træffer alene, fordi dens titel ligner søgningen.
Et eksempel fra praksis
Illustrativt eksempel: Et hotel vil hjælpe receptionister med hurtigt at finde den aktuelle procedure for mistede nøglekort. Teamet opstiller både præcise titelsøgninger og almindelige formuleringer som gæsten har mistet kortet. De sammenligner første relevante træffer før og efter synonymudvidelse. Hvis MRR forbedres, men enkelte akutte procedurer stadig ligger langt nede, undersøger de netop disse spørgsmål i stedet for at godkende ændringen alene på gennemsnittet.
Typiske faldgruber
- At kalde første tekstligt lignende resultat relevant uden faglig kontrol.
- At overse, at resten af søgeresultaterne kan blive dårligere.
- At ændre cutoff mellem to testkørsler.
Det skal I afklare
- Definér relevans for den konkrete navigationsopgave.
- Notér placeringen af første godkendte træffer og nulresultater.
- Supplér med dækning, hvis svaret kræver flere dokumenter.
Spørgsmål og svar
Er MRR det samme som gennemsnitlig placering?
Nej. MRR gennemsnitter de omvendte placeringer. Det belønner især forbedringer tæt på toppen og reagerer derfor anderledes end gennemsnitlig rang.
Kan MRR måle en chatbots svar?
Den kan måle søgningen før svaret, hvis relevante kilder er mærket. Selve svaret kræver andre kontroller af korrekthed, dækning og kildebrug.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Evidently: Mean Reciprocal Rank ↗Primærkilde gennemgået 7. september 2026.
- Stanford: Evaluation of ranked retrieval results ↗Primærkilde gennemgået 7. september 2026.