Hvad betyder Reranking?
Reranking er et ekstra vurderingstrin efter den første søgning. Et hurtigt søgesystem finder en håndterbar mængde kandidater, og en anden metode undersøger derefter deres relevans mere detaljeret. Det kan være en cross-encoder eller en anden rangeringsmodel.
Opdelingen er praktisk, fordi en grundig vurdering af alle dokumenter kan være dyr eller langsom. Første trin skal finde tilstrækkeligt bredt, mens det næste kan bruge mere arbejde på et mindre udvalg.
En reranker kan kun prioritere blandt det materiale, den får. Hvis den afgørende kilde mangler i kandidatlisten, kan en ny rækkefølge ikke hente den frem. Derfor skal en RAG-løsning undersøge både kandidaternes dækning og kvaliteten af deres endelige placering.
Vælg et udvalg, der både dækker og kan behandles
For få kandidater kan udelukke et relevant dokument tidligt. For mange kan øge ventetid og ressourceforbrug. Et nyttigt valg findes gennem testspørgsmål med kendt relevant materiale, ikke gennem et universelt standardtal.
Kontrollér også dubletter. Hvis de første pladser består af næsten samme afsnit fra flere kopier, kan en reranker bruge sin kapacitet på gentagelser. Sammenlægning efter dokument-ID og version kan være relevant, så udvalget rummer de forskellige oplysninger, spørgsmålet kræver.
Mål om det rigtige grundlag når frem til svaret
En forbedret rækkefølge er et mellemresultat. Den endelige model skal stadig modtage passende uddrag og fortolke dem korrekt. Et afsnit kan rangere højt og alligevel være uegnet, hvis en vigtig tabel eller undtagelse blev skåret væk.
Vurdér derfor både placering og det færdige svar på udvalgte spørgsmål. Se især på næsten ens kilder, forskellige versioner og spørgsmål, som kræver mere end ét dokument. En enkel søgning uden reranking bør indgå som sammenligningsgrundlag.
Et eksempel fra praksis
En servicechat søger i manualer for flere generationer af samme maskine. Den første søgning finder mange afsnit om rengøring. Rerankeren skal prioritere dem, der passer til brugerens model og det konkrete problem.
Testen indeholder et spørgsmål om en del, der kun findes på den nyeste generation. Teamet undersøger først, om det rigtige afsnit er blandt kandidaterne, og derefter om det kommer med i svarets grundlag. Hvis det aldrig blev fundet, justeres søgningen før rerankeren får skylden.
Typiske faldgruber
- Reranking forventes at reparere en kandidatliste uden den nødvendige kilde.
- Flere næsten identiske dokumentkopier fylder det begrænsede udvalg.
- En flot relevansscore antages at bevise, at det endelige svar er korrekt.
Det skal I afklare
- Mål om kendte relevante dokumenter findes før genrangeringen.
- Afprøv antal kandidater, dubletter og dokumentversioner.
- Kontrollér både slutplacering, svartid og det genererede svar.
Spørgsmål og svar
Skal en chatbot altid bruge reranking?
Nej. Det er relevant, når den første søgning finder det rigtige materiale, men prioriterer det utilstrækkeligt. En lille og entydig vidensbase kan klare sig med færre trin.
Er en reranker en sprogmodel?
Det kan være en model, der vurderer tekstpar, men begrebet dækker selve genrangeringen. Implementeringen og dens omkostninger skal undersøges konkret.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Sentence Transformers: Retrieve & Re-Rank ↗Hurtig kandidatfinding efterfulgt af en mere detaljeret vurdering.
- Elastic: Semantic reranking ↗Genrangering som separat trin i søgeforløbet.