Hvad betyder RAG (Retrieval-Augmented Generation)?
RAG, Retrieval-Augmented Generation, kombinerer søgning i eksterne kilder med generering af et svar. Først finder systemet relevant indhold; derefter får modellen indholdet som grundlag for sit svar. Kilderne kan opdateres uden nødvendigvis at ændre sprogmodellens vægte.
En almindelig løsning opdeler dokumenter i uddrag og søger med embeddings. RAG kan også bruge søgeord, databaser eller flere søgemetoder. Det afgørende er, at information hentes under brug, frem for alene at bero på den viden, modellen har fra sin træning.
RAG garanterer ikke korrekte svar. Søgningen kan finde forkert materiale, og modellen kan misforstå et korrekt uddrag. Gem kildehenvisninger, test deres belæg og kontrollér brugerens adgang før hentning. En gammel eller utilgængelig politik skal ikke blive til et nyt løfte i kundeservice.
Et eksempel fra praksis
Et første pilotprojekt kan afgrænses til én godkendt dokumenttype og et sæt reelle spørgsmål. Valg af embedding-model, database og integrationskode afhænger af adgangskrav, datamængde og tests. Tidsplanen bør vurderes efter en gennemgang af kilderne, ikke fastsættes ud fra virksomhedens størrelse alene.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.