RAG (Retrieval-Augmented Generation)
Også kendt som: Retrieval-Augmented Generation
En arkitektur hvor modellen henter relevant information fra en database før den genererer sit svar.
RAG er den dominerende måde at give LLM'er adgang til virksomhedsspecifik viden uden at skulle fine-tune dem. Konceptet: 1) Du har en samling dokumenter (FAQ, manual, produktbeskrivelser). 2) Dokumenterne deles op i chunks og konverteres til embeddings i en vector database. 3) Når en bruger stiller et spørgsmål, søger systemet i vector-databasen efter de mest relevante chunks. 4) De fundne chunks tilføjes til prompten, og modellen genererer et svar baseret på dem.
Fordelene er store: modellen kan svare præcist om virksomhedsspecifikt indhold, du kan opdatere viden uden at retræne noget, og du har sporbarhed (kan se hvilke kilder modellen brugte).
RAG er hjørnestenen i de fleste produktions-AI-systemer i virksomheder i dag. Alt fra interne videnbanker til avancerede kundeservice-bots bygger på RAG.