RAG-chatbot med egen vidensbase: krav til kilder, adgang og kvalitet

RAG forbinder et spørgsmål med relevante kilder

RAG står for Retrieval-Augmented Generation. I et typisk forløb søger løsningen efter relevante oplysninger i jeres materiale og giver dem til modellen som grundlag for et svar. Det kan gøre virksomhedsspecifik viden tilgængelig i en samtale.

Det er ikke det samme som, at modellen kender hele virksomheden, eller at alle svar bliver korrekte. Søgningen kan finde det forkerte materiale, en kilde kan være forældet, og svaret kan fortolke oplysningerne forkert. Derfor skal både vidensbase, søgning og svar vurderes.

Denne guide fokuserer på krav og drift. Den tekniske guide om RAG fra bunden går nærmere ind i komponenter og arkitektur. Som køber eller faglig ansvarlig er jeres vigtigste første opgave at beskrive, hvilken viden løsningen må bruge, og hvordan et godt svar ser ud.

Lav et kildekort før I uploader dokumenter

Begynd med et udvalg af de vigtigste emner og deres autoritative kilder. En kilde kan være en webside, manual, godkendt procedure eller et bestemt felt i et fagsystem. Registrér titel, ejer, målgruppe, status og tidspunkt for seneste faglige revision.

Hvis to dokumenter siger noget forskelligt, bør en ansvarlig afgøre, hvad der gælder. En søgemotor bør ikke få til opgave at løse organisationens uenighed om vilkår eller processer. Afklar også, hvordan undtagelser beskrives, så de ikke fremstår som generelle regler.

Materiale i kladde, gamle prisark og personlige noter bør ikke automatisk indgå, fordi de ligger i samme mappe. Start med et afgrænset, godkendt sæt, som I kan kontrollere og vedligeholde.

Adgang skal afgøres, før modellen ser indholdet

En intern assistent kan have brugere med forskellige rettigheder. Salg, HR og eksterne samarbejdspartnere må måske ikke se det samme materiale. Det skal løsningen håndhæve ved opslaget i vidensbasen, ikke ved at bede modellen om at holde hemmeligheder.

Skriv adgangsregler som konkrete scenarier. Må en bruger se alle projektmanualer eller kun dem, der tilhører eget projekt? Hvad sker der, når en medarbejder skifter rolle? Og kan citatlinks give adgang til dokumenter, som selve chatten ellers filtrerer fra?

Test med brugere fra forskellige roller og med dokumenter, der ligner hinanden. Medtag forsøg på at få chatten til at gengive skjult materiale. En korrekt afvisning er et vigtigt resultat, når brugeren ikke har adgang.

Giv redaktørerne en enkel vej fra ændring til nyt svar

Beskriv indholdets livscyklus: En fagperson ændrer kilden, ændringen godkendes, søgeindekset opdateres, og et relevant testspørgsmål køres igen. Vis, hvornår opdateringen sidst lykkedes. Ellers kan en redaktør tro, at chatten bruger en rettelse, som endnu ikke er indlæst.

Aftal også sletning og arkivering. Et dokument, der fjernes fra kildesystemet, skal ikke blive ved med at dukke op fra en gammel kopi i vidensbasen. Hvordan det håndteres, skal være en del af kravene til integrationen.

Brug en tydelig fejlstatus, hvis indlæsning stopper. Den ansvarlige skal kunne se, hvilke kilder der mangler, og om chatten fortsat må svare på det berørte emne. En dokumenteret manuel proces kan være tilstrækkelig i en lille pilot.

Vurdér svar og kildehenvisning sammen

Et godt svar skal besvare brugerens spørgsmål og holde sig til et relevant grundlag. En kildehenvisning er nyttig, når læseren kan følge den og forstå, hvor oplysningerne kommer fra. Den hjælper mindre, hvis den peger på en lang manual uden forbindelse til udsagnet.

Skriv eksempler på acceptable svar. Et svar kan være fuldt, delvist med en tydelig begrænsning eller en afvisning med et relevant næste skridt. Aftal, hvornår chatten skal spørge om mere information frem for at gætte.

Undgå at få løsningen til at udtrykke en præcis sikkerhedsprocent uden en forklarlig målemetode. Det er ofte mere nyttigt at vise, hvilken kilde der støtter svaret, og hvilken information der mangler for at komme videre.

Byg et testark, en fagperson kan gennemgå

Saml repræsentative spørgsmål med forventet kilde, accepteret indhold og uacceptable fejl. Medtag formuleringer, der bruger andre ord end dokumenterne, spørgsmål med flere mulige svar og spørgsmål, materialet slet ikke besvarer.

Test også opdateringer. Ret en oplysning, fjern et dokument og ændr en brugers adgang. Kontrollér derefter, at løsningen følger ændringen. Det tester driften af vidensbasen, ikke kun den første demonstration.

Vurdér fejl i kategorier: forkert kilde, manglende kilde, forkert fortolkning, forældet viden og adgangsfejl. Kategorierne gør det lettere at vælge den rette forbedring. En ny model hjælper eksempelvis ikke nødvendigvis på en gammel eller forkert kilde. Gem testene, så de kan gentages ved senere ændringer.

• Normalsvar med kendt kilde
• Uklart spørgsmål, der kræver afklaring
• Spørgsmål uden svar i materialet
• Modstridende eller forældede kilder
• Ændring, sletning og adgangsskift

Bed om en løsning med ansvar for hele vidensforløbet

Et tilbud bør beskrive kilder, indlæsningsmetode, opdatering, roller, kildehenvisninger og tests. Aftal, hvilke dele jeres medarbejdere vedligeholder, og hvilke leverandøren håndterer. Beskriv også, hvad der sker ved ophør: kan I få jeres materiale og relevante konfiguration ud?

Afklar, hvor data, logs og søgeindeks opbevares, og hvordan de slettes. Databeskyttelse skal indgå i designet. Leverandørens standardvilkår er et input til vurderingen, men erstatter ikke jeres afklaring af formål, rettigheder og nødvendige oplysninger.

Til en første samtale er et kildeoverblik og nogle typiske spørgsmål ofte nok. Vent med at dele følsomt materiale, til den relevante adgang og håndtering er afklaret. Så kan en vurdering begynde med opgaven frem for en ukontrolleret dokumentupload.