Hvad betyder Inkrementel indeksering?
Inkrementel indeksering vedligeholder et søgeindeks ved at behandle ændringer siden en tidligere tilstand. Det kan være en ny manual, et rettet afsnit eller en kilde, der ikke længere må bruges. I en RAG-løsning skal de afledte tekstuddrag og embeddings følge med.
Systemet har brug for en pålidelig måde at opdage ændringer på, eksempelvis versionsnumre, ændringstidspunkter eller hændelser fra kildesystemet. Stabile dokument-ID’er gør det muligt at knytte en opdatering til de eksisterende poster frem for at skabe en ny kopi hver gang.
Sletning er en særskilt udfordring. At en fil forsvinder i kilden betyder ikke automatisk, at en indeksproces opdager det. Implementeringen skal have en plan for at fjerne de tilknyttede poster og kontrollere, at de ikke længere kan bruges i søgning og svar.
Opdater alle de dele, der bygger på kilden
Et dokument kan have skabt flere uddrag, vektorer, kontekstforklaringer og resuméer. En ændring kan derfor påvirke mere end én post. Gem en kobling fra originalens ID og version til de afledte dele.
Når afsnitsgrænser ændres, skal gamle rester fjernes. Hvis en ny version kun opretter nye chunks, kan tidligere formuleringer blive liggende og konkurrere i søgningen. Kontrollen bør sammenligne den forventede aktive version med de poster, indekset faktisk indeholder.
Gør forsinkelse og mislykkede opdateringer synlige
En ændring kan være modtaget uden at være søgbar endnu. Registrér derfor relevante tilstande, eksempelvis opdaget, behandlet og kontrolleret. Et grønt jobsvar er ikke alene bevis for, at søgningen bruger det nye materiale.
Genforsøg bør kunne gentages uden at skabe dubletter. Hvis en opdatering fejler halvvejs, skal det være tydeligt, om den gamle version fortsat er aktiv, eller om dokumentet midlertidigt er utilgængeligt. Valget afhænger af opgaven, men må ikke opstå tilfældigt gennem fejlforløbet.
Et eksempel fra praksis
En kursusudbyder ændrer vilkårene for afmelding i et dokument, som chatbotten bruger. Opdateringsprocessen opdager den nye version, gendanner relevante uddrag og fjerner poster fra den tidligere udgave.
En efterfølgende kontrol stiller et kendt spørgsmål om afmeldingsfristen og undersøger både fundne kilde-ID’er og det endelige svar. Teamet tester også sletning af et gammelt kursusbilag og et afbrudt opdateringsjob. Dermed bliver vedligeholdelse vurderet som en hel arbejdsgang frem for kun som en succesfuld import.
Typiske faldgruber
- Nye dokumentversioner tilføjes, mens gamle uddrag bliver liggende.
- Sletning i kilden antages automatisk at fjerne indeks- og cachekopier.
- Et afsluttet importjob forveksles med verificeret opdateret søgeadfærd.
Det skal I afklare
- Gem stabile ID’er, versioner og relationer til afledt materiale.
- Afprøv opdatering, sletning og genforsøg efter delvis fejl.
- Kontrollér søgbar tilstand og kildegrundlag med kendte spørgsmål.
Spørgsmål og svar
Betyder inkrementel indeksering, at svar altid er aktuelle?
Nej. Der kan være forsinkelse eller fejl mellem kildens ændring og det søgbare indeks. Friskhed skal måles og vises i forhold til den aftalte arbejdsgang.
Hvornår kræves en fuld genindeksering?
Det kan være nødvendigt ved større ændringer i embeddingmodel, skema eller dokumentopdeling. Inkrementelle opdateringer er ikke altid kompatible med et ændret teknisk grundlag.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Microsoft: Changed and deleted blobs ↗Ændringsdetektion, stabile nøgler og særskilt håndtering af sletninger.
- Elastic: Update a document ↗Eksempel på målrettet opdatering af indeksdokumenter.