Hvad betyder Chunking?
Chunking er opdeling af indhold i mindre stykker, som kan søges frem og gives til en model. Det bruges ofte ved dokumentbaseret RAG. Grænserne kan følge afsnit, overskrifter, tabeller eller andre strukturer i materialet.
Et lille uddrag kan mangle det forbehold, der forklarer reglen. Et meget stort uddrag kan indeholde støj og optage unødig kontekst. Overlap kan bevare sammenhæng mellem nabostykker, men kan også give gentagelser. Der findes ikke en universel rigtig størrelse eller overlap-procent.
Afprøv forskellige strategier med spørgsmål, hvis belæg ligger tæt på en afsnitsgrænse eller i en tabel. Gem dokumenttitel, version, placering og adgangsoplysninger sammen med uddraget. Hvis et svar mangler en undtagelse, bør I undersøge både opdelingen og søgningen før selve prompten ændres.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.