Hvad betyder Late chunking?
Late chunking ændrer rækkefølgen i en embeddingpipeline. Ved almindelig opdeling deles teksten ofte først i uddrag, som derefter indlejres hver for sig. Ved late chunking behandler en egnet model en længere sammenhængende tekst, før tokenrepræsentationer samles inden for de valgte afsnitsgrænser.
Formålet er, at et uddrags embedding kan bære information fra den omgivende tekst. Et stedord eller en kort reference kan dermed få en repræsentation, som i højere grad afspejler det, der står tidligere i dokumentet.
Metoden kræver en passende embeddingmodel og en implementering, der understøtter den nødvendige tokenbehandling. Det er ikke det samme som at indlejre hele dokumentet til én vektor og bagefter dele vektoren i stykker. Der skal stadig dannes en repræsentation for hvert ønsket uddrag.
Afsnitsgrænserne er stadig nødvendige
Late chunking fjerner ikke behovet for at beslutte, hvilke tekstdele der skal kunne genfindes. Grænserne bruges senere i processen, når tokenrepræsentationerne samles. De bør stadig respektere relevant dokumentstruktur.
Bevar koblingen mellem embedding og originaltekst. Et søgeresultat skal kunne vise det konkrete uddrag og relevante oplysninger om dokumentet. En rigere vektorrepræsentation gør ikke i sig selv det viste tekstuddrag mere forståeligt for den model eller medarbejder, som læser det bagefter.
Test lange henvisninger og modellens faktiske rækkevidde
Fordelen er mest interessant, når nødvendige forbindelser ligger uden for det lille uddrag. Hvis hvert afsnit allerede indeholder klare navne og definitioner, kan en enklere metode være tilstrækkelig.
Den længere tekst er fortsat begrænset af modellens kapacitet og implementation. Materiale uden for det behandlede input kan ikke påvirke repræsentationen. Ved ændringer i dokumentet bør teamet også undersøge, hvilke afledte embeddings der skal opdateres, fordi kontekst på tværs af afsnit kan påvirke flere repræsentationer.
Et eksempel fra praksis
Et teknisk dokument introducerer en bestemt komponent i begyndelsen og omtaler den senere som “enheden”. En vidensbase med isolerede små uddrag har svært ved at finde det senere afsnit, når brugeren søger med komponentens fulde navn.
Teamet afprøver late chunking og sammenligner med en enklere løsning, hvor komponentnavn og kapiteloverskrift tilføjes som metadata. Testen omfatter også afsnit, der omtaler en anden enhed i samme dokument. Den valgte metode skal forbedre den rigtige forbindelse uden at gøre alle afsnit til matches på alle komponenter.
Typiske faldgruber
- En enkelt dokumentvektor forveksles med embeddings for flere kontekstuelle uddrag.
- Et bedre embedding antages at give læseren al den manglende originalkontekst.
- Ændringer i tidligere afsnit overses ved opdatering af afledte repræsentationer.
Det skal I afklare
- Kontrollér modelstøtte og placeringen af opdeling og pooling.
- Bevar præcis kobling til uddrag, kilde og version.
- Sammenlign med almindelig chunking og relevante metadata på samme spørgsmål.
Spørgsmål og svar
Er late chunking det samme som contextual retrieval?
Nej. Contextual retrieval tilføjer typisk en tekstlig forklaring før indeksering. Late chunking ændrer, hvordan embeddingrepræsentationerne beregnes ud fra en længere tekst.
Skal alle dokumenter behandles sådan?
Nej. Metoden er mest relevant, når tab af omgivende kontekst er et observeret problem. Afprøv om gevinsten står mål med kompleksiteten og opdateringsarbejdet.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Günther m.fl.: Late Chunking ↗Tokenrepræsentationer før afsnitsvis pooling i lange embeddingmodeller.
- Jina AI: Late Chunking in Long-Context Embedding Models ↗Forfatternes forklaring af pipeline, afsnitsgrænser og konteksttab.