Hvad betyder Kontekstkomprimering?
Kontekstkomprimering er en samlet betegnelse for metoder, der reducerer mængden af information i en models aktuelle arbejdsgrundlag. En lang samtale kan blive erstattet af et resumé, gamle værktøjssvar kan forkortes, eller mindre relevante dele af et dokument kan udelades.
Målet er typisk at holde et forløb inden for en teknisk ramme eller begrænse tid og omkostninger. Det er dog ikke det samme som almindelig tabsfri filkomprimering. Når en formulering eller detalje fjernes fra modellens input, kan den få betydning for et senere svar.
Derfor skal komprimering vurderes i forhold til de opgaver, konteksten skal støtte. Et kort overblik kan være tilstrækkeligt til at genoptage en projektplan, men utilstrækkeligt til at kontrollere den præcise ordlyd af en aftale.
Definér hvad der ikke må gå tabt
Et godt komprimeringsformat adskiller mål, beslutninger, begrænsninger, åbne spørgsmål og henvisninger til originalmaterialet. Det gør det lettere at opdage, om en vigtig oplysning mangler. Løse resuméer kan blande en foreløbig idé sammen med en godkendt beslutning.
Når detaljer kan hentes igen, bør resuméet bevare stabile dokument-ID’er og relevante afsnit. På den måde kan systemet vende tilbage til originalen, før det træffer en beslutning, der kræver mere præcision.
Test informationstabet, ikke kun længden
Sammenlign svar på de samme spørgsmål før og efter komprimeringen. Medtag spørgsmål om undtagelser, datoer og forhold, som kun nævnes én gang. Et resumé kan se dækkende ud og stadig miste netop det sjældne forbehold, der afgør opgaven.
Komprimering kan også kræve et ekstra modelkald. Den samlede omkostning skal derfor omfatte arbejdet med at fremstille og kontrollere resuméet. Det er ikke altid billigere at komprimere en kort samtale, som aldrig bliver brugt igen.
Et eksempel fra praksis
En projektassistent hjælper med et langt udviklingsforløb. Efter flere møder kan historikken samles i et arbejdsnotat med aftalt omfang, beslutningsejere, fravalg og uløste problemer.
Et kritisk testspørgsmål er, om assistenten stadig husker, at en bestemt integration kun er en mulig senere fase. Hvis resuméet gør den til en bestilt leverance, har komprimeringen ændret betydningen. Teamet bevarer derfor link til den oprindelige aftale og kontrollerer de vigtigste beslutninger, før notatet bruges som nyt grundlag.
Typiske faldgruber
- Et flydende resumé bliver accepteret uden kontrol af centrale forbehold.
- Originalmaterialet bliver utilgængeligt, så udeladte detaljer ikke kan genfindes.
- En kortere prompt antages automatisk at give lavere samlet pris.
Det skal I afklare
- Definér ufravigelige oplysninger og et stabilt resuméformat.
- Bevar henvisninger til originale dokumenter og beslutninger.
- Test konkrete opgaver både med fuld og komprimeret kontekst.
Spørgsmål og svar
Er komprimering tabsfri?
Ikke som udgangspunkt. Et resumé eller en udvælgelse kan fjerne information. Hvorvidt tabet er acceptabelt, afhænger af de spørgsmål, systemet skal kunne besvare.
Er det nok at vælge en model med større kontekst?
Mere plads kan hjælpe, men den løser ikke nødvendigvis problemer med irrelevant eller modstridende materiale. Udvælgelse og tydelig struktur er stadig relevante.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Jiang m.fl.: LLMLingua ↗En forskningsmetode til komprimering af prompts.
- Anthropic: Effective context engineering ↗Compaction, noteformat og risiko for tab af vigtig kontekst.