Hvad betyder Korttidshukommelse i AI-agenter?
Korttidshukommelse i en AI-agent er oplysninger med rækkevidde inden for en bestemt samtale eller opgave. Det kan være brugerens spørgsmål, afklaringer, værktøjsresultater og et igangværende udkast. Den gør det muligt at forstå, hvad “den anden mulighed” henviser til, eller fortsætte en opgave efter et afklarende svar.
Ordet korttid beskriver rækkevidden, ikke nødvendigvis hvor få minutter oplysningerne gemmes. En opgave kan ligge i en vedvarende database og genoptages senere, mens dens indhold stadig kun hører til netop den opgave.
Arbejdskontekst skal være relevant
Modellen ser normalt kun det input, applikationen sender ved næste kald. Applikationen må derfor vælge mellem rå historik, udvalgte resultater og et resume. En god opgavestatus kan holde styr på mål, kendte fakta, åbne spørgsmål og allerede udførte handlinger. Det reducerer behovet for at genlæse alle gamle beskeder.
Et resume er imidlertid en ny fortolkning. Det kan tabe en betingelse eller gøre en antagelse til et faktum. Bevar derfor referencer til originale beslutninger og kilder, især hvor en detalje bestemmer næste handling. Et resume bør ikke være eneste bevis for, at en ekstern handling er godkendt.
En samtale er ikke hele kundens profil
Giv opgaven et stabilt ID, og adskil dens midlertidige oplysninger fra varige præferencer. En besked om en forsinket levering skal ikke blive en permanent antagelse om alle kundens ordrer. Når en opgave afsluttes, bør systemet følge en bevidst opbevaringsregel. Undersøg desuden, hvordan meget lange forløb håndteres: en større kontekstramme fritager ikke systemet fra at prioritere de oplysninger, der er relevante nu.
Et eksempel fra praksis
En servicemedarbejder undersøger en konkret reklamation med en agent. I samtalen afklares ordrenummer, fejlbeskrivelse og hvilke billeder kunden allerede har sendt. Korttidshukommelsen gør, at agenten ikke spørger om det samme igen. Hvis en anden medarbejder genoptager sagen, ser vedkommende de åbne spørgsmål og kilderne til tidligere afklaringer. I en ny reklamationssag skal det gamle fejlbillede derimod ikke dukke op som en oplysning om det nye produkt.
Typiske faldgruber
- At forveksle opgavens gemte historik med modellens aktuelle kontekst.
- At lade en komprimering fjerne forbehold eller ændre en godkendelses betydning.
- At genbruge oplysninger fra en afsluttet sag i en ny opgave uden en klar begrundelse.
Det skal I afklare
- Knyt historik og status til et entydigt opgave-ID.
- Kontrollér resumeet mod centrale afklaringer og kildehenvisninger.
- Test både genoptagelse af samme sag og start på en ny, adskilt sag.
Spørgsmål og svar
Forsvinder korttidshukommelse ved et servernedbrud?
Det afhænger af implementeringen. Oplysninger i RAM forsvinder normalt ved genstart, mens en vedvarende lagring kan bruges til at genoptage opgaven. Det bør testes direkte.
Er korttidshukommelse det samme som kontekstvinduet?
Nej. Kontekstvinduet begrænser modellens input ved et kald. Korttidshukommelsen kan indeholde mere opgavehistorik, hvorfra applikationen udvælger det, modellen skal se.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- LangChain: Memory overview ↗Hukommelsens rækkevidde inden for og mellem samtaler.
- LangGraph: Persistence ↗Vedvarende checkpoints og begrænsninger ved hukommelse i RAM.