Hvad betyder Prompt caching?
Prompt caching er en teknik, hvor et system genbruger arbejde fra tidligere behandling af identiske inputdele. Det kan være faste instruktioner, værktøjsdefinitioner eller et langt dokument, som indgår i flere forespørgsler. Modellen producerer stadig et nyt svar til den aktuelle opgave.
Begrebet skal adskilles fra en svarcache. En svarcache returnerer et tidligere resultat, mens prompt caching typisk reducerer arbejdet med den fælles begyndelse af en forespørgsel. Ændringer i denne begyndelse kan betyde, at genbruget ikke længere passer.
Betingelserne afhænger af leverandør og opsætning. Minimumslængde, gyldighed, adgangsafgrænsning og betaling er ikke universelle egenskaber. De skal kontrolleres i den aktuelle dokumentation frem for at indgå som en fast antagelse i et budget.
Hold stabile og skiftende oplysninger adskilt
En praktisk opbygning placerer genbrugelige instruktioner og kilder før den del, der ændres for hver brugeropgave. Hvis et nyt tidsstempel sættes helt i starten, kan det bryde identiteten i den fælles tekst og reducere mulighederne for genbrug.
Det betyder ikke, at information skal holdes uændret for cachingens skyld. Når en procedure ændres, skal den nye version bruges. En høj cacheandel er ikke et kvalitetsmål, hvis den opnås ved at fastholde forældet materiale.
Kontrollér både træffere og gyldighed
Registrér om et kald faktisk genbrugte input, og sammenlign indledende ventetid og omkostning med tilsvarende kald uden genbrug. Forskelle i svarlængde og belastning kan ellers forklare en del af resultatet.
Afklar også hvordan data afgrænses mellem kunder og arbejdsrum. Caching erstatter ikke adgangskontrol. En løsning med flere kunder skal stadig vælge de korrekte kilder, før den sender materialet til modellen, og kunne håndtere ændrede rettigheder.
Et eksempel fra praksis
Et supportteam bruger den samme godkendte produktvejledning til mange spørgsmål i løbet af dagen. Løsningen kan placere vejledningen i en stabil inputdel og lægge kundens spørgsmål bagefter.
Når vejledningen får en ny version, ændres kildereferencen og indholdet sammen. Teamet undersøger, om den nye version giver det forventede svar, også når tidligere kald har brugt den gamle. Testen omfatter desuden en kunde, som ikke har adgang til en intern servicemanual. Muligt genbrug må aldrig afgøre, hvilke dokumenter kunden får med.
Typiske faldgruber
- Prompt caching omtales som om modellen husker tidligere svar permanent.
- Et skiftende felt tidligt i input forhindrer genbrug af ellers identisk materiale.
- Cachetræffere prioriteres højere end opdaterede kilder og korrekte rettigheder.
Det skal I afklare
- Find inputdele, der reelt er stabile og genbruges ofte.
- Kontrollér aktuelle regler for cachematch, varighed og afgrænsning.
- Test opdateringer, ændrede rettigheder og faktisk registreret genbrug.
Spørgsmål og svar
Bliver det færdige svar genbrugt?
Normalt ikke ved prompt caching. Det er behandlingen af fælles input, der genbruges. Genbrug af hele svar er en anden cachetype med egne krav til gyldighed.
Fjerner prompt caching udgifterne til output?
Nej. Nyt output skal stadig genereres. Den konkrete økonomi afhænger af leverandørens aktuelle model- og cachevilkår samt den reelle andel af kald med genbrug.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Anthropic: Prompt caching ↗Identiske inputdele, stabile præfikser og afgrænsning.
- vLLM: Automatic Prefix Caching ↗Genbrug af fælles promptbehandling i en modelserver.