Hvad betyder Context Window?
Et context window sætter en grænse for, hvor meget en model kan arbejde med i et kald. Hos eksempelvis OpenAI omfatter grænsen input og output samt reasoning-tokens for relevante modeller. Der kan samtidig være en særskilt, lavere grænse for selve outputtet.
Instruktioner, samtalehistorik, dokumenter og værktøjsresultater kan optage plads. Når grænsen nås, kan systemet afvise kaldet eller forkorte konteksten afhængigt af API og opsætning. Information, der fjernes, kan ikke bruges i det aktuelle kald, medmindre den tilføres igen.
Et stort vindue er ikke det samme som pålidelig brug af alle oplysninger. Test eksempelvis, om et vigtigt forbehold bliver fundet midt i et langt dokument. Aktuelle grænser skal læses på den konkrete models dokumentationsside; et familienavn er ikke nok.
Et eksempel fra praksis
Sammenlign en løsning med udvalgte dokumenter i prompten med en løsning, der søger relevante uddrag frem. Mål svarkvalitet, faktisk tokenforbrug og svartid på samme spørgsmål. RAG har også omkostninger til søgning og vedligehold, så det er ikke automatisk billigere.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.