Hvad betyder Token?
En tokenizer omsætter tekst til tokens, som modellen kan behandle. Opdelingen afhænger af tokenizer og tekst. Sammensatte danske ord, tal, kode og tegnsætning kan derfor give forskellige tokenantal, selv når to tekster har samme antal ord.
Der findes ingen fast omregning fra danske ord til tokens, der passer til alle modeller. Brug den relevante tokenizer eller API'ets forbrugstal, når et budget skal være præcist. Eksempler på tokenopdeling er illustrationer, medmindre de er målt med den tokenizer, I faktisk anvender.
Ved API-brug er input og output ofte prissat forskelligt. Cache, reasoning, billeder, lyd og værktøjer kan have egne regler. Et regnestykke bør derfor vise både det målte forbrug og den gældende prisliste frem for blot en pris pr. tekstafsnit.
Et eksempel fra praksis
Tag repræsentative danske kundemails og de forventede svar, og mål forbruget med den valgte model. Medregn systeminstruktioner, genforsøg og eventuelle søgninger. Så kan I anslå en pris pr. godkendt sag uden at gætte ud fra antal ord.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.