Top-p (nucleus sampling)
En alternativ parameter til temperature der filtrerer hvilke tokens modellen overvejer.
Top-p sampling (også kaldet nucleus sampling) er en metode til at styre output-diversitet. I stedet for at justere sandsynligheder, vælger top-p kun fra den mindste mængde tokens hvis kumulerede sandsynlighed overstiger p.
Top-p = 0.9 betyder: overvej kun de tokens der tilsammen udgør 90% af sandsynlighedsmassen, ignorer resten. Det er ofte foretrukket over temperature fordi det tilpasser sig bedre til usikkerhed — når modellen er meget sikker, vælger den fra få muligheder; når den er usikker, fra flere.
De fleste API'er lader dig sætte begge dele, men brug typisk kun én ad gangen. Default top-p ligger ofte omkring 0.9-0.95.