Hvad betyder Top-p (nucleus sampling)?
Top-p kaldes også nucleus sampling. Metoden begrænser de mulige næste tokens til en dynamisk gruppe med tilstrækkelig samlet sandsynlighed. Ved top-p på 0,9 vælges eksempelvis blandt tokens, hvis sandsynligheder tilsammen når den angivne grænse. Antallet af kandidater kan ændre sig fra trin til trin.
Top-p og temperature påvirker begge variation, men gør det på forskellige måder. Temperature ændrer sandsynlighedsfordelingen, mens top-p afgrænser kandidatgruppen. Det er derfor lettere at forstå en test, når man ændrer én af dem ad gangen.
Hverken indstilling afgør, om et svar er sandt. Brug outputkontrol, relevante kilder og repræsentative tests til den del. Kontrollér også, at den konkrete model understøtter parameteren; standardværdi og muligheder er ikke ens på tværs af leverandører.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.