Hvad betyder Parametre?
Parametre er de numeriske vægte, som justeres, når et neuralt netværk trænes. De former modellens beregninger og de mønstre, den kan repræsentere. De er ikke en database, hvor hvert tal svarer til en bestemt oplysning.
Et større parameterantal kan give mere kapacitet, men kvalitet afhænger også af træningsdata, træningsindsats og arkitektur. Forskningen i compute-optimal træning viser netop, at forholdet mellem modelstørrelse og datamængde har betydning. Et stort tal alene afgør derfor ikke, hvilken model der løser jeres opgave bedst.
Ved Mixture-of-Experts bør man skelne mellem alle modellens parametre og dem, der aktiveres under en beregning. For flere lukkede modeller er tallene ikke offentlige. Undgå at behandle rygter om deres størrelse som specifikationer.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.