Hvad betyder Pretraining?
Pretraining er den indledende træning, hvor en model lærer brede mønstre i data før en mere opgavespecifik tilpasning. En generativ sprogmodel kan eksempelvis lære at forudsige næste token. Andre modeller kan have andre læringsmål og datatyper.
Træningen justerer modellens parametre. Resultatet afhænger af blandt andet datakvalitet, datamængde, modelstørrelse og beregningsbudget. Store grundmodeller kan være ressourcekrævende, men der findes ikke én fast pris eller størrelse, som definerer pretraining.
En pretrænet model er ikke nødvendigvis klar til at følge virksomhedens instruktioner. Eftertræning og evaluering kan være nødvendige. For en virksomhed, der bygger en dokumentassistent, bør det afklares, om behovet er nye modelkompetencer eller blot adgang til aktuelle dokumenter; det sidste kan ofte håndteres uden at starte grundtræning forfra.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.