Pretraining
Den indledende træning af en stor model på enorme mængder data — modellens grundlæggende sprogforståelse opstår her.
Pretraining er den fase hvor en foundation model bliver til. Den fodres med trillioner af tokens fra internettet, bøger, kode-repositories og kuraterede datasæt. Modellen lærer at forudsige næste token i alle de sekvenser — og i processen lærer den grammatik, faktuel viden, ræsonnement, kode-mønstre, og meget mere.
Pretraining koster typisk hundredvis af millioner af dollars i compute. Det er derfor kun de største labs (Anthropic, OpenAI, Google, Meta, xAI) træner førende foundation models — de mindre aktører bygger ovenpå.
Resultatet af pretraining er en "base model" der er teknisk dygtig men ikke nødvendigvis hjælpsom eller sikker — det kræver yderligere træning (fine-tuning, RLHF) at gøre modellen brugbar som assistent.