Parametre
Også kendt som: Parameters
De numeriske værdier en model lærer under træning — modellens "viden" gemt som vægte.
En LLM's parametre er de millioner eller milliarder af tal (vægte) inde i det neurale netværk, som justeres under træningen. Når man siger "GPT-4 har omkring 1.7 billion parametre", betyder det at modellens viden er kodet i 1.7 billion floating-point tal.
Flere parametre = mere kapacitet til at lære komplekse mønstre, men også mere computer-kraft påkrævet og højere inference-omkostninger. Tendensen er mod færre, men smartere parametre via teknikker som Mixture-of-Experts og bedre træningsdata.
De præcise parameter-tal for kommercielle modeller (Claude, GPT, Gemini) er typisk hemmelige. Open source-modeller som Llama 3 (8B, 70B, 405B parametre) er åbne om det.