LoRA (Low-Rank Adaptation)
En effektiv fine-tuning-teknik der kun opdaterer en lille brøkdel af modellens parametre.
LoRA er en metode til at fine-tune store modeller uden at skulle opdatere alle deres milliarder af parametre. I stedet "fryser" man hovedmodellen og tilføjer små "adapter"-matricer som man træner på sit eget data.
Fordelene er enorme: træning er 10-100× hurtigere, kræver meget mindre GPU-hukommelse, og du kan have mange LoRA-adaptere der hver tilpasser samme base-model til forskellige use cases.
LoRA er især udbredt blandt open-source-fællesskaber der fine-tuner Llama, Mistral og lignende modeller. For lukkede modeller (Claude, GPT) tilbyder udbyderne ofte deres egne fine-tuning-API'er der typisk bruger LoRA eller lignende teknikker under hætten.