Hvad betyder LoRA (Low-Rank Adaptation)?
LoRA, Low-Rank Adaptation, er en metode til at tilpasse en model med færre trænbare parametre end ved fuld fine-tuning. De oprindelige vægte holdes faste, mens mindre matricer lærer en ændring til udvalgte beregninger.
Det kan reducere kravene til hukommelse under tilpasningen. Den konkrete effekt afhænger dog af model, adapterstørrelse, hardware og træningsopsætning. Forskningsresultater fra én model er ikke en generel garanti for, at enhver LoRA-træning bliver et bestemt antal gange hurtigere.
Et firma kan eksempelvis afprøve en adapter til en stabil dokumentklassifikation. Adapteren skal testes på nye dokumenter og versioneres sammen med grundmodellen. Ved brug af en lukket fine-tuning-tjeneste bør man ikke antage, at leverandøren bruger LoRA, hvis træningsmetoden ikke er dokumenteret.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.