Hvad betyder Hyperparametre?
Hyperparametre er valg, som ligger omkring selve parameterlæringen. En models vægte tilpasses ud fra træningsdata, mens hyperparametre eksempelvis bestemmer, hvor store opdateringer der tages, hvor mange eksempler der behandles sammen, eller hvor stærkt modellen begrænses.
Modelarkitektur kan også indeholde hyperparametre, som antal lag eller trædybde. Terminologien varierer lidt mellem modelfamilier, men den centrale forskel er, om en størrelse læres som en del af modellen eller vælges til at styre udviklingen.
Hyperparametre kan vælges manuelt eller gennem en søgeproces. At prøve mange kombinationer er ikke gratis evidens: Det kræver beregning og kan tilpasse udviklingen til valideringsmaterialets særlige mønstre. Et afgrænset, dokumenteret forsøgsdesign er derfor vigtigt.
Søg efter begrundede forbedringer
Start med en referencekonfiguration og beskriv, hvilket problem næste forsøg skal løse. Grid search afprøver et valgt gitter af kombinationer, mens random search udvælger kombinationer fra angivne muligheder. Andre metoder kan bruge tidligere forsøg til at vælge næste kandidat.
Metoden bør passe til budget og antal relevante indstillinger. Et større søgerum er ikke automatisk bedre, hvis datagrundlaget er svagt eller kvalitetsmålet ikke beskriver den reelle opgave.
Hold modelvalg og sluttest adskilt
Brug validering til at sammenligne indstillinger og en passende separat vurdering af den valgte løsning. Log konfiguration, dataversion, kodeversion og relevante resultater, så et godt forsøg kan genskabes eller undersøges.
Rapportér også forskelle, der betyder noget for driften: hukommelse, svartid og beregning. En lille forbedring af et gennemsnitsmål kan være mindre værd end en enklere og mere stabil konfiguration.
Et eksempel fra praksis
Forestil jer en virksomhed, der vil klassificere supportsager. Teamet har en brugbar reference og vil undersøge, om en ændret regulariseringsstyrke forbedrer kvaliteten på sjældne kategorier. De afgrænser et mindre antal forsøg og bruger samme valideringsdesign.
En konfiguration giver lidt højere samlet korrekthed, men flere oversete hastesager. En anden er mere stabil på de vigtige kategorier. Valget dokumenteres efter de aftalte fejlomkostninger, hvorefter den udvalgte model vurderes på det tilbageholdte testsæt.
Typiske faldgruber
- Det endelige testsæt kan blive brugt som endnu et værktøj til at vælge indstillinger.
- Mange forsøg kan give tilfældige forbedringer, som ikke holder på nye data.
- Den bedste score kan blive valgt uden hensyn til drift, pris eller vigtige fejltyper.
Det skal I afklare
- Hvilke indstillinger undersøges, og hvorfor er netop de relevante?
- Hvad er budgettet og stopreglen for forsøgene?
- Er den valgte konfiguration dokumenteret og evalueret uafhængigt af søgningen?
Spørgsmål og svar
Er temperatur i en chatbot en hyperparameter?
Den kan omtales som en inferens- eller genereringsindstilling. Den er forskellig fra en lært modelvægt og fra hyperparametre, som styrer selve træningen.
Kan automatisk tuning erstatte faglig vurdering?
Nej. Søgningen optimerer de mål og rammer, den får. Fagpersoner skal stadig vurdere data, fejlomkostninger og den praktiske anvendelse.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Google: Hyperparameters ↗Forskel på lærte parametre og træningsindstillinger.
- scikit-learn: Cross-validation ↗Validering som grundlag for model- og indstillingsvalg.