Hvad betyder Regularisering?
Regularisering påvirker, hvilke løsninger en model foretrækker under træning. En almindelig tilgang føjer en straf for bestemte parameterstørrelser til det mål, der optimeres. Modellen skal dermed afveje en god tilpasning til træningsdata mod en ønsket form for enkelhed.
L2-regularisering bruger størrelsen af kvadrerede vægte i straffen, mens L1 bruger absolutte størrelser. Metoderne har forskellige egenskaber og kan påvirke parametrene forskelligt. Andre tilgange, som early stopping, kan også begrænse overtilpasning gennem selve træningsprocessen.
Formålet er ikke at gøre modellen så begrænset som muligt. For kraftig regularisering kan forhindre den i at lære nyttige mønstre og føre til underfitting. Styrken skal vælges med en relevant valideringsproces.
Regularisering er et valg, som skal måles
En regulariseringsparameter bestemmer typisk, hvor stærkt begrænsningen vægter i forhold til træningstabet. Sammenlign flere begrundede indstillinger på det samme evalueringsdesign og se på de fejltyper, der betyder noget for opgaven.
Fortolk ikke et højere træningstab som automatisk dårligere. En model kan passe træningsdata lidt mindre tæt og alligevel blive bedre på nye observationer. Det er netop en mulig effekt, man ønsker at undersøge.
Se metoden sammen med resten af modellen
Inputskala, modeltype og optimering påvirker regulariseringens virkning. Hvis variable har meget forskellige størrelsesordener, kan det ændre, hvordan en straf på vægte fungerer. Konsistent databehandling er derfor en del af forsøget.
Dokumentér den valgte metode og styrke sammen med model- og dataversion. Regularisering kan ikke rette forkerte labels, manglende input eller et misvisende testdesign. De problemer skal undersøges særskilt.
Et eksempel fra praksis
Forestil jer et team, der vil forudsige behandlingstid ud fra mange sagsfelter. Den første model tilpasser de gamle sager tæt, men er ustabil på nye. Teamet afprøver en regulariseret model med ensartet behandling af de numeriske input.
Valideringen undersøger både gennemsnitsfejl og de opgaver, der ofte bliver undervurderet. Den valgte indstilling accepterer lidt større fejl på træningen, hvis den giver mere stabil kvalitet på nye sager. Sluttesten holdes adskilt fra de gentagne valg af styrke.
Typiske faldgruber
- En meget stærk begrænsning kan fjerne nyttige mønstre og skabe underfitting.
- Regularisering kan blive brugt som erstatning for at rette dataproblemer.
- Resultater kan ændre sig, hvis inputskala eller øvrige træningsindstillinger ændres.
Det skal I afklare
- Hvilket tegn på overfitting skal regulariseringen afhjælpe?
- Er styrken valgt på valideringsdata frem for den endelige test?
- Forbedres de relevante fejltyper på nye observationer?
Spørgsmål og svar
Fjerner L2 automatisk unødvendige features?
L2 opmuntrer typisk til mindre vægte, men er ikke i sig selv en metode, der systematisk sætter dem præcist til nul. Feature selection er et særskilt valg.
Er early stopping også regularisering?
Det kan beskrives som en regulariserende metode, fordi træningen stoppes for at begrænse overtilpasning. Mekanismen er forskellig fra en direkte straf på parameterstørrelser.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Google: L2 regularization ↗Straf på vægte og valg af regulariseringsstyrke.
- scikit-learn: Cross-validation ↗Validering af model- og indstillingsvalg.