Hvad betyder Overfitting?
Overfitting betyder, at modellen lærer mønstre, som ikke generaliserer tilstrækkeligt. Den kan tilpasse sig støj, tilfældigheder eller særlige genveje i træningsdata. Resultatet kan være en imponerende træningsscore og en markant svagere præstation på nye observationer.
Problemet handler om forholdet mellem model, datagrundlag og træningsproces. En model med stor kapacitet kan være nødvendig til en kompleks opgave, men kapaciteten giver også mulighed for at tilpasse sig irrelevante detaljer. Mere træning kan derfor både hjælpe og skade.
Et tegn på overfitting er, at træningsresultatet fortsætter med at forbedres, mens valideringskvaliteten stagnerer eller forværres. Mønstret er et signal, som skal undersøges; forskelle mellem datasættene eller fejl i databehandlingen kan også påvirke resultatet.
Tilpas kompleksitet og træning til datagrundlaget
Mulige tiltag er en enklere model, regularisering, early stopping eller bedre variation i træningsmaterialet. Ved billeder kan relevant data augmentation hjælpe, hvis transformationerne bevarer det korrekte mål.
Tilføjelse af data er mest nyttig, når de nye eksempler udvider relevant dækning. Flere næsten identiske observationer løser ikke nødvendigvis problemet. Undersøg især de situationer, hvor modellen fejler på valideringsdata.
Beskyt den uafhængige test
Modelvalg bør ske gennem en gennemtænkt valideringsproces. Hvis det endelige testsæt bruges gentagne gange til at justere modellen, bliver det gradvist en del af udviklingen og mister sin uafhængige rolle.
Hold beslægtede observationer samlet, hvor opgaven kræver det. Fotos af samme produkt, dokumentkopier eller målinger fra samme hændelse på tværs af split kan skjule overfitting ved at gøre testen kunstigt let.
Et eksempel fra praksis
Forestil jer en model, der genkender emballagetyper. Den klarer næsten alle træningsbilleder, men fejler på billeder fra en ny lagerstation. En gennemgang viser, at hver type i træningsmaterialet typisk blev fotograferet på sin egen baggrund.
Teamet indsamler mere varierede optagelser og tester en enklere tilpasning med relevant augmentation. Det afgørende er, om modellen nu bruger produktets egenskaber på nye billeder. En højere træningsscore er ikke projektets mål; en mere pålidelig løsning i den faktiske arbejdsgang er.
Typiske faldgruber
- En flot træningsscore kan blive præsenteret som dokumentation for kvalitet i drift.
- Næsten identiske eksempler i validering eller test kan skjule overtilpasning.
- Gentagne justeringer mod samme testsæt kan gøre evalueringen mindre uafhængig.
Det skal I afklare
- Hvordan udvikler trænings- og valideringsresultaterne sig hver for sig?
- Hvilke særlige detaljer eller genveje kan modellen lære fra materialet?
- Er forbedringen bevaret på nye eksempler uden for udviklingsprocessen?
Spørgsmål og svar
Kan en lille model også overfitte?
Ja. Risikoen afhænger af opgaven og datagrundlaget, ikke kun antallet af parametre. Selv en enkel model kan tilpasses for meget til få eller særlige eksempler.
Er en lavere træningsscore altid bedre?
Nej. Målet er god kvalitet på relevante nye data. En model, der er for enkel til at lære nyttige mønstre, kan i stedet være underfittet.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Google: Dividing the original dataset ↗Træning, validering og uafhængig evaluering.
- TensorFlow: Data augmentation ↗Variation af træningseksempler som et muligt middel mod overtilpasning.