Hvad betyder Valideringsdata?
Valideringsdata hjælper udviklingsteamet med at vælge en løsning. De kan bruges til at sammenligne arkitekturer, hyperparametre eller træningsforløb. Modellen træner på ét datasæt, mens valideringssættet viser, hvordan de foreløbige valg virker på andre eksempler.
Fordi udvikleren bruger resultaterne til at træffe beslutninger, påvirker valideringsdata indirekte den endelige model. De er derfor ikke en helt uafhængig sluttest. Et særskilt testsæt bør bruges til den afsluttende vurdering, når de væsentlige valg er fastlagt.
Validering er heller ikke én bestemt procentfordeling. Et passende split afhænger af datamængde, opgave og sammenhænge mellem observationer. Tidsdata, gentagne målinger fra samme enhed og beslægtede dokumenter kan kræve en særlig opdeling.
Brug validering til konkrete udviklingsbeslutninger
En træningskurve kan vise, at modellen bliver bedre på træningsdata, mens kvaliteten på valideringsdata holder op med at forbedres. Det kan være et signal om overfitting og indgå i en beslutning om early stopping eller ændret regularisering.
Vælg på forhånd de mål, som er relevante for opgaven. Hvis teamet skifter mål, hver gang en ny model ser fordelagtig ud, bliver sammenligningen mindre troværdig. Registrér både forsøg og begrundelser for de valgte indstillinger.
Mange forsøg kan tilpasse sig valideringssættet
Når den samme samling eksempler bruges igen og igen, kan udviklingen gradvist favorisere dens særlige mønstre. En forbedring på valideringssættet er derfor ikke et løfte om samme forbedring i drift.
Cross-validation kan være nyttig i nogle situationer, men skal stadig respektere tidsrækkefølge og grupper. Den sidste, uafhængige test og en senere evaluering på driftsdata giver andre typer evidens end udviklingsvalideringen.
Et eksempel fra praksis
Et illustrativt projekt udvikler en model til at forudsige leveringstid. Træningen bruger ældre forsendelser, mens en efterfølgende periode anvendes til at vælge model og indstillinger. En endnu senere periode holdes tilbage til sluttesten.
Teamet sammenligner ikke blot gennemsnitsfejl, men også forsinkede og usædvanlige leverancer. Hvis en indstilling forbedrer normale forsendelser og forværrer de kritiske, skal valget afspejle det. Slutperioden åbnes først, når beslutningen er taget, så den ikke bliver en ekstra udviklingsrunde i forklædning.
Typiske faldgruber
- Valideringssættet kan fejlagtigt blive omtalt som en uafhængig sluttest.
- Gentagne forsøg på de samme eksempler kan skabe indirekte overtilpasning.
- Et tilfældigt split kan blande fremtidige perioder eller beslægtede observationer ind i udviklingen.
Det skal I afklare
- Hvilke beslutninger må resultaterne fra valideringssættet bruges til?
- Passer datadelingen til tid, kunder og gentagne observationer?
- Er der et separat testsæt, som ikke bruges til løbende modelvalg?
Spørgsmål og svar
Må vi bruge valideringsdata til early stopping?
Ja, det er en almindelig anvendelse. Resultaterne hjælper med at vælge, hvornår træningen skal stoppe. De er dermed en del af udviklingsbeslutningen.
Skal alle projekter bruge samme datasplit?
Nej. En fast fordeling er ikke en universel regel. Delingen skal passe til datamængde, tidsstruktur og den måde, modellen skal møde nye observationer på.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Google: Dividing the original dataset ↗Validering som led i modeludvikling.
- scikit-learn: Cross-validation ↗Valideringsstrategier og begrænsninger ved forskellige datasplit.