Hvad betyder Cross-validation?
Cross-validation er en metode til at evaluere modeller under udvikling. Ved k-fold krydsvalidering deles data i flere dele. Modellen trænes på nogle dele og vurderes på den tilbageholdte del, hvorefter processen gentages med en anden del til validering.
Resultaterne giver et billede af kvalitet og variation på tværs af opdelinger. Det kan være nyttigt ved sammenligning af modeller eller hyperparametre. De gentagne resultater er dog ikke nødvendigvis uafhængige observationer, og et gennemsnit bør ikke stå alene.
Metoden skal respektere dataenes struktur. Et almindeligt tilfældigt split kan være forkert, hvis data er tidsafhængige eller indeholder mange observationer fra samme kunde, maskine eller dokument. Den rigtige opdeling efterligner den måde, modellen skal møde nye data på.
Vælg en opdeling, der passer til opgaven
Stratificering kan hjælpe med at bevare kategorifordelingen i klassifikationsopgaver. Group-baserede split kan holde beslægtede observationer samlet. Ved tidsserier kan en fremadrettet opdeling være relevant, så træning ikke får adgang til senere perioder.
Disse valg løser forskellige problemer. En stratificeret fordeling beskytter eksempelvis ikke i sig selv mod, at billeder af samme produkt ender på begge sider af splittet.
Hele læringsprocessen skal gentages korrekt
Preprocessing, feature selection og andre datadrevne trin skal tilpasses på træningsdelen i hver fold. Hvis de først er beregnet på hele datasættet, kan valideringsinformationen allerede være lækket ind i modellen.
Når krydsvalideringen bruges til at vælge indstillinger, er den en del af udviklingen. En afsluttende vurdering kræver en passende uafhængig test eller et særskilt evalueringsdesign. Dokumentér også variationen mellem folds og de situationer, hvor modellen er svag.
Et eksempel fra praksis
Et illustrativt projekt klassificerer billeder af reservedele. Der findes flere fotos af hvert fysisk produkt. Teamet bruger derfor produktets identifikator til at holde alle tilhørende billeder samlet i samme fold.
En første tilfældig evaluering havde givet en højere score, fordi næsten identiske optagelser lå i både træning og validering. Den grupperede test er sværere, men beskriver bedre mødet med nye produkter. Teamet bruger den til modelvalg og holder et senere, særskilt billedsæt til slutvurderingen.
Typiske faldgruber
- Tilfældig k-fold kan bryde tidsrækkefølge eller sprede beslægtede observationer.
- Preprocessing før opdelingen kan skabe datalækage i alle folds.
- Et gennemsnit kan skjule stor variation mellem grupper eller perioder.
Det skal I afklare
- Hvilke observationer hænger sammen og skal holdes samlet?
- Bliver alle datadrevne behandlingstrin tilpasset inden for hver træningsfold?
- Hvordan vurderes den endelige model uafhængigt af valget af indstillinger?
Spørgsmål og svar
Er ti folds altid bedre end fem?
Nej. Antallet påvirker beregningstid og evalueringsdesign. Valget bør passe til data og opgave frem for at følge et universelt tal.
Kan cross-validation erstatte overvågning i drift?
Nej. Den vurderer modeller på det tilgængelige materiale. Nye forhold og ændrede datamønstre kræver fortsat opfølgning efter anvendelse.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- scikit-learn: Cross-validation ↗K-fold, stratificering, grupper og tidsafhængige split.
- scikit-learn: Common pitfalls ↗Databehandling og lækage i evaluering.