Hvad betyder Tabsfunktion?
En tabsfunktion omsætter forskellen mellem modellens resultat og det ønskede mål til et tal. Under træning forsøger optimeringen at reducere tabet. Valget af funktion påvirker, hvilke fejl modellen bliver presset mest til at undgå.
Ved regression kan en funktion eksempelvis måle absolutte eller kvadrerede afvigelser. Kvadrering lægger relativt større vægt på store fejl. Klassifikationsopgaver bruger ofte andre funktioner, der passer til kategorier og modelscorer. Funktionen skal stemme overens med output og træningsmål.
Træningstab er ikke automatisk det samme som et forretningsmæssigt kvalitetsmål. En virksomhed kan være mest optaget af oversete hastehenvendelser, godkendte svar eller realistisk planlægning. Tabsfunktionen kan være et nyttigt matematisk middel uden at dække hele denne vurdering.
Valget bestemmer, hvad der belønnes under træning
To modeller kan optimere forskellige fejlmål og derfor prioritere forskellige kompromiser. En funktion, som straffer store afvigelser kraftigt, kan være relevant i nogle situationer og meget følsom over for fejlbehæftede labels i andre.
Undersøg typiske og ekstreme fejl, før funktionen vælges. Beskriv, hvilke afvigelser der er dyre i den faktiske arbejdsgang. Eventuelle vægte skal være begrundede og vurderes på valideringsdata.
Følg tabet uden at miste det praktiske mål
Trænings- og valideringstab kan vise, om modellen lærer, stagnerer eller overtilpasser. Men tal kan kun sammenlignes meningsfuldt, når funktion, skalering og datagrundlag er forstået. Et lavere tal fra en anden tabsfunktion er ikke i sig selv bedre.
Rapportér derfor også opgavens egentlige kvalitetsmål. En model kan få lavere gennemsnitstab og samtidig blive dårligere på en sjælden, vigtig gruppe. Den forskel skal være synlig i beslutningen om at bruge modellen.
Et eksempel fra praksis
Forestil jer et værksted, der estimerer varigheden af opgaver. Teamet sammenligner modeller med forskellige fejlmål og ser, at nogle få meget lange opgaver påvirker træningen kraftigt. Før de ændrer modellen, undersøger de, om registreringerne indeholder pauser eller fejlagtige tidsstempler.
Efter datakontrollen vurderes både gennemsnitlig afvigelse og risikoen for at underestimere en arbejdsdag. Den valgte tabsfunktion dokumenteres som en del af træningen, mens planlæggerens praktiske kvalitetsmål bruges til den endelige vurdering.
Typiske faldgruber
- Et lavt tab kan blive forvekslet med dokumenteret forretningsværdi.
- Tabstal fra forskellige funktioner eller skaleringer kan blive sammenlignet direkte.
- Fejlbehæftede labels kan få uforholdsmæssig betydning under visse funktioner.
Det skal I afklare
- Hvilke fejl vægter funktionen mest, og passer det til opgaven?
- Er ekstreme observationer og labels gennemgået fagligt?
- Hvilke separate kvalitetsmål skal afgøre, om resultatet er brugbart?
Spørgsmål og svar
Er loss og accuracy det samme?
Nej. Accuracy tæller korrekte kategorier. Loss kan bruge mere information fra modellens scorer og er ofte valgt, så det kan indgå i træningsoptimeringen.
Skal træningstabet nå nul?
Ikke nødvendigvis. Et meget lavt træningstab kan være tegn på tæt tilpasning til materialet uden god generalisering. Kvaliteten på nye data er afgørende.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Google: Linear regression loss ↗Absolutte og kvadrerede fejl i regressionsopgaver.
- scikit-learn: Model evaluation ↗Forskellige kvalitetsmål og deres fortolkning.