Hvad betyder Kalibrering?
En model er godt kalibreret, når dens sandsynlighedsangivelser stemmer rimeligt med observerede udfald. Blandt mange tilfælde, som får cirka 80 procents sandsynlighed for en bestemt kategori, bør omtrent 80 procent faktisk tilhøre kategorien. Det er en egenskab ved grupper af forudsigelser, ikke et bevis for den enkelte sag.
Kalibrering er vigtig, når en score afgør, om et AI-resultat må behandles automatisk eller skal gennemgås af et menneske. En model kan rangere sager godt, men være systematisk for sikker. En høj score er derfor ikke automatisk en pålidelig begrundelse for at fjerne kontrol.
Sammenhold scores med observerede udfald
En kalibreringskurve grupperer forudsigelser efter deres score og sammenligner den gennemsnitlige score med andelen af faktiske positive udfald. Vis også antal eksempler i grupperne; få observationer kan give store udsving. Et samlet fejlmål kan hjælpe med overblik, men resultatet afhænger blandt andet af inddelingen og datagrundlaget. Det er derfor nyttigt at undersøge både kurven og konkrete relevante grupper. For en dokumentløsning kan forskellige formularer eller scanningskvaliteter give forskellig pålidelighed, selv om de får samme score. Testen skal afspejle de forhold, hvor scoren skal bruges.
Justering kræver nye, uafhængige data
Kalibrering kan også betegne en efterfølgende justering af modellens scores. Metoder som sigmoidkalibrering, isotonic regression eller temperature scaling bruges i forskellige sammenhænge. Valget afhænger af model, datamængde og opgave. Justeringen bør læres på data, der er adskilt fra modeltræningen, og dens kvalitet skal vurderes på endnu et egnet testgrundlag. Ellers kan man tilpasse scoren til kendte eksempler uden at forbedre fremtidige beslutninger. Hold også øje med ændringer i datagrundlaget. En kalibrering fra gamle kundehenvendelser gælder ikke nødvendigvis for en ny kanal med andre afsendere og formuleringer.
Et eksempel fra praksis
En virksomhed vil lade en dokumentmodel foreslå automatisk registrering over en høj sikkerhedsscore. I et tænkt testudsnit gennemgår teamet de dokumenter, der får mindst 0,95. Flere fejl viser sig at komme fra en bestemt scannertype. Gruppen sendes derfor til manuel kontrol, mens datagrundlaget undersøges. Teamet tester senere både scorejustering og bedre billedinput. Beslutningen om automatisering bygger på observeret korrekthed i relevante dokumentgrupper, ikke på modellens selvsikre tal alene.
Typiske faldgruber
- At behandle modellens sætning 'jeg er 95 procent sikker' som en kalibreret sandsynlighed.
- At konkludere noget sikkert ud fra meget små scoregrupper.
- At justere og evaluere kalibreringen på præcis de samme eksempler.
Det skal I afklare
- Afklar hvad scoren betyder, og om den overhovedet er tænkt som en sandsynlighed.
- Sammenlign score og udfald med antal pr. gruppe og relevante underkategorier.
- Genkontrollér kalibrering efter ændringer i model, kanal eller datatyper.
Spørgsmål og svar
Er en kalibreret model altid god til at skelne?
Nej. En model kan give rimelige sandsynligheder samlet uden at rangere de enkelte sager særlig nyttigt. Kalibrering og evnen til at skelne mellem klasser skal vurderes hver for sig.
Kan en chatbot selv fortælle sin sikkerhed?
Den kan skrive et tal, men tallet bliver først nyttigt som beslutningsgrundlag, når dets sammenhæng med faktisk korrekthed er undersøgt systematisk for den konkrete opgave.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- scikit-learn: Probability calibration ↗Sammenhæng mellem sandsynligheder, observerede udfald og kalibreringskurver.
- Guo m.fl.: On Calibration of Modern Neural Networks ↗Forskningsarbejde om kalibrering og efterfølgende justering af modelscores.