Hvad betyder Forvekslingsmatrix?
En forvekslingsmatrix er en tabel over de faktiske kategorier og modellens forudsagte kategorier. Hver celle tæller en kombination. Ved to klasser kan man se sande positive, falske positive, sande negative og falske negative. Ved flere klasser viser tabellen præcis, hvilke kategorier der blandes sammen.
Matricen er ofte mere handlingsrettet end én samlet score. Den kan afsløre, at en model klarer de fleste dokumenter fint, men konsekvent forveksler kreditnotaer og fakturaer. Det peger på et konkret behov for bedre definitioner, testeksempler, data eller kontrol i den efterfølgende arbejdsgang.
Læs akserne, før du læser farverne
En almindelig opstilling har den rigtige kategori på rækkerne og den forudsagte kategori i kolonnerne. Andre værktøjer kan vise det omvendt, så akserne skal altid være tydelige. Den diagonale række af celler viser korrekte klassifikationer. Celler uden for diagonalen viser fejl. Begynd med rå antal, så det fremgår, om et stærkt farvet felt repræsenterer to eller to tusind dokumenter. En normaliseret matrix kan derefter vise andele, men nævneren skal forklares: andel af en faktisk kategori, af en forudsagt kategori eller af hele testmaterialet.
Brug cellerne til at vælge næste forbedring
Se efter fejl, som både forekommer og har en mærkbar konsekvens. At en mail om en leverance ender hos fakturering kan være besværligt, mens en fejlagtig automatisk godkendelse kan kræve en helt anden kontrol. Gennemgå konkrete eksempler fra de vigtigste celler sammen med fagpersoner. Undersøg også, om facit er tvetydigt: en henvendelse kan reelt handle om flere emner. I så fald er problemet måske en for simpel kategorimodel. En matrix beskriver den valgte opgave; den beviser ikke, at kategorierne er de rigtige til virksomhedens arbejde.
Et eksempel fra praksis
En kundeservice vil sortere mails i levering, faktura og retur. Et tænkt testudsnit viser mange fejl fra retur til levering. Ved læsning af eksemplerne opdager teamet, at kunder skriver om en pakke, der skal sendes tilbage. Kategoridefinitionen får derfor en tydelig regel om formål, og blandede sager får en manuel rute. Den næste måling viser både hele matricen og de konkrete returfejl, så teamet kan se, om ændringen løser det oprindelige problem.
Typiske faldgruber
- At bytte om på rigtige og forudsagte kategorier i fortolkningen.
- At vise kun procenter og skjule, hvor få eksempler en kategori bygger på.
- At behandle et uklart facit som et sikkert bevis på modelfejl.
Det skal I afklare
- Navngiv akser, kategorier og normalisering direkte ved tabellen.
- Kontrollér rå antal og udvalgte eksempler fra de vigtigste fejlceller.
- Knyt hver prioriteret fejltype til en konsekvens og en konkret forbedring.
Spørgsmål og svar
Kan matricen bruges ved mere end to kategorier?
Ja. Hver kategori får en række og kolonne. Ved mange kategorier kan det være nyttigt at gruppere overblikket og derefter undersøge de væsentlige forvekslinger.
Er en forvekslingsmatrix nok til at teste en chatbot?
Kun for en klart defineret klassifikationsopgave. Frie svar kræver også vurdering af blandt andet relevans, kildeunderstøttelse og om brugerens opgave faktisk blev løst.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- scikit-learn: confusion_matrix ↗Rigtige klasser, forudsagte klasser og normalisering.
- scikit-learn: accuracy_score ↗Andel korrekte klassifikationer og præcise match i multilabel-opgaver.