Hvad betyder Klassifikation i AI?
Klassifikation omsætter input til kategorier. En binær opgave har to mulige udfald, eksempelvis fejl eller ingen fejl. En multiclass-opgave vælger mellem flere kategorier. Ved multilabel-klassifikation kan samme observation have flere labels, som når en besked både handler om fakturering og levering.
Kategorierne er en del af opgavens design. Modellen kan ikke rette op på, at organisationen mangler en fælles definition af, hvad der hører til hvor. Derfor er arbejdet med eksempler og grænsetilfælde ofte lige så vigtigt som selve modelvalget.
Mange klassifikatorer producerer scorer, som efterfølgende omsættes til en beslutning. En tærskel afgør eksempelvis, hvornår en sag markeres til kontrol. At ændre tærsklen ændrer balancen mellem oversete tilfælde og falske alarmer; det skaber ikke nødvendigvis en bedre model.
To forkerte svar kan have forskellig pris
En falsk positiv opstår, når systemet markerer noget, der ikke tilhører den positive kategori. En falsk negativ er et tilfælde, som systemet overser. Hvilken fejl der er mest alvorlig, afhænger af arbejdsgangen.
Accuracy viser den samlede andel korrekte klassifikationer, men kan være misvisende ved skæve kategorifordelinger. Precision og recall belyser andre sider af kvaliteten. En confusion matrix viser, hvilke kategorier modellen forveksler, så fejl kan kobles til konkrete handlinger.
Gør kategorier og undtagelser operationelle
Skriv en kort definition, positive eksempler og grænsetilfælde for hver kategori. Aftal, om en observation kan tilhøre flere kategorier, og hvordan 'ukendt' behandles. Hvis en medarbejder skal kontrollere usikre sager, skal kapaciteten til den kontrol indgå i vurderingen.
Test på nye eksempler, der afspejler driften. En model skal også undersøges efter kanal, sprog eller produktgruppe, hvis disse forskelle kan påvirke kvaliteten. Hold evalueringsdata adskilt fra træningsmaterialet.
Et eksempel fra praksis
Forestil jer en grossist, der vil sende produktspørgsmål til den rigtige specialist. En pilot klassificerer beskeder efter produktfamilie og markerer henvendelser med flere emner til manuel visitation.
En forkert placering kan være billig, hvis modtageren let kan flytte sagen, men dyr, hvis beskeden bliver liggende i flere dage. Evalueringen registrerer derfor både kategoriens korrekthed og den faktiske konsekvens. Teamet kan vælge en forsigtig tærskel, indtil der er tilstrækkelig erfaring med de sjældne produktfamilier.
Typiske faldgruber
- Et flertal af almindelige sager kan skjule dårlig kvalitet på sjældne kategorier.
- Tærsklen kan blive valgt ud fra en pæn score frem for afdelingens kapacitet og fejlomkostninger.
- Hvis kategorier ændres, skal både data, test og downstream-regler opdateres.
Det skal I afklare
- Skal hver sag have én kategori, flere kategorier eller mulighed for 'ukendt'?
- Hvad koster en falsk positiv og en falsk negativ i denne proces?
- Er kvalitetsmålet beregnet på nye, repræsentative eksempler?
Spørgsmål og svar
Er klassifikation kun til tekst?
Nej. Input kan også være billeder, lyd eller strukturerede data. Det afgørende er, at det ønskede resultat er en kategori eller et sæt labels.
Er 95 procent korrekthed altid godt?
Nej. Tallet skal ses sammen med kategorifordeling, datagrundlag og fejltyper. Hvis næsten alle sager er negative, kan en model få høj korrekthed ved at overse alle positive tilfælde.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Google: Classification ↗Tærskler, fejltyper og klassifikationsmål.
- scikit-learn: Model evaluation ↗Metoder til at evaluere klassifikation og andre modelopgaver.