Hvad betyder Precision?
Precision er et kvalitetsmål for en bestemt positiv klasse. Hvis et system markerer 20 henvendelser som relevante salgsmuligheder, og en faglig gennemgang bekræfter 15 af dem, er precision 15 divideret med 20: 75 procent. De fem øvrige er falske positive.
Målet er nyttigt, når det er dyrt eller forstyrrende at handle på et forkert fund. Det siger derimod ikke, hvor mange relevante henvendelser systemet overså. En model kan opnå høj precision ved kun at markere ganske få oplagte tilfælde. Derfor skal tallet normalt læses sammen med recall og antallet af fund.
Begynd med det, modellen har udpeget
Nævneren i precision er alle de tilfælde, som modellen har kaldt positive. Tælleren er de positive fund, som et pålideligt facit bekræfter. Aftal først, hvad positiv betyder i opgaven. Et lead kan eksempelvis kræve et reelt virksomhedsbehov, relevant geografi og kontaktmulighed. Hvis bedømmerne bruger forskellige kriterier, bliver målet uklart. Gem de konkrete eksempler bag resultatet, herunder grænsetilfælde. Hvis modellen slet ikke markerer noget, kan almindelig precision ikke beregnes uden en valgt konvention. Et tomt resultat må ikke præsenteres som dokumentation for perfekt kvalitet.
Knyt precision til den efterfølgende handling
Et løst forslag, som en medarbejder hurtigt kan afvise, kan have et andet kvalitetskrav end en automatisk ændring i CRM. Angiv derfor, hvad der sker med et positivt fund. Sammenlign også precision på tværs af relevante grupper: nye kunder, eksisterende kunder, forskellige kanaler og uklare forespørgsler. En høj samlet værdi kan skjule en svag kategori. Ved ændret scoretærskel bør teamet måle både kvaliteten af de udvalgte fund og hvor mange sager der sendes videre. Færre fejlagtige markeringer er kun en forbedring, hvis den samlede arbejdsgang stadig fanger tilstrækkeligt mange relevante muligheder.
Et eksempel fra praksis
Et bureau tester automatisk leadkvalificering på historiske, gennemgåede henvendelser. I et tænkt udsnit markerer systemet 20 som relevante, hvoraf 15 opfylder den aftalte definition. Sælgeren gennemgår de fem fejl og finder, at jobansøgninger ofte indeholder de samme fagord som købsforespørgsler. Teamet tilføjer en tydelig vurdering af henvendelsens formål og tester på et nyt udsnit. Målet er bedre kvalificering, uden at reelle købere sorteres fra.
Typiske faldgruber
- At oversætte precision til generel nøjagtighed uden at nævne den positive klasse.
- At fejre færre falske fund uden at kontrollere de relevante sager, der overses.
- At rapportere en høj procent uden antal, testperiode og fagligt facit.
Det skal I afklare
- Skriv en konkret definition af positiv, og få bedømmerne til at afprøve den.
- Vis korrekte fund, falske positive og det samlede antal markeringer.
- Mål recall og arbejdsmængde ved samme tærskel som precision.
Spørgsmål og svar
Er 90 procent precision altid godt?
Nej. Det afhænger af opgaven, testgrundlaget og konsekvensen af de resterende fejl. Ni korrekte fund ud af ti giver også større usikkerhed end et stort repræsentativt datasæt.
Kan precision bruges til søgning?
Ja. Man kan undersøge, hvor stor en andel af de viste søgeresultater der er relevante. Angiv da også, hvor mange resultater og hvilke spørgsmål vurderingen omfatter.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- scikit-learn: precision_score ↗Definition, positiv klasse og håndtering af tomme nævnere.
- Google: Accuracy, recall, precision and related metrics ↗Valg af mål ud fra klassefordeling og forskellige fejls konsekvenser.