Hvad betyder Datamærkning?
Data labeling gør et råt eksempel til et eksempel med et defineret mål. En besked kan få en emnekategori, et billede kan få en markering af et objekt, og et svar kan vurderes efter en rubric. Labelens form afhænger af den opgave, modellen skal løse.
Et label er ikke nødvendigvis en objektiv sandhed. Nogle opgaver har et entydigt facit, mens andre kræver faglig fortolkning. Uenighed mellem annotatorer kan afsløre uklare instruktioner eller et reelt grænsetilfælde, som løsningen skal kunne håndtere.
Kvaliteten af labels påvirker både læring og evaluering. En model kan ikke vurderes meningsfuldt mod et facit, der anvendes inkonsistent. Derfor bør mærkning have en dokumenteret vejledning, en proces for tvivl og en kontrol af et udvalg af resultaterne.
Beskriv reglerne med grænsetilfælde
En god mærkningsvejledning angiver kategoriernes betydning, positive og negative eksempler samt regler for manglende oplysninger. Den bør også forklare, hvornår en annotator skal vælge 'kan ikke afgøres' frem for at gætte.
Lad flere personer mærke et mindre, fælles udsnit, før arbejdet skaleres. Gennemgå uenigheder og justér instruktionerne. Målet er ikke blot at tvinge enighed frem, men at gøre beslutningsgrundlaget klart og reproducerbart.
Gem beslutningsgrundlag og ændringer
Registrér, hvilken vejledning og dataversion der blev brugt. Hvis kategorierne ændres, skal det være muligt at se, hvilke labels der bør genbesøges. Et felt til begrundelse kan være værdifuldt ved vanskelige eksempler.
AI kan foreslå labels, men forslagene skal kontrolleres efter opgavens risiko. Hvis en model både laver facit og vurderes mod det, kan evalueringen ende med at måle dens egen konsistens frem for faglig korrekthed.
Et eksempel fra praksis
Et illustrativt supportteam vil skelne mellem almindelige spørgsmål og henvendelser, der kræver teknisk eskalering. To erfarne medarbejdere mærker først det samme udsnit og opdager uenighed om fejl, som kunden endnu ikke har dokumenteret.
Vejledningen får derfor en særskilt kategori for manglende oplysninger og et krav om, hvad der skal afklares. Derefter mærkes et større udvalg med løbende stikprøvekontrol. Resultatet hjælper både modellen og teamets egen visitation ved at gøre de tidligere tavse kriterier konkrete.
Typiske faldgruber
- Uklare instruktioner kan skabe systematiske forskelle mellem annotatorer.
- Et tvunget label kan skjule, at eksemplet ikke har tilstrækkelige oplysninger.
- Automatisk genererede labels kan videreføre den modelbias, testen burde opdage.
Det skal I afklare
- Kan flere fagpersoner anvende mærkningsvejledningen på samme måde?
- Hvordan registreres uenighed, tvivl og manglende oplysninger?
- Er der en uafhængig kvalitetskontrol af både menneskelige og AI-foreslåede labels?
Spørgsmål og svar
Skal alle labels laves manuelt?
Ikke nødvendigvis. Eksisterende registreringer og modelbaserede forslag kan indgå. Deres kvalitet og relevans skal stadig kontrolleres, før de behandles som facit.
Hvad gør vi, hvis fagpersonerne er uenige?
Undersøg årsagen og dokumentér beslutningen. Uenighed kan skyldes uklare kriterier, manglende oplysninger eller en opgave, hvor flere svar er acceptable. Evalueringsmetoden bør afspejle det.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Google: Supervised learning ↗Labels og input i superviseret læring.
- Google: Machine Learning Glossary ↗Terminologi for labels og træningseksempler.