Hvad betyder Model drift?
Model drift bruges ofte som samlebetegnelse for ændringer, der svækker et AI-systems kvalitet i drift. Kunder begynder at spørge om nye produkter, dokumenternes sprog ændres, eller sammenhængen mellem input og det korrekte svar flytter sig. Det er derfor nyttigt at præcisere, hvilken type drift man mener.
Datadrift betyder, at inputfordelingen ændrer sig. Concept drift betyder, at forholdet mellem input og det rigtige resultat ændres. En leverandøropdatering af et modelalias er endnu en mulig årsag til ændret adfærd, men den er ikke det samme som en ændring i kundernes data.
Et registreret skift er et signal til undersøgelse, ikke automatisk bevis for dårligere kvalitet. En kampagne kan ændre andelen af nye kunder uden at skabe fejl. Omvendt kan en sjælden, alvorlig fejl være vigtig, selv om den samlede inputfordeling næsten er uændret.
Kombinér signaler med faglige udfald
Følg eksempelvis inputlængde, sprog, kategorier, manglende felter, afvisninger og forbrug. Sammenhold dem med godkendte svar, rettelser og eskalationer. Et dashboard med embeddings eller statistiske afstande kan vise ændringer, men bør ledsages af forståelige eksempler. Gem en referenceperiode og markér kendte begivenheder som produktlanceringer, nye formularer og modelskift, så alarmer kan sættes i en konkret sammenhæng.
Ret årsagen frem for automatisk at genoptræne
Hvis nye produktnavne mangler i vidensbasen, er det måske dokumenterne, der skal opdateres. Hvis etiketter i CRM er ændret, kan integrationsmappingen være problemet. Hvis det samme input giver nye fejl efter et modelskift, bør version og instruktioner undersøges. Automatisk genoptræning på ukontrollerede nye data kan indføre yderligere fejl. Aftal derfor, hvem der undersøger alarmen, og hvilke tests der skal bestås før en rettelse frigives.
Et eksempel fra praksis
Illustrativt eksempel: En rejseudbyders supportassistent får pludselig mange spørgsmål om en ny billetkategori. Andelen af videresendte sager stiger, men den gamle model er uændret. En stikprøve viser, at dokumentbasen stadig kun beskriver de tidligere kategorier. Teamet tilføjer godkendte vilkår og nye testspørgsmål. De følger derefter, om assistenten besvarer den nye kategori korrekt, i stedet for blot at få den samlede videresendelsesprocent ned.
Typiske faldgruber
- At kalde enhver statistisk ændring en kvalitetsforringelse.
- At overse modelalias, dataversioner og ændrede integrationer.
- At træne videre på fejlbehæftede brugerrettelser uden kontrol.
Det skal I afklare
- Gem en referenceperiode og konkrete kvalitetsmål.
- Undersøg ændringer opdelt efter centrale opgavetyper.
- Aftal alarmer, ansvar og regressionstest før en rettelse.
Spørgsmål og svar
Kan drift ske uden at modellen opdateres?
Ja. Nye kunder, produkter, dokumenter eller arbejdsgange kan ændre opgaven omkring en uændret model. Derfor skal hele systemets anvendelse overvåges.
Hvor ofte bør drift kontrolleres?
Hyppigheden afhænger af ændringstempo og konsekvens. Kritiske fejl kan kræve hurtige alarmer, mens faglige stikprøver kan gennemgås efter en fast rytme.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Google Cloud: Introduction to Model Monitoring ↗Primærkilde gennemgået 7. september 2026.
- Sculley m.fl.: Hidden Technical Debt in Machine Learning Systems ↗Primærkilde gennemgået 7. september 2026.