Hvad betyder Data poisoning?
Data poisoning betyder, at nogen bevidst ændrer data for at påvirke et AI-systems adfærd. Det kan ske i materiale til træning eller finjustering, men også i dokumenter og andre kilder, som en RAG-løsning senere henter. Systemet kan derefter producere forkerte svar med en tilsyneladende legitim kildehenvisning.
Det er vigtigt at skelne mellem et angreb og almindelige datafejl. En forældet prisliste kan skabe skade uden at være lagt ind med ondsindet hensigt. I begge tilfælde er kildekontrol nødvendig, men et bevidst manipulationsforsøg kræver også undersøgelse af adgang, ændringsspor og andre berørte data.
Beskyttelsen starter derfor før modelkaldet. Hvis enhver bruger kan redigere det materiale, assistenten behandler som autoritativt, hjælper en veludformet systemprompt kun begrænset. Organisationen skal vide, hvem der kan ændre kilder, hvordan ændringer godkendes, og hvilke versioner løsningen faktisk bruger.
Beskyt datakæden fra kilde til indeks
Registrér ophav, version og godkendelsesstatus for dokumenter og datasæt. Hold brugerkommentarer, eksterne tekster og officielle forretningsregler adskilt. Kontrollér nye eller ændrede kilder før de bliver søgbare som autoritativ viden, og gennemgå rettigheder til både originalarkiv og søgeindeks. En ændring i en lokal kopi kan påvirke assistenten, selv om det oprindelige dokument stadig er korrekt. Derfor skal versionssporet gå gennem hele importforløbet.
Undersøg mistænkelige ændringer og konsekvenser
Brug et beskyttet testsæt til at se, om nye data flytter svar på centrale spørgsmål. Ved mistanke bør den berørte kilde kunne tages ud, og tidligere versioner kunne genoprettes. Undersøg, hvilke svar eller handlinger der allerede kan være påvirket. Det er ikke tilstrækkeligt at rette et dokument, hvis afledte chunks eller caches stadig indeholder den manipulerede tekst. Afgræns hændelsen og gentest før genåbning.
Et eksempel fra praksis
Illustrativt eksempel: En distributørs interne assistent bruger et delt ark med rabatregler. En uautoriseret ændring gør en bestemt produktgruppe berettiget til en ekstra rabat. Før ændringen når assistenten, opdager importkontrollen, at det godkendte versionsnummer mangler. Teamet sætter dokumentet i karantæne, undersøger adgangen og sammenligner med sidste godkendte udgave. Eksemplet viser værdien af at kontrollere reglernes ophav, ikke blot om et genereret svar citerer et dokument.
Typiske faldgruber
- At betragte alle tekster i en vidensbase som lige troværdige.
- At ændre træningsdata automatisk ud fra ukontrolleret brugerfeedback.
- At rette originalen uden at genopbygge berørte afledte data.
Det skal I afklare
- Registrér kilde, ejer, godkendelse og version ved import.
- Adskil ubetroet input fra autoritative dokumenter.
- Test mulighed for karantæne, tilbageførsel og oprydning.
Spørgsmål og svar
Kan en RAG-løsning rammes uden at modellen trænes?
Ja. Manipulerede kilder kan påvirke det materiale, modellen får ved søgning. Det ændrer ikke nødvendigvis modelvægtene, men kan stadig ændre svar og handlinger.
Er kildehenvisninger en tilstrækkelig beskyttelse?
Nej. De viser, hvor svaret kommer fra, men ikke at kilden er korrekt eller godkendt. Ophav, rettigheder og ændringskontrol skal understøtte henvisningen.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- OWASP: Data and Model Poisoning ↗Primærkilde gennemgået 7. september 2026.
- NIST AI 100-2: Adversarial Machine Learning ↗Primærkilde gennemgået 7. september 2026.