Hvad betyder Robusthedstest?
En robusthedstest undersøger, om en AI-løsning fortsat virker, når input varierer. Brugere skriver med stavefejl, indsætter lange mails, udelader felter og anvender andre ord end dem, udviklerne forventede. Et system, der kun består den pæne demo, kan derfor svigte i en almindelig arbejdsdag.
Robusthed er altid knyttet til en bestemt egenskab. En ændret formulering bør måske bevare svarets indhold, mens en ændret dato skal føre til et andet resultat. Testen skal beskrive, hvad der bør forblive stabilt, og hvad der bør ændre sig. Ellers risikerer man at belønne en model for at ignorere vigtig information.
Metoden omfatter både almindelig støj og bevidst vanskelige tilfælde. Den er bredere end en sikkerhedstest: en lang produktbeskrivelse eller en dårligt scannet tabel kan skabe problemer uden at nogen forsøger at angribe systemet.
Lav variationer med en forventet relation
Tag en opgave med kendt acceptkriterium og ændr én egenskab ad gangen. En høflig og en kortfattet version af samme spørgsmål bør normalt føre til samme faglige svar. Tilføjes der derimod en negation eller en ny produktmodel, kan svaret skulle ændres. CheckList-forskningen beskriver blandt andet minimale funktionstests og tests af invarians og forventede ændringer. Gem original og variant sammen, så fejlen kan knyttes til den konkrete forskel.
Test også systemets reaktion på mangler
En robust løsning skal ikke nødvendigvis besvare alt. Ved ulæselige bilag, tomme søgeresultater eller manglende tilladelser kan den korrekte adfærd være at spørge, afvise eller sende videre. Afprøv disse forløb eksplicit. Mål om systemet holder sig inden for de aftalte grænser, frem for blot om det producerer tekst. Kontrollér desuden, at en lang inputsekvens ikke får kritiske instruktioner eller kilder til at falde ud.
Et eksempel fra praksis
Illustrativt eksempel: En VVS-virksomhed bruger AI til at sortere servicehenvendelser. Testgruppen skriver samme lækagebeskrivelse med stavefejl, forkortelser og en lang mailhistorik. De tilføjer også en variant, hvor kunden beskriver en tidligere hændelse, som allerede er løst. Den sidste variant skal ikke behandles som en ny akut sag. Resultaterne hjælper teamet med at forbedre klassifikation og afklarende spørgsmål uden at gøre alle beskeder til højeste prioritet.
Typiske faldgruber
- At ændre flere forhold samtidig og miste forklaringen på fejlen.
- At kræve uændret svar, selv om inputændringen ændrer betydningen.
- At tælle en korrekt afvisning som en fejl, fordi der ikke kom et langt svar.
Det skal I afklare
- Beskriv den egenskab, hver variation skal teste.
- Medtag mangler, støj og grænser for inputlængde.
- Gem fejl som reproducerbare eksempler i det faste testsæt.
Spørgsmål og svar
Er robusthed det samme som høj gennemsnitlig nøjagtighed?
Nej. Et godt gennemsnit kan skjule følsomhed over for bestemte formuleringer eller brugergrupper. Robusthedstests undersøger netop disse systematiske svagheder.
Skal vi teste enhver mulig formulering?
Det er ikke realistisk. Vælg variationer ud fra brugeradfærd, konsekvenser og tidligere fejl, og udvid testsættet, når nye mønstre opstår.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- CheckList: Behavioral Testing of NLP models ↗Primærkilde gennemgået 7. september 2026.
- NIST: AI Risk Management Framework ↗Primærkilde gennemgået 7. september 2026.