Hvad betyder Instruktionshierarki?
Et instruktionshierarki hjælper en sprogmodel med at skelne mellem en opgave og det materiale, opgaven handler om. En kundes besked kan eksempelvis være data, som skal opsummeres, uden at beskeden får ret til at ændre assistentens regler.
Den konkrete inddeling afhænger af platformen. OpenAI beskriver blandt andet forskellige autoritetsniveauer for instruktioner, mens forskning i instruction hierarchy undersøger træning til at ignorere modstridende instruktioner med lavere prioritet. Det er derfor nødvendigt at kende den valgte platforms beskedroller frem for at antage, at overskrifter i en lang tekst skaber samme adskillelse.
For en virksomhed er formålet at bevare opgavens rammer, selv om eksternt materiale indeholder kommandoer. Et hierarki gør ikke modellen ufejlbarlig. Adgang til systemer og godkendelse af handlinger skal også håndhæves uden for den genererede tekst.
En besked kan indeholde tekst uden autoritet
Når en assistent læser en vedhæftet tilbudsbeskrivelse, bør et afsnit med “ignorér tidligere regler” behandles som indhold i dokumentet. Afsnittet er ikke automatisk en ny instruktion fra brugeren. Samme skel gælder søgeresultater, webindhold og svar fra andre systemer.
Applikationen bør bevare oplysninger om, hvor indholdet kommer fra. Hvis alle kilder blandes sammen i én udifferentieret tekstblok, bliver grænsen vanskeligere at kontrollere og efterprøve.
Test konflikter før adgang udvides
En relevant prøve beskriver både den legitime opgave og et dokument, der forsøger at ændre den. Resultatet vurderes på, om assistenten stadig løser opgaven inden for de aftalte rammer. Det er utilstrækkeligt, at den blot nægter at behandle alle dokumenter.
Skriv også ned, hvilke handlinger programmet selv afviser, eksempelvis læsning af en anden kundes sag. En tekstlig regel om at holde kunder adskilt kan ikke erstatte en adgangskontrol baseret på den aktuelle bruger.
Et eksempel fra praksis
Et tilbudsteam modtager et udbud med kundens krav. En intern assistent skal finde leverancer og frister, men dokumentet indeholder også tekst, som beder den sende interne priser til en anden adresse.
I en kontrolleret test skal assistenten udtrække de relevante udbudskrav og markere den uvedkommende instruktion som dokumentindhold. Mailværktøjet er samtidig utilgængeligt i denne arbejdsgang. Teamet kan dermed undersøge både modellens fortolkning og programmets faktiske begrænsning uden at sende oplysninger til nogen.
Typiske faldgruber
- En overskrift med “system” i et dokument forveksles med en rigtig systembesked.
- Instruktionshierarki bruges som eneste beskyttelse af data og handlinger.
- Testen belønner total afvisning, selv når den legitime opgave kunne løses.
Det skal I afklare
- Adskil udviklerinstruktioner, brugeropgave og eksternt materiale.
- Test en legitim opgave med modstridende dokumenttekst.
- Håndhæv tilladelser i de systemer, assistenten kan bruge.
Spørgsmål og svar
Gælder samme hierarki for alle modeller?
Nej. Roller og håndtering varierer mellem platforme og modeller. Læs den aktuelle dokumentation og test jeres konkrete sammensætning af beskeder.
Kan en prompt alene stoppe prompt injection?
Den kan være en del af løsningen, men den giver ikke en sikker adgangsgrænse. Programmet skal begrænse dataadgang og handlinger, også hvis modellen fortolker tekst forkert.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Wallace m.fl.: The Instruction Hierarchy ↗Forskning i prioritering af privilegerede instruktioner.
- OpenAI Model Spec, 18. december 2025 ↗Versionsfast eksempel på autoritetsniveauer; ikke en universel standard.