Hvad betyder Prompt injection?
Prompt injection opstår, når input forsøger at få en model til at følge instruktioner, som ikke kommer fra den autoriserede opgave. Et angreb kan stå direkte i en besked eller indirekte i en webside, email eller fil, systemet læser.
En dokumentassistent kan eksempelvis møde en tekst, der påstår at være en systembesked og beder om at udlevere andre dokumenter. Dokumentets ord er stadig indhold; de giver ingen ny tilladelse. Problemet bliver alvorligere, når applikationen både kan læse fortrolige data og udføre udgående handlinger.
Brug flere lag: adskil instruktioner fra kilder, begræns data og værktøjer, valider kald i kode og kræv passende godkendelser. En ekstra modelkontrol kan indgå, men er ikke en garanti. Test forsøg på dataudtræk, ændring af modtager og skjulte instruktioner i det materiale, løsningen faktisk behandler.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.