Hvad betyder Promptoptimering?
Promptoptimering er en systematisk proces for at forbedre en prompts resultater på en bestemt opgave. Teamet identificerer et problem, ændrer en del af instruktionen og undersøger, om ændringen hjælper på relevante eksempler.
Automatiske metoder kan foreslå nye formuleringer, vælge eksempler eller sammenligne mange varianter. Forskning som APO og DSPy undersøger forskellige måder at organisere sådan en optimering på. Metoderne kræver stadig et mål og et grundlag for at afgøre, hvad der er bedre.
Optimering er derfor ikke jagten på en universel magisk prompt. En variant kan være bedre til korte kundemails og dårligere til lange dokumenter. Hvis det valgte mål belønner overfladiske egenskaber, kan processen ende med en højere score uden en mere brugbar løsning.
Find ud af om fejlen overhovedet er i prompten
En forkert besvarelse kan skyldes manglende kilder, dårlig tekstudtrækning eller et forkert systemopslag. En ny instruktion kan ikke hente et dokument, som applikationen aldrig giver adgang til. Undersøg derfor input og mellemresultater, før formuleringen ændres.
Hvis fejlen er en uklar opgave, kan en præcisering være relevant. Hvis den skyldes modstridende krav, skal kravene prioriteres. Et ekstra eksempel er kun nyttigt, hvis det viser en forskel, som den eksisterende instruktion ikke allerede gør tydelig.
Optimer mod det arbejde, der skal godkendes
Vælg et mål, som afspejler anvendelsen. For klassificering er korrekte kategorier relevante, men omkostningen ved forskellige fejl kan være ulige. En reklamation sendt til en almindelig svarkø kan være vigtigere end to nært beslægtede produktkategorier, der forveksles.
Brug nye kontrolsager efter optimeringen. Hvis forbedringen kun ses på de eksempler, som processen har set mange gange, er der risiko for overtilpasning. Sammenhold også kvalitet med svartid, længde og behov for manuel rettelse, når den endelige version vælges.
Et eksempel fra praksis
Et administrativt team bruger AI til at udtrække handlinger fra mødenoter. Den første prompt tildeler ofte en ansvarlig, selv om ingen blev nævnt. Teamet definerer dette som en særskilt fejl og tilføjer en tydelig ukendt tilstand.
Den ændrede prompt prøves på noter med navngivne ansvarlige, fælles ansvar og helt manglende ansvar. En god rettelse bevarer de kendte navne og markerer resten til afklaring. Den vurderes også på et nyt mødesæt, som ikke indgik, mens prompten blev tilpasset.
Typiske faldgruber
- Prompten ændres, selv om fejlen ligger i manglende eller forkert input.
- Optimeringen belønner en score, som ikke afspejler medarbejderens arbejde.
- Den samme lille testmængde bruges til både udvikling og endelig godkendelse.
Det skal I afklare
- Knyt hver ændring til en konkret observeret fejltype.
- Fastlæg mål og omkostning ved forskellige fejl.
- Kontrollér den valgte variant på nye repræsentative sager.
Spørgsmål og svar
Kan AI selv optimere alle vores prompts?
AI kan foreslå og afprøve varianter, men nogen skal definere gode resultater og kontrollere processen. Et dårligt mål bliver ikke bedre af flere automatiske forsøg.
Er en længere prompt typisk bedre?
Ikke nødvendigvis. Relevante præciseringer kan hjælpe, mens gentagelser og modstridende regler kan gøre opgaven vanskeligere. Mål effekten frem for længden.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Pryzant m.fl.: Automatic Prompt Optimization ↗Automatisk forbedring af prompts ud fra eksempler og evaluering.
- Khattab m.fl.: DSPy ↗Systematisk optimering af programmer med sprogmodelkald.