Hvad betyder Encoder-decoder?
Encoder-decoder beskriver en modelarkitektur med to forskellige funktioner. Encoderen bearbejder input, mens decoderen producerer en outputsekvens med støtte fra den repræsentation, encoderen har dannet. Input og output behøver ikke have samme længde eller samme sprog.
Arkitekturen er velegnet til at forklare opgaver som oversættelse, hvor en tekst bliver til en anden tekst. Den findes i flere varianter og er ikke begrænset til én bestemt modeltype. Transformerens oprindelige arkitektur er et kendt eksempel med både encoder og decoder.
Betegnelsen er noget andet end en arbejdsproces, hvor ét AI-kald læser og et andet skriver. Encoder og decoder er dele af selve modellen. Et forløb med flere selvstændige kald beskrives bedre som eksempelvis prompt chaining.
To funktioner i samme model
Encoderen danner repræsentationer, der kan indeholde information om ord og deres sammenhæng i input. Decoderen bruger disse sammen med den outputsekvens, den allerede har produceret. I transformerbaserede varianter kan cross-attention forbinde decoderens arbejde med encoderens repræsentationer.
Denne opdeling skal ikke læses som to mennesker, der forstår og skriver. Det er beregningskomponenter med lærte parametre. Et flydende output kan stadig overse fakta eller gengive et forbehold forkert.
Vælg efter opgaven, ikke efter antallet af dele
En model med encoder og decoder er ikke automatisk bedre end en decoder-only-model. Træning, data, opgave og driftskrav har stor betydning. Til en afgrænset omformning kan en specialiseret model være relevant, mens en generel assistent stiller andre krav.
Vurder også inputformat, sprog og begrænsninger. Hvis danske fagudtryk skal bevares, bør de indgå i en test. Et generelt resultat for oversættelse er ikke nok til at godkende jeres konkrete manualer eller produktbeskrivelser.
Et eksempel fra praksis
En eksportvirksomhed vil klargøre engelske udkast fra danske produkttekster. En mulig model med encoder-decoder-arkitektur testes på tekster med mål, materialer, produktnumre og betingelser.
Fagpersonen kontrollerer, at tallene er bevaret, og at en valgfri egenskab ikke er blevet til standardudstyr. Teamet sammenligner med den nuværende proces og en anden modeltype. Valget følger kvaliteten af denne omformning og behovet for efterarbejde, ikke antagelsen om, at to modeldele nødvendigvis giver større forståelse.
Typiske faldgruber
- Arkitekturen forveksles med to uafhængige modelkald.
- Et velformuleret output bruges som bevis for, at kilden er gengivet korrekt.
- Generelle sprogresultater erstatter test af egne fagudtryk og dokumenttyper.
Det skal I afklare
- Beskriv den konkrete omformning mellem input og output.
- Test fakta, tal og forbehold på jeres egne eksempler.
- Sammenlign med alternative modeller og den eksisterende arbejdsgang.
Spørgsmål og svar
Er alle sprogmodeller encoder-decoder-modeller?
Nej. Der findes blandt andet encoder-only- og decoder-only-modeller. Arkitekturen beskriver opbygningen og siger ikke alene, hvilke opgaver modellen er bedst til.
Kan input og output være forskellige typer materiale?
Ja, encoder-decoder-princippet bruges også på tværs af modaliteter. De præcise input- og outputtyper afhænger af den konkrete model og dens træning.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Vaswani m.fl.: Attention Is All You Need ↗Transformerens encoder-decoder-arkitektur.
- Hugging Face: Encoder Decoder Models ↗Opbygning og anvendelse af encoder-decoder-modeller.