Hvad betyder Self-consistency?
Self-consistency er en metode fra forskning i sprogmodellers problemløsning. I stedet for at følge én genereret løsning undersøges flere forskellige forsøg, og deres endelige svar sammenholdes. Den oprindelige metode søger det mest konsistente svar på tværs af de samplede forløb.
Det kan være relevant, når en opgave har et afgrænset resultat, som er muligt at sammenligne. En kategori eller et tal kan grupperes efter klare regler. En fri strategi med mange rimelige svar er vanskeligere at afgøre gennem en simpel optælling.
Enighed er ikke det samme som sandhed. Flere forsøg fra samme model kan dele den samme misforståelse eller mangle den samme kilde. Metoden giver derfor et ekstra signal, men den kan ikke erstatte ekstern dokumentation eller en kontrol af det, svaret påstår.
Definér hvad der tæller som samme resultat
To svar kan være ens i betydning, selv om de er skrevet forskelligt. Omvendt kan næsten ens formuleringer skjule en vigtig forskel, eksempelvis inklusive eller eksklusive moms. Sammenlægningen skal derfor passe til opgavens datatyper og betydning.
Ved klassificering kan kategorierne være fastlagt på forhånd. Ved beregning bør enheder og afrunding være tydelige. Ellers kan stemmeoptællingen belønne overfladisk lighed og overse, at svarene faktisk beskriver forskellige størrelser.
Brug uenighed som et kontrolsignal
Hvis flere forsøg ender forskelligt, kan det være nyttigt at sende sagen til en anden kontrol eller et menneske. Systemet behøver ikke tvinge et flertal frem, når inputtet er tvetydigt. En tydelig uafklaret tilstand kan være det mest brugbare resultat.
Flere forsøg bruger ekstra kapacitet og kan øge ventetiden. Undersøg derfor, om metoden bidrager mere end et enkelt bedre kildeopslag eller en præcis regel. En sammenligning bør omfatte både almindelige sager og de tilfælde, hvor modellen gentager en systematisk fejl.
Et eksempel fra praksis
En administrativ afdeling vil klassificere korte henvendelser til tre interne køer. I en afgrænset prøve får hver henvendelse flere uafhængigt genererede klassifikationsforslag. Systemet sammenholder kategorierne og viser sager med uenighed til en medarbejder.
En mail om både en faktura og en produktfejl kan give forskellige forslag. I stedet for at skjule dobbelttydigheden gennem et snævert flertal markerer arbejdsgangen de to emner. Teamet undersøger, om dette er mere nyttigt end blot at vælge den hyppigste kategori.
Typiske faldgruber
- Et flertal fra samme model bliver behandlet som uafhængigt faktatjek.
- Svar sammenlignes uden at normalisere enheder eller kategoriers betydning.
- Ekstra modelkald bruges på sager, der kunne afgøres med en enkel regel.
Det skal I afklare
- Fastlæg hvordan slutresultater grupperes og sammenlignes.
- Giv uenighed en tydelig vej til afklaring.
- Mål bidraget mod en enklere løsning med samme opgavegrundlag.
Spørgsmål og svar
Kan metoden bruges til faktatjek?
Den kan vise, om svar varierer, men flere ens svar beviser ikke en påstand. Et faktatjek skal undersøge relevant dokumentation uden for selve gentagelsen.
Skal modellen vise alle sine overvejelser?
Nej. En praktisk løsning kan sammenligne slutresultater og korte begrundelser eller kildehenvisninger. En lang forklaring er ikke nødvendig for at kontrollere resultatets korrekthed.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Wang m.fl.: Self-Consistency ↗Den oprindelige metode med flere samplede forløb og sammenholdte svar.
- Google Research: Self-Consistency ↗Forfatternes forskningsoversigt over samme metode og dens forsøgsramme.