Hvad betyder Speculative decoding?
Speculative decoding er en familie af metoder til at accelerere autoregressiv tekstgenerering. En billigere mekanisme foreslår en fortsættelse, hvorefter den større målmodel kontrollerer forslagene. Hvis flere forslag accepteres, kan systemet gøre fremskridt med færre sekventielle kald til målmodellen.
Forslagsmekanismen kan være en mindre model eller en anden metode, afhængigt af implementationen. Det er ikke det samme som at lade en lille model svare færdigt uden kontrol. Målmodellens verifikation er en central del af processen.
Den oprindelige forskningsmetode beskriver en samplingalgoritme, som under sine forudsætninger bevarer målmodellens outputfordeling. Det er mere præcist end at love, at enhver implementation altid giver ordret samme svar eller samme hastighedsgevinst.
Gevinsten afhænger af accepterede forslag
Hvis forslagene ofte passer til målmodellen, kan flere tokens behandles effektivt i samme verifikationsrunde. Hvis mange forslag afvises, kan det ekstra arbejde reducere eller fjerne fordelen.
Modelkombination, opgavetype, hardware og belastning påvirker resultatet. Repetitiv tekst og kode kan have andre egenskaber end åbne, varierede samtaler. En gevinst må derfor måles på det workload, systemet faktisk skal håndtere.
Sammenlign under de samme kvalitetskrav
Registrér samlet genereringstid, tid til første brugbare output og relevant gennemløb. Hold modelversion, genereringsindstillinger og opgaver sammenlignelige. Mål også hukommelse og kapacitet, hvis den ekstra mekanisme bruger ressourcer.
Dokumentér præcis metode og eventuelle tilnærmelser. Et forskningsresultat for én model og hardwareopsætning kan ikke overføres direkte til en anden tjeneste. Ved en administreret API har kunden ikke nødvendigvis adgang til at vælge denne optimering.
Et eksempel fra praksis
Forestil jer et team, der selv hoster en model til interne kodeudkast. De sammenligner almindelig generering med en understøttet spekulativ metode på et fast udvalg af korte og lange opgaver.
Testen registrerer hastighed under både lav og realistisk samtidig belastning. Hvis gevinsten kun findes på de mest gentagne skabeloner, kan metoden afgrænses til dem. Beslutningen bygger på den målte løsning, ikke på et generelt løfte om, at alle svar bliver et bestemt antal gange hurtigere.
Typiske faldgruber
- Forskningsmålte hastighedsgevinster kan blive lovet på andre modeller og hardware uden test.
- Bevaret outputfordeling kan fejlagtigt blive omtalt som garanteret identisk tekst i alle kørsler.
- Ekstra hukommelse og arbejde til forslag kan blive udeladt af omkostningsvurderingen.
Det skal I afklare
- Hvilken forslags- og verifikationsmetode understøtter den konkrete servingopsætning?
- Hvor ofte accepteres forslag på jeres faktiske opgavetyper?
- Er hastighed, kapacitet og kvalitet målt under sammenlignelige forhold?
Spørgsmål og svar
Gør speculative decoding modellen mere vidende?
Nej. Det er primært en metode til at udføre genereringen mere effektivt. Den tilfører ikke i sig selv nye kilder eller bedre faktuel viden.
Kan vi slå det til på enhver chatbot?
Nej. Det afhænger af den konkrete modeltjeneste og servingsoftware. Nogle optimeringer håndteres af leverandøren og er ikke en brugerindstilling.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Leviathan m.fl.: Fast Inference from Transformers via Speculative Decoding ↗Original forskningsmetode og dens forudsætninger.
- Hugging Face TGI: Speculation ↗Konkrete spekulative metoder og afhængighed af vellykkede forslag.