Hvad betyder Inference?
Inferens er det trin, hvor en model anvendes. Den får input og beregner output med sine aktuelle parametre. Træning tilpasser parametrene; inferens bruger dem til en opgave. I en typisk løsning sker de to processer på forskellige tidspunkter.
Ved en sprogmodel kan inferens bestå af at behandle inputkonteksten og derefter generere en række tokens. Ved en klassifikator kan resultatet være scorer for nogle kategorier. Selve modellen er kun en del af den samlede arbejdsgang omkring resultatet.
Et brugerinput kan først gennemgå adgangskontrol, databehandling og kildesøgning. Efter modelberegningen kan resultatet valideres eller sendes til godkendelse. Når en leverandør beskriver inferenshastighed, er det derfor vigtigt at se, hvilke af disse trin målingen omfatter.
Input og output påvirker forbruget
Modelstørrelse, hardware, inputlængde, outputlængde og samtidige forespørgsler kan påvirke tid og ressourcebehov. En kort demonstration siger ikke nødvendigvis noget om en travl produktion med lange dokumenter.
Mål både enkeltforespørgsler og realistisk belastning. Registrér, om resultatet var korrekt og brugbart, så en hurtig fejl ikke tæller som en vellykket opgave.
Gør resultatets status tydelig
Et genereret udkast, et valideret dataobjekt og en gennemført ændring i et fagsystem er tre forskellige tilstande. Inferens betyder kun, at modelberegningen er udført; det beviser ikke, at efterfølgende handlinger er lykkedes.
En robust integration har timeout, fejlhåndtering og sporbarhed for den relevante modelversion. Hvis et svar skal udløse en handling, skal systemet også kontrollere rettigheder og opgavens konkrete forretningsregler.
Et eksempel fra praksis
Forestil jer en kundeserviceassistent, der laver et svarudkast om en ordre. Løsningen kontrollerer først adgangen og henter den aktuelle ordrestatus. Modellen bruger derefter oplysningerne til at formulere udkastet.
Inferensen er færdig, når teksten er genereret, men sagen er endnu ikke besvaret. En medarbejder kan stadig skulle kontrollere og sende beskeden. I målingen registreres derfor både modeltid, samlet tid til udkast og tid til godkendt svar. Det gør flaskehalsene synlige.
Typiske faldgruber
- Modeltid kan blive præsenteret som hele brugerens ventetid.
- Et genereret resultat kan blive forvekslet med en gennemført handling.
- En model kan blive vurderet på korte eksempler, selv om driften bruger lange input og mange samtidige opgaver.
Det skal I afklare
- Hvilke trin ligger før og efter modelberegningen?
- Hvilken modelversion og hvilke input/outputgrænser bruges?
- Hvordan registreres fejl, timeout og det endelige godkendte resultat?
Spørgsmål og svar
Ændrer inferens modellens vægte?
Normalt ikke. Modellen bruger sine aktuelle parametre. Systemer med online læring eller særskilt opdatering kan ændre dem gennem andre processer.
Kan inferens køre lokalt?
Ja, hvis model, hardware og software understøtter det. Valget skal vurderes ud fra kvalitet, kapacitet, datahåndtering og vedligeholdelse.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Hugging Face: Text generation ↗Praktisk brug af en model til tekstgenerering.
- Hugging Face: Inference Endpoints ↗Serving, skalering og overvågning omkring modelinferens.