Hvad betyder Distillation?
Distillation er træning, hvor en model lærer fra output eller andre signaler fra en lærermodel. Målet kan være at overføre relevante egenskaber til en model, der er lettere at bruge i den ønskede opgave. Den klassiske metode beskrives blandt andet af Hinton, Vinyals og Dean.
Læringssignalet kan eksempelvis være sandsynlighedsfordelinger eller producerede svareksempler. Læreren kan selv begå fejl, så træningsdata kræver kontrol. En mindre elevmodel overtager heller ikke automatisk alle lærerens kompetencer.
I en virksomhed kan distillation være relevant for en gentagen, afgrænset klassifikation med mange kald. Sammenlign kvalitet, svartid og samlet driftspris på et separat testsæt. Man kan ikke slutte fra et produktnavn som mini eller Flash, at modellen er distilleret på en bestemt måde, eller love en bestemt hastighedsgevinst.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.