Hvad betyder Mixture of Experts (MoE)?
Mixture-of-Experts, forkortet MoE, er en arkitektur, hvor flere delnetværk indgår som eksperter. I en sparse MoE vælger en router et udsnit af eksperterne til den enkelte beregning. Dermed kan modellen have flere samlede parametre end dem, der aktiveres for et token.
Mixtral-papiret beskriver eksempelvis en konstruktion med otte eksperter i de relevante lag, hvor to vælges for hvert token. Det er en konkret implementering, ikke en universel regel for MoE. Eksperterne er heller ikke nødvendigvis fordelt efter menneskeligt forståelige fagområder som jura eller marketing.
MoE kan ændre balancen mellem kapacitet og beregningsbehov, men kræver stadig hukommelse, routing og passende infrastruktur. Arkitekturen garanterer ikke en bestemt pris eller kvalitet. Antag heller ikke, at en lukket model bruger MoE, når udbyderen ikke har dokumenteret det.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.