Hvad betyder Multimodal model?
En multimodal model kan behandle mere end én type information, eksempelvis tekst og billeder. Understøttet input og understøttet output er forskellige egenskaber: en model kan analysere et billede uden at kunne generere et nyt billede.
Den tekniske sammenkobling af modaliteter varierer. Systemer kan bruge særlige encodere og koblinger til en sprogmodel eller en mere samlet arkitektur. Derfor er det for upræcist at sige, at alle multimodale modeller repræsenterer al information på samme måde.
Et forretningseksempel er at kombinere et produktfoto med kundens fejlbeskrivelse. Kontrollen skal stadig omfatte uskarpe billeder, manglende detaljer og oplysninger, modellen ikke kan se. Tjek filtyper, størrelsesgrænser og modaliteter i dokumentationen for det præcise model-ID og API.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.