Hvad betyder Sparse attention?
Sparse attention er en familie af attention-mekanismer med færre forbindelser end fuld attention. I stedet for at lade hver position forholde sig direkte til alle andre positioner udvælges et mønster af forbindelser. Mønstret kan være lokalt, blokopdelt, globalt for enkelte tokens eller en kombination.
Formålet er ofte at gøre lange sekvenser billigere at behandle i tid eller hukommelse. Det er imidlertid ikke én bestemt algoritme, og alle varianter har ikke de samme egenskaber. Et resultat for én forskningsmodel kan ikke uden videre overføres til en anden løsning med samme overordnede betegnelse.
Sparse attention skal også skelnes fra sparsomme modelvægte og fra sparse retrieval. De tre begreber reducerer eller repræsenterer forskellige ting: beregningsforbindelser, parametre og søgesignaler.
Det afgørende er forbindelsesmønstret
Et rent lokalt mønster forbinder nærliggende tokens. Andre løsninger tilføjer forbindelser på tværs af afstande eller positioner, som kan samle information fra hele input. BigBird er et forskningsmæssigt eksempel på en kombination af lokale, tilfældige og globale forbindelser.
Antallet af forbindelser siger ikke alene, hvor godt en opgave bliver løst. Fordelingen skal understøtte de typer sammenhænge, modellen skal lære og bruge. Derfor kræver valg af arkitektur mere end en sammenligning af teoretiske beregningstal.
Teoretisk effektivitet skal måles på rigtig hardware
Færre beregninger fører ikke nødvendigvis til samme relative hastighedsgevinst i drift. Implementering, hardware og dataflytning kan fylde meget. En optimeret tæt beregning kan i nogle situationer være stærk, selv om den udfører flere formelle forbindelser.
For et virksomhedsteam er spørgsmålet derfor, om den konkrete model kan behandle jeres materiale med acceptabel kvalitet, ventetid og kapacitet. Bed om en test med de relevante dokumentlængder og afhængigheder frem for kun et arkitekturnavn.
Et eksempel fra praksis
En producent vil sammenligne lange tekniske specifikationer. Nogle spørgsmål vedrører ét afsnit, mens andre kræver en relation mellem materiale, temperaturkrav og et bilag.
Teamet sammensætter et lille testsæt med begge opgavetyper og afprøver en konkret model med sparse attention. Det registrerer fejl særskilt for lokale og spredte oplysninger. Hvis en bestemt type relation overses, undersøges kildeudvælgelse og modelvalg i stedet for at antage, at et langt inputvindue i sig selv løser problemet.
Typiske faldgruber
- Alle sparse attention-metoder behandles som samme teknik.
- En teoretisk kompleksitetsforbedring præsenteres som en garanteret hastighed i drift.
- Sparse attention forveksles med nøgleordsbaseret søgning eller færre modelparametre.
Det skal I afklare
- Afklar hvilken konkret variant og implementering der anvendes.
- Test både nærliggende og fjerne sammenhænge i jeres materiale.
- Mål faktisk hukommelse, svartid og kvalitet på den planlagte opsætning.
Spørgsmål og svar
Er sliding-window attention en form for sparse attention?
Ja, et lokalt vindue er et eksempel på et sparsomt forbindelsesmønster. Andre varianter bruger flere typer forbindelser, så begreberne er ikke synonymer.
Gør sparse attention modellen mindre?
Ikke nødvendigvis målt i lærte parametre. Teknikken ændrer primært forbindelser under attention. Modelstørrelse og sparsomme vægte er andre egenskaber.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- Child m.fl.: Sparse Transformers ↗Sparsomme attention-mønstre for lange sekvenser.
- Zaheer m.fl.: Big Bird ↗Kombinerede sparsomme forbindelser i en konkret forskningsarkitektur.