Hvad betyder Recurrent neural network?
Et recurrent neural network, forkortet RNN, er en model til sekventielle data. Den samme beregning anvendes gennem en række trin, mens en intern tilstand bærer information videre. Rækkefølgen har dermed betydning: En måling i dag kan fortolkes i lyset af de foregående målinger.
Sekvenser kan være tidsserier, tekst, lyd eller hændelser. Modellen er ikke begrænset til ét outputformat. En opgave kan kræve et samlet resultat for hele forløbet, mens en anden kræver et resultat ved hvert trin. Det skal afspejles i data og arkitektur.
LSTM og GRU er varianter af rekurrente lag med mekanismer, der styrer, hvordan information gemmes og opdateres. De er ikke garantier for, at modellen husker alle detaljer eller forstår årsag og virkning i et forløb.
Tilstanden forbinder de enkelte trin
Ved et nyt trin kombinerer et rekurrent lag det aktuelle input med information fra den tidligere tilstand. Under træning justeres modellens vægte ud fra de eksempler og mål, den får. Tilstanden og vægtene er forskellige ting: Tilstanden kan ændre sig under en sekvens, uden at modellen bliver genoptrænet.
Det skal være tydeligt, hvornår en sekvens begynder og slutter. Hvis tilstanden utilsigtet videreføres mellem uafhængige kunder eller maskiner, kan information blive blandet på en måde, som ikke svarer til opgaven.
Test fremad i tiden
Ved prognoser bør testen efterligne, hvordan modellen anvendes på fremtidige observationer. Et tilfældigt split kan give adgang til mønstre fra perioder, som endnu ikke ville være kendt på beslutningstidspunktet.
Sammenlign med en sæsonregel eller en enkel tidsseriemodel. Et RNN er ét muligt værktøj; opgavens længde, datakvalitet og krav til svartid kan gøre andre metoder mere relevante. Registrér også, hvordan manglende målinger og ændrede tidsintervaller behandles.
Et eksempel fra praksis
Et illustrativt eksempel er en servicevirksomhed, som vil opdage usædvanlige forløb i sensordata. Modellen vurderer en serie af målinger fra den samme maskine og markerer forløb til teknisk gennemgang.
Piloten holder senere perioder tilbage til test og undersøger resultater særskilt efter maskintype. En alarm skal indeholde det relevante tidsinterval og en forståelig begrundelse fra systemets øvrige logik. Teknikeren afgør, om forløbet kræver handling. En afvigende sekvens er ikke automatisk bevis for en bestemt mekanisk fejl.
Typiske faldgruber
- Sekvenser fra forskellige enheder kan blive blandet, hvis grænser og tilstand ikke håndteres korrekt.
- Tilfældig opdeling af tidsdata kan give en urealistisk let evaluering.
- Manglende målinger kan ligne en reel ændring, hvis databehandlingen ikke tager højde for dem.
Det skal I afklare
- Hvad udgør én sekvens, og hvornår skal modellens tilstand nulstilles?
- Hvilke oplysninger vil faktisk være kendt ved næste forudsigelse?
- Hvordan klarer modellen sig mod en enkel prognose på senere perioder?
Spørgsmål og svar
Er RNN og transformer det samme?
Nej. De organiserer behandlingen af sekvenser forskelligt. RNN fører en intern tilstand gennem trinene, mens transformerarkitekturer bruger attention til at kombinere information. Valget afhænger af opgaven.
Kan et RNN forudsige fremtiden sikkert?
Nej. En prognose bygger på mønstre og tilgængelige input. Nye forhold, datamangler og ændret adfærd kan gøre tidligere sammenhænge mindre brugbare.
Kilder og videre læsning
De tekniske begreber bygger på nedenstående kilder. Eksemplerne er illustrative og viser, hvordan I kan arbejde med emnet.
- TensorFlow: Working with RNNs ↗Rekurrent tilstand, sekvenser, LSTM og GRU.
- TensorFlow: Time series forecasting ↗Opbygning og evaluering af tidsserieprognoser.