Recurrent Neural Networks (RNN)

Wat zijn recurrent neural networks?

Recurrent neural networks (RNN’s) zijn neurale netwerken die ontworpen zijn voor gegevens met een volgorde, zoals zinnen, spraak of meetreeksen. Het netwerk verwerkt de invoer stap voor stap en houdt daarbij een soort geheugen bij: wat het bij eerdere stappen heeft gezien, beïnvloedt hoe het de volgende stap interpreteert. Daardoor kan een RNN context onthouden, bijvoorbeeld dat het woord “bank” in een zin over geld iets anders betekent dan in een zin over een park.

Hoe werkt het?

Een RNN bevat een terugkoppellus: de uitkomst van elke stap wordt deels meegegeven aan de volgende stap. Klassieke RNN’s hadden moeite om informatie over lange afstanden vast te houden. Varianten zoals LSTM (long short-term memory) losten dat deels op met slimme geheugencellen. Jarenlang waren RNN’s de standaard voor taalverwerking, spraakherkenning en tijdreeksvoorspelling. Sinds de opkomst van de transformer-architectuur, de basis onder vrijwel alle moderne taalmodellen, zijn RNN’s voor taaltaken grotendeels verdrongen. Voor sommige toepassingen met doorlopende datastromen, zoals sensordata, worden ze nog wel gebruikt.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis. Je hoeft geen RNN te bouwen, maar het begrip helpt je de evolutie van AI te plaatsen: van netwerken die sequenties stap voor stap doorliepen naar transformers die een hele tekst in één keer overzien. Kom je RNN of LSTM tegen in een offerte of vacaturetekst, dan weet je dat het om oudere, maar nog steeds bruikbare techniek voor sequentiële data gaat.

Gerelateerde begrippen

RNN’s zijn een vorm van deep learning en de voorloper van de transformer-architectuur. Bekende varianten en verwante technieken zijn LSTM en sequence-to-sequence-modellen.