LSTM (Long Short-Term Memory)

Wat is LSTM?

LSTM staat voor Long Short-Term Memory en is een type recurrent neuraal netwerk (RNN) dat is ontworpen om informatie over langere reeksen vast te houden. Gewone recurrente netwerken vergeten snel wat eerder in een reeks gebeurde; een LSTM lost dat op met ingebouwde geheugencellen. Jarenlang was LSTM de standaard voor taken met opeenvolgende data, zoals taal, spraak en tijdreeksen.

Hoe werkt het?

De kern van een LSTM is een geheugencel met drie poorten, kleine schakelaars die het netwerk zelf leert bedienen. De forget gate bepaalt welke oude informatie weg mag, de input gate bepaalt welke nieuwe informatie wordt opgeslagen en de output gate bepaalt wat wordt doorgegeven aan de volgende stap. Zo kan het netwerk relevante informatie tientallen of honderden stappen vasthouden, bijvoorbeeld het onderwerp aan het begin van een lange zin.

Wat heb je eraan als bedrijf?

Voor tekst en taal zijn LSTM’s inmiddels grotendeels vervangen door transformer-modellen, de architectuur achter moderne taalmodellen. Toch kom je LSTM’s nog steeds tegen in de praktijk, vooral bij tijdreeksvoorspellingen zoals vraagvoorspelling, sensordata en energieverbruik, waar ze efficiënt en betrouwbaar zijn. Voor de meeste bedrijven is dit vooral achtergrondkennis: handig om te weten als een leverancier de term laat vallen.

Gerelateerde begrippen

Een LSTM is een variant van het recurrent neural network en valt onder deep learning. De opvolger voor taaltaken is het attention mechanism in transformer-modellen, de basis van large language models.