Backpropagation

Wat is backpropagation?

Backpropagation (voluit: backward propagation of errors) is het algoritme waarmee neurale netwerken leren. Het berekent hoe groot de fout van het netwerk is en, belangrijker, welk deel van die fout bij welke interne instelling hoort. Met die informatie kan het netwerk zijn miljoenen instellingen stap voor stap bijstellen tot de voorspellingen kloppen. Vrijwel elk modern AI-model, van beeldherkenning tot grote taalmodellen, is hiermee getraind.

Hoe werkt het?

Het leerproces verloopt in een cyclus. Eerst doet het netwerk een voorspelling op basis van een voorbeeld (de forward pass). Dan wordt de fout gemeten: hoe ver zit de voorspelling naast het juiste antwoord? Vervolgens rekent backpropagation die fout van achter naar voren terug door het netwerk, zodat van elke verbinding (elk gewicht) bekend is hoeveel die aan de fout bijdroeg. Tot slot worden de gewichten een klein stukje aangepast in de richting die de fout verkleint. Herhaal dit miljoenen keren en het netwerk wordt steeds beter. Vergelijk het met een orkest dat na elke repetitie precies te horen krijgt welke muzikant iets te hard of te zacht speelde.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis: je gebruikt het nooit zelf, maar het verklaart waarom AI-modellen trainen zo veel rekenkracht en data kost. Wie begrijpt dat een model leert door miljoenen kleine correcties, begrijpt ook waarom trainen duur is en waarom de meeste organisaties bestaande modellen gebruiken in plaats van zelf te trainen.

Gerelateerde begrippen

Backpropagation werkt samen met gradient descent en een loss function om een kunstmatig neuraal netwerk te trainen. Het is de basis van alle deep learning.