Gradient Descent

Wat is gradient descent?

Gradient descent is het rekenrecept waarmee een AI-model tijdens het trainen stap voor stap beter wordt. Het algoritme meet hoe ver de voorspellingen van het model naast de werkelijkheid zitten en past de instellingen van het model (de parameters) telkens een klein beetje aan in de richting die de fout het snelst verkleint. Vrijwel elk modern AI-model, van een simpel voorspelmodel tot de grote taalmodellen achter chatbots, is met een variant van gradient descent getraind.

Hoe werkt het?

Stel je voor dat je in dichte mist op een berghelling staat en zo snel mogelijk naar het dal wilt. Je voelt met je voet welke kant het steilst naar beneden loopt en zet een stap die kant op. Dat herhaal je tot je niet verder omlaag kunt. Gradient descent doet precies dat: de berg is de foutscore van het model (de loss function), de stap is een aanpassing van de parameters, en de stapgrootte heet de learning rate. Te grote stappen en je schiet voorbij het dal, te kleine stappen en het trainen duurt eindeloos. In de praktijk worden slimme varianten gebruikt, zoals stochastic gradient descent (dat steeds met een klein deel van de data rekent) en Adam, die de stapgrootte automatisch bijstellen.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis: je hoeft gradient descent nooit zelf uit te voeren. Het helpt wel om te begrijpen waarom het trainen van AI-modellen tijd en rekenkracht kost, en waarom een model na training vastligt totdat het opnieuw getraind wordt. Wie met een leverancier over modeltraining of fine-tuning praat, komt de term gegarandeerd tegen.

Gerelateerde begrippen

Gradient descent werkt nauw samen met backpropagation, dat berekent welke kant naar beneden is, en met de loss function die de fout meet. Het hele proces valt onder optimization en vormt de basis van deep learning.