Weight Initialization

Wat is weight initialization?

Weight initialization (gewichtsinitialisatie) is het kiezen van de startwaarden voor de gewichten van een neuraal netwerk, vlak voordat de training begint. Die gewichten zijn de instelbare knoppen van het netwerk; tijdens de training worden ze stap voor stap bijgesteld. De startwaarden bepalen mede hoe snel en hoe goed dat leerproces verloopt: slechte startwaarden kunnen de training flink vertragen of zelfs laten mislukken.

Hoe werkt het?

Je kunt een netwerk niet met allemaal nullen laten beginnen, want dan leren alle neuronen exact hetzelfde en leert het netwerk feitelijk niets. Daarom krijgen de gewichten kleine willekeurige waarden mee, maar niet zomaar willekeurig: de spreiding wordt zorgvuldig afgestemd op de grootte van elke laag. Bekende recepten daarvoor zijn Xavier-initialisatie (Glorot) en He-initialisatie. Zo voorkom je dat de signalen die door het netwerk stromen steeds kleiner worden (vanishing gradients) of juist exploderen (exploding gradients), twee klassieke redenen waarom diepe netwerken niet willen trainen. In moderne frameworks zoals PyTorch en TensorFlow zit een verstandige initialisatie standaard ingebouwd.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis. Je komt de term alleen tegen als je team zelf neurale netwerken bouwt of traint; wie kant-en-klare AI-diensten of bestaande modellen gebruikt, hoeft hier niets mee. Het is wel handig om te weten dat dit soort technische keuzes bestaat: het verklaart waarom het trainen van een eigen model specialistisch werk is en waarom de meeste organisaties beter starten met bestaande modellen.

Gerelateerde begrippen

Weight initialization is een onderdeel van het trainen van een artificial neural network. De training zelf verloopt via backpropagation en gradient descent, technieken die centraal staan in deep learning.