Optimization

Wat is optimization?

Optimization (optimalisatie) is het zoeken naar de best mogelijke oplossing binnen gegeven grenzen. In machine learning betekent het concreet: de instellingen van een model net zo lang bijstellen tot de fouten zo klein mogelijk zijn. Vrijwel elk AI-model dat je gebruikt is het resultaat van een optimalisatieproces, van een simpel voorspelmodel tot de grootste taalmodellen.

Hoe werkt het?

Eerst wordt een doelfunctie gekozen, meestal een verliesfunctie die meet hoe ver de voorspellingen van het model naast de werkelijkheid zitten. Een optimalisatie-algoritme, zoals gradient descent, past vervolgens de parameters van het model stap voor stap aan in de richting die het verlies verkleint. Vergelijk het met blind een berg afdalen: je voelt welke kant het naar beneden gaat en zet steeds een stapje die kant op. Dit herhaalt zich miljoenen keren, tot het model niet meer noemenswaardig verbetert. Daarnaast worden ook de instellingen rondom het model (hyperparameters, zoals de stapgrootte) geoptimaliseerd, bijvoorbeeld via systematisch uitproberen.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis over hoe modellen getraind worden. Optimalisatie als techniek is daarnaast óók direct toepasbaar op bedrijfsproblemen: routeplanning, personeelsroosters, voorraadbeheer en prijsstelling zijn klassieke optimalisatievraagstukken waarvoor kant-en-klare software bestaat.

Gerelateerde begrippen

Het bekendste optimalisatie-algoritme is gradient descent, dat werkt op basis van een loss function. Hyperparameters zoeken kan met grid search; te ver doorgeoptimaliseerd op trainingsdata heet overfitting.