Grid Search

Wat is grid search?

Grid search is een methode om de beste instellingen voor een machine learning-model te vinden. Elk model heeft naast de parameters die het zelf leert ook instellingen die jij vooraf kiest, de zogeheten hyperparameters: bijvoorbeeld hoe snel het model leert of hoe diep een beslisboom mag worden. Grid search probeert systematisch alle combinaties van vooraf gekozen waarden uit en kiest de combinatie die het beste presteert.

Hoe werkt het?

Je legt eerst per instelling een lijstje met kandidaat-waarden vast, bijvoorbeeld drie mogelijke leersnelheden en drie mogelijke modelgroottes. Samen vormen die een raster (grid) van negen combinaties. Voor elke combinatie wordt het model getraind en getest, meestal met cross-validation zodat de score betrouwbaar is. De combinatie met de beste score wint. Het nadeel is dat het aantal combinaties explodeert zodra je veel instellingen tegelijk wilt afstemmen; daarom kiezen specialisten tegenwoordig vaak voor slimmere alternatieven zoals random search of Bayesiaanse optimalisatie, die met minder pogingen tot een vergelijkbaar resultaat komen.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis voor gesprekken met data-specialisten. Het verklaart wel waarom het bouwen van een goed voorspelmodel meer tijd kost dan eenmalig trainen: een flink deel van het werk zit in het afstemmen van instellingen. Wie een AI-project laat uitvoeren, mag verwachten dat de leverancier kan uitleggen hoe de modelinstellingen zijn gekozen.

Gerelateerde begrippen

Grid search wordt vrijwel altijd gecombineerd met cross-validation en is een vorm van optimization. Goed afgestemde instellingen helpen overfitting en underfitting te voorkomen.