Normalization

Wat is normalization?

Normalization (normalisatie) is het op één schaal brengen van gegevens voordat een AI-model ermee gaat rekenen. Een dataset bevat vaak kenmerken met heel verschillende bereiken: leeftijd loopt van 18 tot 80, jaarinkomen van 20.000 tot 200.000. Zonder correctie weegt het kenmerk met de grootste getallen onbedoeld het zwaarst. Normalisatie schaalt alles naar een vergelijkbaar bereik, bijvoorbeeld tussen 0 en 1.

Hoe werkt het?

De twee bekendste methoden zijn min-max scaling, waarbij elke waarde wordt teruggerekend naar een schaal van 0 tot 1, en z-score standaardisatie, waarbij waarden worden uitgedrukt in afwijkingen van het gemiddelde. Welke methode past hangt af van de data en het model. Belangrijk detail: de schaalfactoren worden berekend op de trainingsdata en daarna ongewijzigd toegepast op nieuwe data, anders “lekt” informatie en lijkt het model beter dan het is. In neurale netwerken bestaan ook interne varianten, zoals batch normalization, die het trainen stabieler en sneller maken.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis: normalisatie is het werk van de data scientist of zit ingebakken in de tools die je gebruikt. Het begrip is wel handig als je met een leverancier praat over datakwaliteit. Een model dat raar presteert op nieuwe data heeft soms simpelweg een schaalprobleem, geen intelligentieprobleem.

Gerelateerde begrippen

Normalisatie is een stap binnen data preprocessing en een vorm van data transformation. Het hangt nauw samen met feature engineering en met het samenstellen van een goede training set.