Data Preprocessing

Wat is data preprocessing?

Data preprocessing (gegevensvoorbewerking) is het voorbereiden van ruwe gegevens voordat een AI-model of analyse ermee aan de slag gaat. Ruwe data uit de praktijk is vrijwel nooit schoon: er zitten typefouten in, ontbrekende waarden, dubbele records en uiteenlopende notaties. Preprocessing ruimt dat op, zodat het model leert van betrouwbare gegevens. Het is een van de meest onderschatte stappen in elk AI-project en bepaalt vaak meer van het eindresultaat dan de keuze van het model zelf.

Hoe werkt het?

Preprocessing bestaat uit een reeks praktische bewerkingen. Gegevensreiniging verwijdert fouten, duplicaten en ruis, en vult ontbrekende waarden in (bijvoorbeeld met een gemiddelde). Normalisatie zet getallen op dezelfde schaal, zodat een veld als omzet in euro’s niet automatisch zwaarder weegt dan een veld als leeftijd. Categorische gegevens, zoals branche of provincie, worden omgezet naar getallen die een model kan verwerken. Tot slot kies je via feature selection welke kenmerken relevant zijn en welke je weglaat.

Wat heb je eraan als bedrijf?

Het bekende principe is “garbage in, garbage out”: een AI-model dat traint op rommelige gegevens geeft rommelige antwoorden. Dat geldt niet alleen voor klassieke machine learning, maar ook voor moderne AI-toepassingen die met jouw bedrijfsdocumenten werken. Wil je bijvoorbeeld een AI-assistent die vragen beantwoordt op basis van je eigen kennisbank, dan begint dat met opgeschoonde, consistente en actuele documenten. Wie eerst zijn data op orde brengt, haalt aantoonbaar meer rendement uit elke AI-investering.

Gerelateerde begrippen

Preprocessing is een onderdeel van de bredere dataketen, samen met data ingestion en data transformation. Het schone resultaat dient als trainingsmateriaal voor machine learning, vaak in de vorm van labelled data.