Feature space

Wat is een feature space?

De feature space (kenmerkenruimte) is de denkbeeldige ruimte waarin een machine learning-model je data ziet. Elk kenmerk (feature) van je data is een as in die ruimte, en elk gegevenspunt krijgt een plek op basis van zijn waarden. Een dataset met leeftijd, inkomen en uitgaven vormt zo een driedimensionale ruimte waarin elke klant één punt is.

Hoe werkt het?

Een klant van 30 jaar met een inkomen van 40.000 euro en 15.000 euro aan uitgaven wordt het punt (30, 40.000, 15.000). Punten die dicht bij elkaar liggen, lijken op elkaar; punten ver uit elkaar verschillen sterk. Machine learning-algoritmen rekenen letterlijk met die afstanden: clustering zoekt groepjes punten die bij elkaar liggen, classificatie trekt grenzen door de ruimte die de categorieën scheiden. Met tientallen of duizenden kenmerken wordt de ruimte hoog-dimensionaal. Dat kunnen wij ons niet voorstellen, maar de wiskunde werkt hetzelfde. Wel geldt: hoe meer dimensies, hoe ijler de data verspreid raakt en hoe meer voorbeelden je nodig hebt. Dat staat bekend als de curse of dimensionality.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis, maar het verklaart hoe AI “lijkt op elkaar” kan berekenen. Zo werkt het vinden van vergelijkbare klanten, producten of documenten: het zijn punten die dicht bij elkaar liggen in een kenmerkenruimte. Ook semantisch zoeken in je documenten werkt zo, met betekenis als positie in de ruimte.

Gerelateerde begrippen

De keuze van assen bepaal je met feature selection en feature engineering. Te veel dimensies los je op met dimensionality reduction, en clustering en embeddings bouwen er direct op voort.