Feature selection

Wat is feature selection?

Feature selection is het kiezen van de meest relevante kenmerken (features) uit je dataset en het weglaten van de rest. Anders dan bij feature extraction maak je geen nieuwe kenmerken: je selecteert uit wat er al is. Het doel is een eenvoudiger model dat beter presteert, sneller traint en makkelijker uit te leggen is.

Hoe werkt het?

Er zijn drie hoofdaanpakken. Filtermethoden beoordelen elk kenmerk vooraf met een statistische maat, bijvoorbeeld hoe sterk het samenhangt met wat je wilt voorspellen. Wrappermethoden trainen het model herhaaldelijk met verschillende combinaties van kenmerken en houden de best presterende set over. Embedded methoden bouwen de selectie in het leerproces zelf in: sommige algoritmen zetten het gewicht van onbelangrijke kenmerken automatisch richting nul. In de praktijk combineer je vaak een snelle filterstap met een grondiger methode.

Wat heb je eraan als bedrijf?

Minder maar betere kenmerken betekent minder kans op overfitting (een model dat de trainingsdata uit het hoofd leert maar faalt op nieuwe gevallen), lagere rekenkosten en een model dat je kunt uitleggen aan klanten of toezichthouders. Als blijkt dat je klantverloop prima voorspelt met vijf kenmerken in plaats van vijftig, hoef je ook minder gegevens te verzamelen en te beheren. Dat scheelt werk en beperkt je privacyrisico onder de AVG.

Gerelateerde begrippen

Feature selection is de tegenhanger van feature extraction en onderdeel van feature engineering. Beide verminderen het aantal dimensies, net als dimensionality reduction. De kenmerken samen vormen de feature space.