k-Nearest Neighbors (k-NN)

Wat is k-nearest neighbors?

k-Nearest Neighbors (k-NN) is een van de eenvoudigste machine learning-algoritmen. Het idee: wil je weten in welke categorie een nieuw geval valt, kijk dan naar de k meest vergelijkbare gevallen die je al kent en neem daarvan de meerderheid over. Lijkt een nieuwe klant het meest op vijf bestaande klanten die allemaal opzegden, dan is de voorspelling dat ook deze klant opzegrisico heeft.

Hoe werkt het?

k-NN heeft geen echte trainingsfase: het bewaart simpelweg alle bekende voorbeelden. Komt er een nieuw datapunt binnen, dan berekent het algoritme de afstand tot alle bestaande punten en pakt het de k dichtstbijzijnde “buren”. Bij classificatie wint het label dat het vaakst voorkomt onder die buren; bij het voorspellen van een getal (regressie) neemt het hun gemiddelde. De keuze van k luistert nauw: een kleine k is gevoelig voor uitschieters, een grote k vlakt verschillen af. Nadeel van de aanpak is dat elke voorspelling rekenwerk over de hele dataset vraagt, waardoor k-NN traag wordt bij heel veel data.

Wat heb je eraan als bedrijf?

k-NN zelf kom je als ondernemer zelden direct tegen, maar het achterliggende principe des te vaker. Aanbevelingssystemen (“klanten zoals jij kochten ook”) en zoeken op gelijkenis in moderne AI-systemen werken in de kern hetzelfde: vind de meest vergelijkbare voorbeelden en baseer daar je antwoord op. Voor de meeste bedrijven is dit vooral nuttige achtergrondkennis om te begrijpen hoe zulke systemen redeneren.

Gerelateerde begrippen

k-NN is het schoolvoorbeeld van instance-based learning en een techniek voor classification binnen supervised learning. Het leunt op similarity measures om te bepalen welke punten “dichtbij” zijn.