Markov Chain

Wat is een Markov chain?

Een Markov chain (Markov-keten) is een wiskundig model dat beschrijft hoe een proces van de ene toestand naar de andere springt, waarbij de volgende stap alleen afhangt van de huidige toestand en niet van de hele voorgeschiedenis. Die eigenschap heet de Markov-eigenschap, genoemd naar de Russische wiskundige Andrej Markov. Het is een van de oudste en eenvoudigste manieren om opeenvolgende gebeurtenissen te modelleren.

Hoe werkt het?

Je definieert een aantal toestanden, bijvoorbeeld zonnig, bewolkt en regenachtig, en voor elke toestand de kans om naar elke andere toestand te gaan. Die kansen staan in een overgangsmatrix. Stel dat het vandaag zonnig is en dat de kans op regen morgen in dit voorbeeld 20 procent is, dan rekent het model daarmee, ongeacht wat het de dagen ervoor was. Door veel stappen door te rekenen zie je ook het langetermijngedrag van het proces, zoals het gemiddelde aantal regendagen.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis, maar het concept duikt op meer plekken op dan je denkt. Markov-modellen worden gebruikt voor klantgedrag (de kans dat een klant van actief naar afgehaakt gaat), wachtrij- en voorraadanalyses en attributiemodellen in marketing. Ook historisch is het begrip relevant: vroege tekstvoorspellers werkten als Markov-keten op woordniveau. Moderne taalmodellen werken fundamenteel anders en kijken juist wel naar een lange context.

Gerelateerde begrippen

Een Markov chain werkt op sequential data en is familie van kansmodellen zoals Bayesian networks. Voor het voorspellen van reeksen gebruiken moderne systemen vaker een recurrent neural network of de transformer-architectuur.