Latent variable models

Wat zijn latent variable models?

Latent variable models zijn statistische modellen die werken met verborgen (latente) variabelen: factoren die je niet direct kunt meten, maar die wel verklaren wat je in de data ziet. Denk aan “klanttevredenheid”: je meet die nooit rechtstreeks, maar leidt hem af uit zichtbare signalen zoals reviews, herhaalaankopen en klachten. Het model legt het verband tussen die zichtbare data en de onderliggende verborgen factor.

Hoe werkt het?

Het model gaat ervan uit dat een klein aantal verborgen variabelen de geobserveerde data heeft “veroorzaakt”. Vervolgens zoekt een algoritme de waarden en verbanden die de data het best verklaren, vaak met iteratieve schattingsmethoden. Het resultaat is een eenvoudiger beeld van complexe data: in plaats van honderd losse meetwaarden houd je een paar betekenisvolle onderliggende factoren over. Bekende voorbeelden van latent variable models zijn factoranalyse, topic models zoals LDA en autoencoders in deep learning.

Wat heb je eraan als bedrijf?

Het concept duikt overal op waar data wordt samengevat tot iets begrijpelijks: klantsegmentatie (welke verborgen klanttypen zitten er in mijn bestand), aanbevelingssystemen (welke verborgen voorkeuren verklaren koopgedrag) en marktonderzoek. Je hoeft de wiskunde niet te kennen, maar het idee is nuttig: veel AI-inzichten zijn gebaseerd op patronen die niemand direct heeft ingevoerd. Voor de meeste bedrijven is dit verder achtergrondkennis.

Gerelateerde begrippen

Bekende toepassingen zijn latent Dirichlet allocation (LDA) en de autoencoder. Het samenvatten van veel variabelen tot enkele factoren heet dimensionality reduction, vaak uitgevoerd met principal component analysis (PCA).