Representation Learning

Wat is representation learning?

Representation learning is een aanpak binnen machine learning waarbij een model zelf leert welke kenmerken van data belangrijk zijn, in plaats van dat mensen die kenmerken vooraf bedenken en invoeren. Het model zet ruwe data, zoals tekst, beeld of geluid, om in een interne wiskundige representatie die de betekenis vastlegt en bruikbaar is voor taken als classificeren, zoeken of voorspellen.

Hoe werkt het?

Vroeger moesten datawetenschappers handmatig kenmerken bedenken, het zogenoemde feature engineering: bijvoorbeeld “aantal woorden”, “bevat een uitroepteken” als kenmerken voor spamdetectie. Bij representation learning ontdekt een neuraal netwerk zulke kenmerken zelf tijdens de training, vaak in lagen die steeds abstracter worden: van pixels naar randen, naar vormen, naar “dit is een gezicht”. Het bekendste resultaat zijn embeddings: rijen getallen waarin woorden, zinnen of afbeeldingen met een vergelijkbare betekenis dicht bij elkaar liggen. Dit principe is de basis onder vrijwel alle moderne AI, van beeldherkenning tot grote taalmodellen.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis, maar wel kennis die verklaart waarom moderne AI zo breed inzetbaar is. Omdat modellen zelf representaties leren, hoef jij geen kenmerken meer te programmeren: je kunt een voorgetraind model nemen en met relatief weinig eigen data toepassen op jouw documenten, producten of klantvragen. Semantisch zoeken in je kennisbank, waarbij het systeem op betekenis zoekt in plaats van op exacte woorden, is een direct praktisch resultaat van representation learning.

Gerelateerde begrippen

Representation learning is nauw verbonden met deep learning en levert embeddings op, zoals word embeddings. Het vervangt grotendeels handmatige feature extraction.