Word Embeddings

Wat zijn word embeddings?

Word embeddings zijn een manier om woorden om te zetten in reeksen getallen (vectoren) die de betekenis van die woorden vastleggen. Woorden met een vergelijkbare betekenis krijgen vergelijkbare getallen en liggen daardoor dicht bij elkaar in een wiskundige ruimte. Zo kan een computer rekenen met betekenis: het beroemde voorbeeld is dat de vector van “koning” min “man” plus “vrouw” ongeveer uitkomt bij “koningin”.

Hoe werkt het?

Een model leert embeddings door enorme hoeveelheden tekst te analyseren en te kijken welke woorden in vergelijkbare contexten voorkomen. Woorden die vaak in dezelfde soort zinnen staan, zoals “koffie” en “thee”, krijgen vectoren die op elkaar lijken. Klassieke technieken hiervoor zijn Word2Vec, GloVe en FastText. Die geven elk woord één vaste vector, ongeacht de context. Moderne taalmodellen gaan een stap verder met contextuele embeddings: daarin krijgt “bank” in “bank langs de rivier” een andere vector dan in “geld op de bank”. Embeddings worden bovendien allang niet meer alleen per woord gemaakt, maar ook voor hele zinnen, documenten en afbeeldingen.

Wat heb je eraan als bedrijf?

Embeddings zijn de motor achter veel praktische AI-toepassingen. Slimme zoekfuncties die op betekenis zoeken in plaats van op exacte woorden, chatbots die de juiste passage uit je kennisbank ophalen, en systemen die vergelijkbare producten of documenten vinden: ze draaien allemaal op embeddings. Wie een AI-assistent op eigen bedrijfsdocumenten wil laten werken, krijgt vrijwel zeker met embeddings te maken, ook al gebeurt dat onder de motorkap.

Gerelateerde begrippen

Word embeddings zijn een specifieke vorm van embeddings en bouwen voort op het vector space model. Ze vormen de basis voor semantic search en voor de manier waarop large language models taal verwerken.