Distributed Representation

Wat is een distributed representation?

Een distributed representation (gedistribueerde representatie) is een manier om een begrip, zoals een woord of een afbeelding, op te slaan als een lange reeks getallen in plaats van als één los hokje. De betekenis zit niet in één getal, maar is verdeeld over de hele reeks. Daardoor kan een computer rekenen met betekenis: begrippen die op elkaar lijken, krijgen reeksen getallen die op elkaar lijken.

Hoe werkt het?

De ouderwetse aanpak gaf elk woord een eigen, uniek vakje. Het nadeel: de computer zag dan geen enkel verband tussen “koning” en “koningin”, die vakjes staan immers volledig los van elkaar. Bij een distributed representation wordt elk woord een punt in een ruimte met honderden dimensies. Woorden die in vergelijkbare zinnen voorkomen, komen dicht bij elkaar te liggen. Het systeem leert die posities zelf door grote hoeveelheden tekst te analyseren. Dit principe is de basis onder vrijwel alle moderne taalmodellen: ChatGPT, Copilot en vergelijkbare systemen werken intern volledig met dit soort representaties.

Wat heb je eraan als bedrijf?

Direct hoef je hier niets mee, het is techniek onder de motorkap. Maar het verklaart wel waarom moderne AI-tools zo goed zijn in betekenis begrijpen: een zoekfunctie die op distributed representations draait, vindt ook documenten over “personeelsverloop” als je zoekt op “medewerkers die vertrekken”. Dat is het verschil tussen zoeken op letterlijke woorden en zoeken op betekenis.

Gerelateerde begrippen

Distributed representations vormen de basis van embeddings en word embeddings. Ze worden geleerd via representation learning en maken toepassingen als semantic search mogelijk.