Vector space model

Wat is het vector space model?

Het vector space model (vectorruimtemodel) is een klassieke methode uit de informatievinding waarbij documenten en zoekopdrachten worden weergegeven als numerieke vectoren: lange rijen getallen in een wiskundige ruimte. Documenten die qua inhoud op elkaar lijken, liggen in die ruimte dicht bij elkaar. Zo wordt “lijkt dit document op mijn zoekvraag?” een rekensom in plaats van een leeskwestie. Het model stamt uit de jaren zeventig en is de voorloper van de moderne embeddings achter semantisch zoeken en AI-assistenten.

Hoe werkt het?

De tekst wordt eerst opgeknipt in woorden (tokenisatie). Vervolgens krijgt elk document een vector waarin elke positie een woord vertegenwoordigt, gewogen naar hoe kenmerkend dat woord is. Een veelgebruikte weging is TF-IDF: woorden die vaak in dit document voorkomen maar zeldzaam zijn in de hele collectie, wegen zwaar. De overeenkomst tussen twee vectoren wordt berekend met de cosinusgelijkenis, de hoek tussen de vectoren. Hoe kleiner de hoek, hoe groter de inhoudelijke overlap.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis, maar wel nuttige: het is het basisprincipe achter elke zoekmachine en achter het semantisch zoeken in moderne AI-toepassingen. Waar het klassieke model alleen naar woorden keek, vangen hedendaagse embeddings ook betekenis: “auto” en “wagen” liggen dan dicht bij elkaar, ook al zijn het verschillende woorden. Dat principe maakt het mogelijk dat een AI-assistent het juiste document vindt, ook als je andere woorden gebruikt dan in dat document staan.

Gerelateerde begrippen

De moderne opvolger zijn embeddings en word embeddings, toegepast in semantic search. Het vakgebied zelf heet information retrieval; een eenvoudiger verwante techniek is bag of words.