Co-occurrence

Wat is co-occurrence?

Co-occurrence betekent letterlijk “samen voorkomen”: twee of meer woorden, kenmerken of items die in dezelfde tekst, zin of dataset naast elkaar opduiken. In taaltechnologie is het een klassieke manier om verbanden tussen woorden te ontdekken. Woorden die vaak samen voorkomen, zoals “koffie” en “zetten”, hebben blijkbaar iets met elkaar te maken.

Hoe werkt het?

Een computer telt hoe vaak woordparen binnen een bepaald venster voorkomen, bijvoorbeeld binnen vijf woorden van elkaar. Die tellingen komen in een co-occurrence matrix: een grote tabel met alle woorden als rijen en kolommen, en in elke cel hoe vaak het paar samen voorkomt. Uit die tabel kan software afleiden welke woorden semantisch verwant zijn, zonder dat iemand dat ooit heeft geprogrammeerd. Deze techniek vormde de basis voor de eerste word embeddings, de voorlopers van de taalmodellen die we nu dagelijks gebruiken.

Wat heb je eraan als bedrijf?

Direct toepassen zul je dit zelden doen; het is vooral achtergrondkennis. Maar het principe zit verstopt in tools die je wel gebruikt: zoekmachines die synoniemen herkennen, software die thema’s uit klantreviews haalt en systemen die gerelateerde producten tonen. Begrijp je co-occurrence, dan begrijp je waarom AI “weet” dat factuur en betaling bij elkaar horen: niet door begrip, maar door statistiek over miljoenen teksten.

Gerelateerde begrippen

Co-occurrence hangt nauw samen met word embeddings, het bag of words-model, een corpus als tekstverzameling en latent semantic analysis (LSA).