Word Sense Disambiguation

Wat is word sense disambiguation?

Word sense disambiguation (WSD) is het bepalen van de juiste betekenis van een woord dat meerdere betekenissen heeft, op basis van de context. Het Nederlandse woord “bank” kan een zitmeubel zijn of een financiële instelling; in “ik ga naar de bank om geld op te nemen” is voor een mens meteen duidelijk welke bedoeld wordt. WSD is de taak om computers diezelfde keuze correct te laten maken.

Hoe werkt het?

Een WSD-systeem kijkt naar de woorden rondom het dubbelzinnige woord en bepaalt welke betekenis daar het best bij past. Klassieke aanpakken gebruiken daarvoor woordenboeken en betekenisnetwerken zoals WordNet, of machine learning op teksten waarin de juiste betekenis is gemarkeerd. Moderne taalmodellen lossen dit grotendeels impliciet op: doordat ze elk woord een representatie geven die afhangt van de hele zin, krijgt “bank” als meubel automatisch een andere interne representatie dan “bank” als geldinstelling. Daardoor is WSD als losse stap minder vaak nodig, al blijft het een lastig probleem bij subtiele betekenisverschillen en in vakjargon.

Wat heb je eraan als bedrijf?

Je merkt WSD vooral aan de kwaliteit van taaltoepassingen die je al gebruikt. Goede automatische vertalingen, zoekmachines die begrijpen wat je bedoelt en chatbots die je vraag juist interpreteren, leunen allemaal op het correct oplossen van dubbelzinnigheid. Voor de meeste bedrijven is dit achtergrondkennis: je bouwt er zelf niets mee, maar het verklaart waarom AI-systemen soms de plank misslaan bij ambigue formuleringen, en waarom een duidelijke vraagstelling betere antwoorden oplevert.

Gerelateerde begrippen

WSD is een specifieke vorm van disambiguation binnen het bredere veld van computational semantics. Het leunt op technieken als word embeddings en het semantic network.