Stemming

Wat is stemming?

Stemming is een techniek uit de taaltechnologie die woorden terugbrengt tot hun stam door uitgangen af te knippen. Zo worden “werken”, “werkte” en “werker” alle drie teruggebracht tot “werk”. Het doel is dat varianten van hetzelfde woord als één term worden behandeld, bijvoorbeeld bij zoeken of tekstanalyse. De stam hoeft geen bestaand woord te zijn: een stemmer kan “lopen” inkorten tot “lop”, en dat is prima zolang alle varianten op dezelfde vorm uitkomen.

Hoe werkt het?

Een stemming-algoritme past een set vaste regels toe: verwijder uitgangen als -en, -te, -er of in het Engels -ing, -ed en -s. Bekende algoritmes zijn de Porter-stemmer en de Snowball-stemmer, die ook voor het Nederlands bestaat. Stemming is bewust grof en snel. De nettere variant heet lemmatisatie: die gebruikt een woordenboek en grammaticakennis om het echte basiswoord (het lemma) te vinden, zodat “gelopen” netjes “lopen” wordt. Moderne taalmodellen gebruiken overigens geen stemming meer; zij knippen tekst in tokens en leren woordverbanden zelf.

Wat heb je eraan als bedrijf?

Stemming zit nog altijd in veel zoekmachines en tekstanalysetools. Het zorgt ervoor dat een zoekopdracht naar “factuur” ook documenten met “facturen” en “facturatie” vindt. Bouw je zelf een zoekfunctie of analyseer je grote hoeveelheden tekst met klassieke tools, dan is stemming een goedkope manier om de dekking te verbeteren. Voor de meeste andere toepassingen is het achtergrondkennis.

Gerelateerde begrippen

Stemming is een vorm van tekstvoorbewerking, net als het verwijderen van stop words en het opdelen in tokens. Het nettere alternatief draait om het lemma; beide technieken komen uit de computationele taalkunde.