Stop words

Wat zijn stop words?

Stop words (stopwoorden) zijn veelvoorkomende woorden die weinig onderscheidende betekenis dragen, zoals “de”, “het”, “een”, “en” en “van” in het Nederlands, of “the”, “and” en “of” in het Engels. In klassieke tekstanalyse en zoektechnologie worden deze woorden vaak weggefilterd, zodat de analyse zich richt op de woorden die er inhoudelijk toe doen.

Hoe werkt het?

Tijdens de voorbewerking van tekst wordt elk woord vergeleken met een stopwoordenlijst voor de betreffende taal. Staat het woord op de lijst, dan wordt het verwijderd voordat de tekst verder wordt geanalyseerd of geïndexeerd. Dat maakt de dataset kleiner en de analyse sneller. Belangrijk om te weten: moderne taalmodellen en semantische zoeksystemen verwijderen stopwoorden juist niet meer. Voor hen is “niet tevreden” iets heel anders dan “tevreden”, en die nuance zit precies in de kleine woorden. Stopwoordfiltering hoort dus vooral bij klassieke technieken zoals trefwoordzoeken en eenvoudige tekststatistiek.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis. Het wordt praktisch als je zelf met tekstdata werkt, bijvoorbeeld bij het analyseren van reviews of het bouwen van een interne zoekfunctie met klassieke tools: stopwoorden weglaten maakt woordfrequenties en trefwoordanalyses een stuk zinvoller. Werk je met moderne AI-tools, dan hoef je je er niet druk om te maken; die handelen dit zelf af.

Gerelateerde begrippen

Stopwoordfiltering is een vorm van tekstvoorbewerking, naast stemming en het opdelen van tekst in tokens. Het speelt een rol in text mining; moderne alternatieven werken met embeddings die de hele context meenemen.