Wat is bag of words?
Bag of words (BoW) is een klassieke, eenvoudige manier om tekst om te zetten in getallen, zodat een computer ermee kan rekenen. De techniek negeert de volgorde van woorden volledig en kijkt alleen welke woorden er in een tekst staan en hoe vaak. Vandaar de naam: de tekst wordt behandeld als een zak losse woorden.
Hoe werkt het?
Eerst wordt uit alle teksten een woordenlijst gemaakt. Daarna wordt elke tekst een rij getallen: per woord uit de lijst staat er hoe vaak het voorkomt. Neem “de kat zit op de mat” en “de hond rent over de mat”. De woordenlijst is dan [de, kat, zit, op, mat, hond, rent, over], en de eerste zin wordt [2, 1, 1, 1, 1, 0, 0, 0]. Die getallenrijen kun je vervolgens gebruiken om teksten te vergelijken of te classificeren. De beperking is duidelijk: “hond bijt man” en “man bijt hond” krijgen exact dezelfde representatie, want context en volgorde gaan verloren.
Wat heb je eraan als bedrijf?
Voor eenvoudige taken zoals spamfilters en het ruwweg sorteren van documenten werkt bag of words verrassend goed, en het is goedkoop en snel. Maar voor alles waar betekenis en context tellen, zoals chatbots, samenvattingen of zoekfuncties die begrijpen wat je bedoelt, is het achterhaald: moderne taalmodellen met embeddings doen dat veel beter. Zie het vooral als nuttige achtergrondkennis over hoe tekstverwerking met AI begon.
Gerelateerde begrippen
Bag of words is een vroege techniek uit de computational linguistics, vaak gebruikt voor classification. De moderne opvolgers zijn word embeddings en embeddings, die wel betekenis en context vastleggen.
Je hele organisatie AI-geletterd?
Bij elke incompany training krijgt iedereen in je organisatie toegang tot de e-learning AI Geletterdheid. In 90 tot 120 minuten leert elke medewerker wat AI is, wat je ermee kunt en hoe je er veilig mee werkt. Per rol en sector, met certificaat, zoals de EU AI Act vraagt.
Bekijk de trainingen →