BERT (Bidirectional Encoder Representations from Transformers)

Wat is BERT?

BERT (Bidirectional Encoder Representations from Transformers) is een taalmodel dat Google in 2018 publiceerde en dat een doorbraak betekende voor tekstbegrip. Het bijzondere was destijds dat BERT de context van een woord in twee richtingen bekijkt: het analyseert zowel de woorden ervoor als erna. Daardoor begrijpt het bijvoorbeeld dat “bank” in “ik zit op de bank” iets anders is dan in “ik pin bij de bank”. BERT genereert geen tekst, het is gebouwd om tekst te begrijpen.

Hoe werkt het?

BERT is gebaseerd op de transformer-architectuur en werd voorgetraind op enorme hoeveelheden tekst. Dat gebeurde onder meer met masked language modeling: het model krijgt zinnen waarin willekeurige woorden zijn afgeplakt en moet die invullen. Zo leert het hoe taal werkt zonder dat mensen labels hoeven aan te leveren. Daarna wordt het model met relatief weinig extra voorbeelden bijgetraind (fine-tuning) voor een specifieke taak, zoals sentimentanalyse of het herkennen van namen in teksten.

Waarom is het nog relevant?

De publieke aandacht is verschoven naar generatieve modellen zoals GPT en Claude, maar BERT-achtige modellen draaien anno 2026 nog volop in productiesystemen. Google gebruikt de techniek in zijn zoekmachine, en veel bedrijven zetten compacte BERT-varianten in voor classificatie en zoekfuncties, omdat ze klein, snel en goedkoop zijn vergeleken met grote taalmodellen. Voor jou als ondernemer is BERT vooral de verklaring waarom zoekmachines en tekstanalysetools je intentie zo goed begrijpen.

Gerelateerde begrippen

BERT is gebouwd op de transformer-architectuur met het attention mechanism als kern. Het is familie van de large language models en werkt intern met embeddings.