Transformer architecture

Wat is de transformer-architectuur?

De transformer is een ontwerp voor neurale netwerken dat in 2017 werd geïntroduceerd door onderzoekers van Google in het paper “Attention Is All You Need”. Het is de architectuur achter vrijwel alle moderne generatieve AI: grote taalmodellen zoals die achter ChatGPT, Claude en Gemini zijn transformers, en ook beeld-, audio- en videomodellen bouwen erop voort. De doorbraak zit in het zelfaandacht-mechanisme (self-attention), waarmee het model voor elk woord kan bepalen welke andere woorden in de tekst relevant zijn, ongeacht hoe ver ze uit elkaar staan.

Hoe werkt het?

Eerdere netwerken voor taal, zoals recurrente neurale netwerken, verwerkten tekst woord voor woord. Dat was traag en het model vergat informatie van verder terug in de zin. Een transformer bekijkt alle woorden tegelijk en berekent per woord hoe sterk het samenhangt met elk ander woord. In de zin “de factuur die vorige week binnenkwam is nog niet betaald” begrijpt het model zo dat “betaald” over “de factuur” gaat. Omdat de woorden parallel worden verwerkt, kun je transformers trainen op enorme hoeveelheden tekst, en juist die schaal maakte de huidige generatie AI mogelijk.

Wat heb je eraan als bedrijf?

Je hoeft de techniek niet te kennen om er gebruik van te maken, maar het verklaart wel waarom moderne AI zo goed met taal overweg kan. Elke AI-assistent, vertaaltool of samenvatter die je vandaag zakelijk inzet, draait op deze architectuur. Voor de meeste bedrijven is dit achtergrondkennis: handig om te begrijpen waar de kracht en de grenzen van taalmodellen vandaan komen.

Gerelateerde begrippen

De transformer is de basis van large language models en bouwt voort op het attention mechanism. Voorlopers zijn recurrente neurale netwerken en LSTM’s; een bekende vroege toepassing is BERT.