Attention Mechanism

Wat is een attention mechanism?

Een attention mechanism (aandachtsmechanisme) is een techniek in neurale netwerken waarmee een AI-model bepaalt welke delen van de invoer het belangrijkst zijn voor de taak van dat moment. Net zoals jij bij het lezen van een lange e-mail automatisch focust op de zinnen die ertoe doen, leert een model met attention om relevante woorden of beeldfragmenten zwaarder mee te wegen dan de rest. Het is de kerntechniek achter de transformer-architectuur, en daarmee de basis van vrijwel alle moderne taalmodellen.

Hoe werkt het?

Het model geeft elk onderdeel van de invoer een aandachtsgewicht: een score die aangeeft hoe relevant dat onderdeel is voor het woord of element dat het model op dat moment verwerkt. Bij het vertalen van de zin “de bank verhoogde de rente” helpt attention het model om “bank” te koppelen aan “rente”, zodat het begrijpt dat het om een financiële instelling gaat en niet om een meubelstuk. Doordat het model zo verbanden kan leggen tussen woorden die ver uit elkaar staan, begrijpt het lange teksten veel beter dan oudere technieken die woorden alleen op volgorde verwerkten.

Wat heb je eraan als bedrijf?

Direct zelf toepassen doe je dit niet; het zit onder de motorkap van de AI-tools die je al gebruikt. Maar het verklaart wel waarom moderne AI-assistenten zo goed zijn in samenvatten, vertalen en vragen beantwoorden over lange documenten: het model “weet” welke passages relevant zijn voor jouw vraag. Voor de meeste bedrijven is dit dus achtergrondkennis die helpt om te begrijpen wat AI wel en niet kan.

Gerelateerde begrippen

Attention is het hart van de transformer-architectuur, waarop large language models en BERT zijn gebouwd. De onderliggende bouwsteen is het kunstmatige neurale netwerk.