Sequence-to-Sequence (Seq2Seq)

Wat is sequence-to-sequence (Seq2Seq)?

Sequence-to-sequence (Seq2Seq) is een architectuur voor neurale netwerken die een reeks omzet in een andere reeks, bijvoorbeeld een Nederlandse zin in een Engelse vertaling, of een lang document in een korte samenvatting. Het bijzondere is dat invoer en uitvoer verschillende lengtes mogen hebben: een zin van acht woorden kan een vertaling van twaalf woorden opleveren.

Hoe werkt het?

Een Seq2Seq-model bestaat uit twee delen. De encoder leest de invoer en vat die samen in een interne representatie, een soort betekenisschets in getallen. De decoder bouwt op basis daarvan woord voor woord de uitvoer op. De eerste Seq2Seq-modellen uit 2014 gebruikten recurrente neurale netwerken (RNN’s), maar liepen vast bij lange teksten. De toevoeging van het attention mechanism loste dat op en leidde in 2017 tot de transformer-architectuur, de basis van alle grote taalmodellen van nu.

Wat heb je eraan als bedrijf?

Seq2Seq is vooral achtergrondkennis, maar wel het idee waar veel dagelijkse AI-tools op teruggaan. Vertaaldiensten, samenvattingsfuncties en chatbots doen in de kern allemaal hetzelfde: een invoerreeks omzetten in een uitvoerreeks. Wie begrijpt dat een model tekst stap voor stap genereert op basis van een interne samenvatting, snapt ook beter waarom uitvoer soms afwijkt van wat er letterlijk in de invoer stond.

Gerelateerde begrippen

Seq2Seq werkt op sequential data en is de voorloper van de transformer architecture. Bekende toepassingen zijn machine translation en tekstgeneratie via natural language generation.