Keyphrase extraction

Wat is keyphrase extraction?

Keyphrase extraction (sleutelzin-extractie) is een techniek uit de natuurlijke taalverwerking (NLP) die automatisch de woorden en korte zinnen uit een tekst haalt die de inhoud het beste samenvatten. Denk aan de drie tot tien kernbegrippen die je zelf zou onderstrepen als je een document snel wilt typeren. De bredere term extraction omvat ook het ophalen van andere informatie uit tekst, zoals namen, datums en bedragen.

Hoe werkt het?

Klassieke methoden tellen hoe vaak woorden voorkomen en wegen dat tegen hoe gewoon die woorden in het algemeen zijn (de bekendste variant heet TF-IDF). Een woord dat vaak in dit document staat maar zelden in andere documenten, is waarschijnlijk een sleutelterm. Moderne systemen gebruiken taalmodellen en embeddings: ze kijken naar de betekenis van woorden in hun context, waardoor ze ook synoniemen en samengestelde begrippen herkennen. In de praktijk vraag je tegenwoordig vaak gewoon een groot taalmodel om de kernbegrippen uit een tekst te halen, zonder apart extractiemodel.

Wat heb je eraan als bedrijf?

Keyphrase extraction maakt grote hoeveelheden tekst doorzoekbaar en overzichtelijk. Voorbeelden: automatisch tags toekennen aan binnenkomende klantmails zodat ze bij de juiste afdeling landen, kernthema’s halen uit honderden reviews of enquêtes, of documenten in je kennisbank automatisch van trefwoorden voorzien zodat collega’s ze sneller terugvinden. Het bespaart handmatig lees- en sorteerwerk, juist bij teksten die niemand integraal gaat lezen.

Gerelateerde begrippen

Keyphrase extraction hangt nauw samen met entity recognition en extraction, met text summarization voor het samenvatten van hele teksten, en met auto-classification voor het automatisch indelen van documenten in categorieën.