Data Scarcity

Wat is data scarcity?

Data scarcity (datatekort) is de situatie waarin er te weinig bruikbare gegevens zijn om een betrouwbaar AI-model te trainen. Dat komt vaker voor dan je denkt: gegevens verzamelen is duur of tijdrovend, privacywetgeving zoals de AVG beperkt wat je mag gebruiken, of het verschijnsel dat je wilt voorspellen is simpelweg zeldzaam. Een model dat op te weinig voorbeelden traint, leert geen echte patronen maar toevalligheden, met onbetrouwbare voorspellingen als gevolg.

Hoe werkt het, en wat doe je eraan?

Te weinig data leidt typisch tot overfitting: het model kent de trainingsvoorbeelden uit het hoofd, maar faalt bij nieuwe gevallen. Er bestaan gelukkig beproefde oplossingen. Met data augmentation maak je kunstmatig variaties op bestaande voorbeelden. Met transfer learning start je met een model dat al op enorme datasets is voorgetraind en stem je het bij met jouw kleine dataset; dit is precies waarom grote taalmodellen tegenwoordig met relatief weinig eigen voorbeelden goed werken voor specifieke taken. Daarnaast wordt synthetische data, door AI gegenereerde oefendata, steeds vaker ingezet, bijvoorbeeld in de zorg waar echte patiëntgegevens niet gedeeld mogen worden.

Wat heb je eraan als bedrijf?

Voor het MKB is dit goed nieuws: je hebt geen miljoenen records nodig om met AI te starten. Voorgetrainde modellen en moderne AI-tools doen het zware werk; jouw bedrijfsdata dient alleen nog om ze op jouw situatie af te stemmen. Heb je weinig historische gegevens, kies dan voor toepassingen die op voorgetrainde modellen leunen in plaats van zelf een model vanaf nul te trainen.

Gerelateerde begrippen

Data scarcity hangt samen met overfitting en wordt bestreden met data augmentation. Het verzamelen en voorbereiden van gegevens valt onder data labelling en data preprocessing.