Training Set

Wat is een training set?

Een training set (trainingsset) is de verzameling voorbeelden waarmee een machine learning-model leert. Elk voorbeeld bestaat uit invoerdata, vaak met het bijbehorende juiste antwoord erbij. Wil je een model leren om facturen van offertes te onderscheiden, dan bestaat de trainingsset uit honderden documenten waarvan al bekend is wat het is. Het model zoekt in die voorbeelden naar patronen die het later op nieuwe gevallen kan toepassen.

Hoe werkt het?

Tijdens het trainen doet het model voorspellingen op de trainingsvoorbeelden, vergelijkt die met de juiste antwoorden en past zijn interne instellingen (parameters) stapje voor stapje aan om de fout te verkleinen. Dat proces herhaalt zich duizenden keren. De kwaliteit van de trainingsset bepaalt grotendeels de kwaliteit van het model: de data moet representatief zijn voor de praktijk, voldoende omvangrijk en correct gelabeld. Eenzijdige of vervuilde trainingsdata leidt tot een model met dezelfde tekortkomingen.

Wat heb je eraan als bedrijf?

Het principe “garbage in, garbage out” begint bij de trainingsset. Laat je een AI-model trainen op jouw eigen data, bijvoorbeeld voor documentherkenning of vraagvoorspelling, dan zit het meeste werk vaak in het verzamelen en opschonen van goede trainingsvoorbeelden, niet in de techniek zelf. Ook bij het beoordelen van AI-leveranciers is dit een nuttige vraag: op welke data is dit getraind, en lijkt die op onze situatie?

Gerelateerde begrippen

De prestaties worden gemeten op een aparte test set. Trainen met gelabelde voorbeelden heet supervised learning, en data van labels voorzien heet data labelling. Leert een model de trainingsdata uit het hoofd in plaats van te generaliseren, dan spreek je van overfitting.