Test Set

Wat is een test set?

Een test set is het deel van je data dat je apart houdt om te controleren hoe goed een machine learning-model écht presteert. Het model heeft deze gegevens tijdens het trainen nooit gezien. Vergelijk het met een examen: je oefent met oefenopgaven (de trainingsset), maar het echte examen bevat nieuwe vragen. Alleen zo weet je of iemand de stof begrijpt of de antwoorden uit zijn hoofd heeft geleerd.

Hoe werkt het?

Bij het bouwen van een model wordt de beschikbare data meestal opgesplitst: het grootste deel voor trainen, een deel voor tussentijds bijsturen (de validatieset) en een deel als test set. Na het trainen laat je het model voorspellingen doen op de test set en vergelijk je die met de bekende juiste antwoorden. Daaruit bereken je scores als accuracy, precision en recall. Cruciaal is dat de test set strikt gescheiden blijft van de trainingsdata: lekt er trainingsdata in de test set, dan lijken de scores beter dan ze zijn.

Wat heb je eraan als bedrijf?

Koop of bouw je een AI-oplossing, dan is dit de vraag die je moet stellen: “hoe is dit getest, en op welke data?” Een leverancier die scores rapporteert op data waarop het model ook getraind is, geeft een misleidend rooskleurig beeld. Een eerlijke evaluatie op een onafhankelijke test set, liefst met data die lijkt op jouw praktijksituatie, is de minimumstandaard.

Gerelateerde begrippen

De tegenhanger is de training set, waarmee het model leert. Presteert een model goed op trainingsdata maar slecht op de test set, dan is er sprake van overfitting. Een robuustere evaluatiemethode is cross-validation.