Transfer learning

Wat is transfer learning?

Transfer learning is een machine learning-techniek waarbij kennis die een model heeft opgedaan bij de ene taak wordt hergebruikt voor een andere, verwante taak. In plaats van een model vanaf nul te trainen, neem je een model dat al op een grote dataset is getraind en pas je het aan voor jouw specifieke doel. Vrijwel alle moderne AI werkt zo: ook de grote taalmodellen achter ChatGPT en Copilot zijn eerst algemeen getraind en daarna verfijnd voor specifieke taken.

Hoe werkt het?

Het proces kent meestal twee stappen. Eerst wordt een model voorgetraind op een enorme, algemene dataset, bijvoorbeeld miljoenen foto’s of een groot deel van het internet aan tekst. Daarbij leert het model algemene patronen herkennen, zoals randen en vormen in beelden of grammatica en betekenis in taal. Daarna wordt het model bijgetraind (fine-tuning) op een veel kleinere dataset voor de specifieke taak, bijvoorbeeld het herkennen van productdefecten of het beantwoorden van vragen over jouw vakgebied. Omdat de algemene kennis er al in zit, heb je veel minder data en rekenkracht nodig dan bij trainen vanaf nul.

Wat heb je eraan als bedrijf?

Transfer learning is de reden dat AI ook voor het MKB bereikbaar is. Je hoeft geen miljoenen te investeren in het trainen van een eigen model: je bouwt voort op bestaande modellen en maakt ze met relatief weinig eigen data geschikt voor jouw situatie. Een kwaliteitscontrole die jouw producten herkent of een chatbot die jouw documentatie kent, draait vrijwel altijd op een voorgetraind model dat is aangepast met bedrijfseigen voorbeelden.

Gerelateerde begrippen

Transfer learning hangt nauw samen met fine-tuning en wordt veel toegepast bij large language models en deep learning. Een verwante techniek voor situaties zonder voorbeelden is zero-shot learning.