Model Parameter

Wat is een model parameter?

Model parameters zijn de interne waarden van een machine learning-model die tijdens de training worden geleerd uit data. In een neuraal netwerk zijn dat de gewichten en biases: getallen die samen bepalen hoe invoer wordt omgezet in uitvoer. Als je hoort dat een taalmodel “70 miljard parameters” heeft, gaat het om dit soort waarden; het aantal zegt iets over de capaciteit van het model.

Hoe werkt het?

Bij de start van een training krijgen de parameters willekeurige waarden. Het model doet een voorspelling op de trainingsdata, een verliesfunctie meet hoe ver die voorspelling ernaast zit, en een optimalisatie-algoritme zoals gradient descent past de parameters een klein beetje aan om de fout te verkleinen. Dat proces herhaalt zich miljoenen keren, tot de parameters waarden hebben gevonden waarmee het model goed presteert. Belangrijk onderscheid: parameters leert het model zelf, terwijl hyperparameters (zoals de leersnelheid of het aantal lagen) door de ontwikkelaar vooraf worden gekozen.

Wat heb je eraan als bedrijf?

Voor de meeste bedrijven is dit achtergrondkennis, maar het helpt bij het lezen van AI-nieuws en leveranciersclaims. Meer parameters betekent vaak een capabeler maar ook duurder en trager model; kleinere modellen zijn voor afgebakende taken regelmatig de slimmere keuze. Laat je dus niet alleen leiden door grote getallen: wat telt is hoe een model presteert op jouw taak.

Gerelateerde begrippen

Parameters worden geoptimaliseerd met gradient descent op basis van een loss function. Ze vormen samen het model; bij large language models lopen de aantallen in de miljarden.