Loss function

Wat is een loss function?

Een loss function (verliesfunctie) is de maatstaf waarmee een machine learning-model tijdens de training meet hoe ver zijn voorspellingen naast de werkelijkheid zitten. Hoe groter de fout, hoe hoger het “verlies”. Het hele leerproces van een model draait om één doel: dat verlies zo klein mogelijk maken.

Hoe werkt het?

Tijdens de training doet het model een voorspelling, vergelijkt de loss function die met het juiste antwoord en drukt het verschil uit in één getal. Een optimalisatie-algoritme, meestal gradient descent, past vervolgens de instellingen van het model (de parameters) een klein beetje aan in de richting die het verlies verlaagt. Dat herhaalt zich miljoenen keren. Welke verliesfunctie je kiest hangt af van de taak: mean squared error is gangbaar bij het voorspellen van getallen, cross-entropy bij classificatie. Ook grote taalmodellen worden zo getraind: hun verlies meet hoe slecht ze het volgende woord voorspellen.

Wat heb je eraan als bedrijf?

Je kiest zelden zelf een loss function, maar het concept verklaart iets wezenlijks: een AI-model is precies zo goed als het doel waarop het is getraind. Als de verliesfunctie alleen gemiddelde nauwkeurigheid beloont, kan het model zeldzame maar dure fouten (zoals gemiste fraude) over het hoofd zien. Vraag bij AI-leveranciers dus gerust waar het model op is geoptimaliseerd; dat is geen technische detailvraag maar een businessvraag.

Gerelateerde begrippen

Het minimaliseren van het verlies gebeurt met gradient descent via backpropagation; het bredere proces heet optimization. Hoe goed het eindresultaat is meet je daarna met evaluation metrics.