Inference Engine

Wat is een inference engine?

Een inference engine is het onderdeel van een AI-systeem dat conclusies trekt uit beschikbare kennis. De term heeft twee betekenissen die je allebei tegenkomt. De klassieke betekenis komt uit expertsystemen: de redeneermotor die vaste regels (“als A, dan B”) toepast op een kennisbank om tot een conclusie te komen. De moderne betekenis komt uit machine learning: de software die een getraind model draait en nieuwe input (tekst, beeld, geluid) razendsnel omzet in een voorspelling of antwoord. Die fase heet inference, het toepassen van geleerde kennis op nieuwe gegevens.

Hoe werkt het?

In een regelgebaseerd systeem doorloopt de engine de regels in de kennisbank en combineert ze met de feiten van een concreet geval, zoals een arts die symptomen langs zijn vakkennis legt om tot een diagnose te komen. In machine learning ligt de kennis niet in regels maar in de miljoenen geleerde parameters van een model; de inference engine voert daar de berekeningen op uit. Bekende voorbeelden van zulke software zijn de systemen die taalmodellen in chatbots laten antwoorden of die camerabeelden in een fabriek realtime beoordelen. Trainen gebeurt één keer en kost veel rekenkracht; inference gebeurt daarna miljoenen keren en moet vooral snel en goedkoop zijn.

Wat heb je eraan als bedrijf?

Elke keer dat jij of een klant een AI-toepassing gebruikt, draait er ergens een inference engine. De kosten van AI-gebruik zitten dan ook grotendeels in inference, niet in training. Dat verklaart waarom AI-leveranciers per gebruik of per token afrekenen, en waarom snellere en kleinere modellen voor veel bedrijfstoepassingen aantrekkelijk zijn.

Gerelateerde begrippen

De regelgebaseerde variant hoort bij de symbolic methodology en werkt vaak met een knowledge graph. De moderne variant draait getrainde modellen uit machine learning; de combinatie van beide werelden heet hybrid AI.