Wie nu een AI-model wil ontwikkelen, kan dat in veel minder tijd doen dan, pakweg, vijf of tien jaar geleden. Ook is veel minder data en rekenkracht die nodig. Het grote verschil: foundation models. Deze AI-modellen zijn getraind op enorme hoeveelheden data, vaak miljarden tekstregels of afbeeldingen. Bekende voorbeelden zijn chatbots zoals ChatGPT en afbeeldinggenerators zoals als Midjourney.

Deze alleskunners zijn heel goed in het herkennen van algemene patronen in data en daardoor kunnen ze breed worden toegepast op allerlei verschillende taken. Daarmee bieden ze voor AI-ontwikkelaars handige bouwstenen om snel modellen mee te ontwikkelen.

Maar hoe zitten ze precies in elkaar? En waar moet je op letten als je aan de slag wil gaan met foundation models?

De belangrijkste eigenschappen van foundation models

Het belangrijkste verschil tussen foundation models en andere AI-modellen:

1. Ze zijn getraind op enorme hoeveelheden data – vaak miljarden voorbeelden. Zo is computer vision model DALL-E getraind met behulp van miljoenen afbeeldingen, waardoor het zelf visuele concepten en patronen heeft gedestilleerd en nieuwe afbeelding kan genereren.
2. Ze zijn ontworpen om breed toepasbaar te zijn op allerlei verschillende taken, in plaats van zich te focussen op één specifieke toepassing. Zo kan taalmodel GPT-3 ingezet worden voor tekstgeneratie, vraag-en-antwoord, samenvattingen maken nog veel en meer.
3. Ze bieden daardoor een fundament om op verder te bouwen. Omdat ze al getraind zijn op enorm veel basiskennis, is het relatief eenvoudig om ze met minder data aan te passen voor nieuwe specifieke taken. De basis is al gelegd.

Bouwen op het fundament van foundation models 

Het is dus relatief eenvoudig is om nieuwe kennis toe te voegen aan foundation models en ze op die manier verder te verfijnen. De basis is immers al gelegd is; je hoeft niet meer vanaf nul te starten.

Stel dat je een chatbot wil ontwikkelen voor je organisatie; dan kun je verder bouwen op een foundation model als GPT-3, dat is getraind op 45 terabytes aan tekstdata. Hierdoor begrijpt het model de structuur en opbouw van menselijke taal en kan het worden ingezet als chatbot of om content te genereren. Je kunt GPT-3 ook trainen op specifieke kennisdomeinen van je organisatie, of zelfs met interne data. Het model begrijpt immers al hoe taal in elkaar zit, en dan is het relatief eenvoudig om vaktermen, productdetails of interne processen toe te voegen.

Uitdagingen van foundational models

Foundation models kennen helaas ook een aantal uitdagingen. Vooral als het gaat om transparantie en uitlegbaarheid schieten deze modellen nog tekort. Ze zijn getraind op enorme hoeveelheden data en bevatten miljarden parameters, wat het enorm ingewikkeld maakt om te doorgronden hoe ze precies tot bepaalde resultaten komen. Hun interne werking is complex en gelaagd, wat het lastig maakt om de modellen echt te begrijpen.

Dit gebrek aan transparantie wordt ook wel aangeduid met de term ‘black box’: het is onduidelijk wat er gebeurt tussen input en output. Dit kan leiden tot wantrouwen bij gebruikers en problemen bij het evalueren en verbeteren van de modellen. Ook is het ingewikkeld om verantwoording af te leggen over besluiten die gebaseerd zijn op deze AI-modellen.

Kortom, foundation models zijn een goed voorbeeld van de enorme vooruitgang in artificial intelligence, maar het gebruik van deze modellen is niet geheel zonder uitdagingen. De verwachting is AI de komende jaren, onder meer dankzij foundation models, een nog grotere vlucht nemen. Ze leggen daarmee het fundament onder de volgende golf van AI-innovatie. Het is wel te hopen dat ze op het gebied van transparantie nog meer kunnen bieden dan op dit moment het geval is.

Dit artikel is gemaakt op basis van deze aflevering van de podcast AIToday Live met Joop Snijder.