Leren van gefaalde AI-experimenten

Waarom experimenten zo belangrijk zijn

Juist de experimenten brengen de echte strategische vraagstukken naar boven. Neem bijvoorbeeld datakwaliteit. In ons onderzoek gaf 23% aan hiermee te worstelen. Maar weet je wanneer organisaties pas echt beseffen welke data ze nodig hebben? Precies. Als ze midden in hun eerste AI-project zitten en tegen kwaliteitsproblemen aanlopen.

Organisaties die al experimenteren, weten veel beter welke data ze missen en waarom die data waardevol is. Ze hebben een bepaald doel voor ogen. Experimenteren is daarom geen tussenstap, maar een heel belangrijk onderdeel van je AI-strategie.

Falen moet je vieren

Wat we in de praktijk zien, is dat organisaties vergeten dat experimenten mogen – nee, moeten – falen. Ze zien een mislukt experiment als een teleurstelling in plaats van een waardevol leermoment.

Het is eigenlijk net als het ontdekken van een nieuwe stad. Je kunt eindeloos kaarten bestuderen, maar pas als je er rondloopt, dan ontdek je waar de echte uitdagingen liggen.

Laat me een paar van onze eigen ‘mislukte’ experimenten delen en wat ze ons hebben geleerd.

Experiment 1: De AI-interviewer

We wilden AI laten meeluisteren tijdens podcastopnames om automatisch interessante vervolgvragen te genereren. Iedere vijf minuten zou het systeem vanuit zichzelf drie vragen voorstellen.

Technisch een uitdaging: we wilden dit zonder internetverbinding doen. We bouwden een systeem waarbij een laptop direct gekoppeld was aan onze opnamemixer. De audio werd omgezet naar tekst en een lokaal AI-model (Llama 3.2 van Meta) analyseerde deze tekst.

De vragen waren inhoudelijk prima, maar de formulering was behoorlijk ‘Amerikaans’. En teruggebracht naar de realiteit leverde dat de volgende situatie op: als interviewer moest ik tijdens het gesprek drie vragen lezen, er één uitkiezen, deze herformuleren naar natuurlijk Nederlands én een geschikt moment vinden om de vraag te stellen.

Het werd snel duidelijk: dit leidde veel te veel af. Ik kon niet meer doen waar het echt om ging, namelijk een goed gesprek voeren en luisteren naar onze gast.

Experiment 2: De AI-scriptschrijver

Nog ambitieuzer was onze AI-agent die mij volledig zou ondersteunen bij het schrijven van podcast-scripts. De agent kreeg enorme hoeveelheden context mee: onze huisstijl, tone of voice, eerdere afleveringen en onderzoeksnotities.

Het systeem beoordeelde scripts op vier criteria: toon, volledigheid, begrijpbaarheid en structuur. Voor elk criterium gaf het een score tussen 1 en 100. Als een score onder de 85 kwam, voerde de agent automatisch verbeteringen door.

Technisch gezien een groot succes. De agent produceerde foutloze scripts die perfect voldeden aan onze criteria. Toch was ik niet tevreden.

De teksten waren vrij zielloos. Platgeslagen, keurige stukken zonder karakter. Daarnaast miste ik de inspanning om tot de tekst te komen. Juist die inspanning leert mij ontzettend veel. Door zelf een tekst begrijpelijk te maken, blijft de inhoud beter hangen. Door tekst op mijn eigen manier te kneden, kan ik het met veel meer overtuiging overbrengen.

Experiment 3: De slimme chatbot

Jaren geleden werkten we voor een Nederlandse verzekeraar aan een chatbot die niet alleen verzekeringen kon stopzetten, maar ook slimme suggesties kon doen. Als iemand zijn bromfietsverzekering had opgezegd, zou de chatbot kunnen voorstellen om naar autoverzekeringen te kijken.

Technisch werkte alles perfect, maar tijdens de presentatie daalde de realiteit in: de onderhoudskosten, het continue beheer, het menselijke werk dat nog steeds nodig zou zijn. De verzekeraar besloot niet door te gaan met het project. De verwachte kostenreductie woog niet op tegen de implementatiekosten.

Veel mensen zouden dit een mislukt experiment noemen. Het tegenovergestelde is waar. Het experiment was juist enorm succesvol. Door klein te beginnen en goed te kijken naar de totale impact, heeft deze organisatie zichzelf veel kosten en frustratie bespaard.

De balans tussen mens en machine

De belangrijkste les over AI-experimenten is: het gaat niet om wat technisch wel of niet werkt. Het gaat om het vinden van de juiste balans tussen automatisering en menselijke inbreng.

Tegenwoordig gebruik ik AI nog steeds bij het schrijven van scripts, maar op een andere manier. Als een kritische redacteur die meedenkt, suggesties doet en checkt op consistentie. Maar de kern – het vormen van ideeën, kiezen van voorbeelden en structureren van het verhaal – doe ik zelf.

De verleiding om alles te automatiseren is groot. Een podcast-aflevering van 10 minuten kost ongeveer drie uur productietijd: een tot twee uur voor het schrijven en onderzoek, 15 minuten opname en 45 minuten voor productie en social media.

Begin klein, evalueer kritisch

Bij AI-transformatie gaat het niet om blind automatiseren, gewoon omdat het kan. Het gaat om het maken van bewuste keuzes over waar AI waarde toevoegt en waar menselijke input onmisbaar blijft.

Durf te experimenteren en accepteer dat sommige experimenten zullen mislukken. Soms betekent dit dat je een technisch perfect werkende oplossing toch niet implementeert, omdat de menselijke component belangrijker is.

Begin klein, evalueer kritisch en focus op de waarde die je toevoegt aan je proces, niet alleen op wat technisch mogelijk is. Of een experiment nu leidt tot implementatie of niet, de waarde zit vooral in wat je ervan leert.

En dat is misschien wel de belangrijkste les van allemaal!