De inzet van generatieve AI bij Info Support

We zijn er inmiddels aan gewend om vragen te stellen aan ChatGPT (en behoorlijk goede antwoorden terug te krijgen). Maar zou ChatGPT zelf ook goede vragen kunnen stellen? Dat hebben we getest. De interviewkandidaat die eens een keer de antwoorden mocht geven, was Joop Snijder, Hoofd van het Research Center AI bij Info Support. Hij werd aan de tand gevoeld door ChatGPT over de toepassing van generatieve AI en de potentiële impact ervan op Info Support. Wat vooral verbaast: de potentie van de chatbot om echt inhoudelijke vervolgvragen te stellen.

ChatGPT:

Kun je een voorbeeld geven van een project of initiatief binnen Info Support waarbij generatieve AI momenteel wordt ingezet, of waarbij er plannen zijn om deze te gaan gebruiken?

Joop:

Ik heb daar drie voorbeelden van.

Voor een grote bierbrouwerij hebben we een proof-of-concept gemaakt waarbij socialmediagegevens worden gebruikt om persona’s te maken. Mensen met gelijke karakteristieken worden gegroepeerd en met generatieve AI wordt een persona ontwikkeld, zowel in tekst als de bijbehorende profielfoto. We gebruiken daar GPT en DALL-E voor als techniek. Nadat de persona is gemaakt kunnen we middels generatieve AI praten met de persona en marketinggerelateerde vragen stellen. Denk bijvoorbeeld aan: wat zouden goede advertentieteksten kunnen zijn? Hoe wil iemand benaderd wil worden? En ga zo maar door.

Ook hebben we een eigen AI-assistent in productie die is gebaseerd op generatieve AI. Zo kunnen Info Supporters veilig, zonder risico op het delen van gevoelige informatie, de assistent gebruiken. Met generatieve AI worden ze geholpen om hun werk beter uit te voeren, omdat we Info Support-specifieke kennis hebben toegevoegd. Onze best practices liggen vast in ons Guidance Framework en deze kennis neemt de AI-assistent mee in het beantwoorden van vragen.

Tenslotte: samen met een klant zijn er plannen om generatieve AI in te zetten voor het extraheren van kennis uit ingescande documenten. De klant heeft ontzettend veel documenten, die ook nog eens meerdere versies en aanvullingen kent. Met generatieve AI lezen we de documenten en halen we bijna honderd vooraf gedefinieerde kenmerken uit de documenten. Tenminste, dat is het plan.

ChatGPT:

Interessant, je hebt duidelijk uiteengezet hoe generatieve AI een rol speelt binnen verschillende projecten bij Info Support. Laten we dieper ingaan op de toepassing in marketing.

Het gebruik van persona’s die gegenereerd zijn door AI biedt fascinerende mogelijkheden voor marketingdoeleinden. Hoe waarborg je echter dat de gegenereerde inhoud nauw aansluit bij de echte voorkeuren en behoeften van je doelgroep en hoe ga je te werk om eventuele biases in de AI-modellen te identificeren en te mitigeren?

Joop:

Of de gegenereerde inhoud helemaal aansluit bij de echte voorkeuren en behoeften van je doelgroep, dat weet je helaas niet van tevoren. Maar je kunt wel meten of je het beter doet dan de huidige manier. De klant meet de conversie van advertenties en met een betere aansluiting zou de conversie omhoog moeten gaan. Anderzijds is de huidige manier van persona’s maken gebaseerd op internationale, demografische data en ervaring van het marketingteam. Deze zitten vol aannames en eventuele bias. Wij zijn uitgegaan van data van social media. Dankzij de grote hoeveelheid data hebben we zo een beter beeld kunnen vormen van een persona.

Maar je hebt gelijk, dat sluit eventuele bias nog altijd niet uit. Echter, de resultaten en teksten die uit het systeem komen, blijven beoordeeld worden door de marketeers van de organisatie en deze hebben ook een verplichting om naar bias te kijken.

ChatGPT:

Excuses, hier is de volgende vraag voor jou:

Hoe zorgen jullie ervoor dat de AI-modellen actueel blijven en gebaseerd zijn op recente data, met name gezien de dynamische aard van sociale media? Is er een proces of systeem bij Info Support dat zich specifiek bezighoudt met het up-to-date houden van deze modellen?

Joop:

In het geval van de persona’s wordt nieuwe data periodiek bijgeladen en kunnen de persona’s eenvoudig opnieuw worden samengesteld. Termijn en proces worden van tevoren afgestemd en geautomatiseerd op basis van de doelstellingen.

ChatGPT:

Automatisering van data-integratie lijkt een efficiënte manier om de AI-modellen relevant en actueel te houden. Nu vraag ik me af over de bredere toepassing binnen de organisatie:

Hoe borgen jullie de kennisoverdracht van deze generatieve AI-toepassingen naar andere afdelingen binnen Info Support, zodat het niet alleen bij gespecialiseerde teams blijft, maar ook door de rest van de organisatie effectief gebruikt kan worden?

Joop:

Wat een goede vraag! We hebben daar verschillende vormen voor. Zo is er een samenwerking tussen Info Support Nederland en Info Support België waar deze systemen worden ontwikkeld. De makers wisselen veel kennis onderling uit, omdat ze daar profijt van hebben bij de doorontwikkeling van hun eigen systemen.

Daarnaast borgen we zo snel mogelijk nieuwe best practices in ons Guidance Framework en delen we kennis via verschillende events, zoals de ISKA (Info Support Kennis Avonden), de AI Community en binnen de Area Data & AI.

ChatGPT:

Uitstekend, het lijkt erop dat Info Support een sterke focus heeft op kennisdeling en samenwerking, zowel intern als internationaal. Als we ons nu richten op bijbehorende risico’s:

Bij de implementatie van AI in kritische bedrijfsprocessen komen ook risico’s kijken, zoals veiligheidsproblemen en ethische vraagstukken. Kun je een situatie beschrijven waarbij jullie geconfronteerd werden met een dergelijk risico en hoe hebben jullie dit aangepakt?

Joop:

We hebben voor onszelf een helder ethisch kader. Zo is een van de uitgangspunten dat AI de mens moet versterken (en niet vervangen). Daarnaast willen we verantwoordelijke systemen maken. Als we de vraag krijgen om modellen te ontwikkelen die mensen oneigenlijk benadelen, zullen wij niet ingaan op die vraag. In het afgelopen jaar hebben we twee mogelijke projecten daarom niet uitgevoerd.

De eerste ging voornamelijk om veiligheid. Het systeem bevatte medisch zeer gevoelige gegevens van kwetsbare mensen. Nog voordat we de ethische beoordeling hadden gedaan, bleek dat de veiligheidsproblemen te ernstig waren en de potentiële klant niet bereid was deze op te lossen. We geven dan advies hoe deze veiligheidsrisico’s te dichten, maar namen het project niet aan.

Een ander project ging over het scoren van mensen voor vacatures. Je voelt aan je water aan dat je gauw tegen ethische bezwaren, mogelijke discriminatie en misschien zelfs wetgeving gaat aanlopen. Ook hier hebben we in een vroeg stadium aangegeven dat wij een dergelijk model niet bouwen.

ChatGPT:

De commitment aan ethische principes en veiligheid is duidelijk een prioriteit, wat vertrouwen wekt in de integriteit van Info Support. Dit brengt me bij de evaluatie van dergelijke projecten:

Kun je het proces beschrijven dat Info Support hanteert voor ethische en veiligheidsbeoordelingen voorafgaand aan AI-projecten? Hoe wordt bepaald of een project voldoet aan jullie uitgangspunten?

Joop:

Ten eerste bespreken we heel goed met onze klanten wat het doel is van het AI-project. Wat wil je veranderen en wat wil je bereiken? Hiermee filter je de eerste ethische bezwaren er al uit. Daarna definiëren we het AI-project met de hulp van ons AI Experiment Canvas. Daarin word je gedwongen om je project nog concreter te maken: wat is je hypothese, hoe ga je die meten, welke ethische principes moeten worden afgewogen en welke wettelijke bepalingen moeten worden gecontroleerd? We leggen duidelijk vast op basis van welke criteria een project wordt stopgezet, mochten we tegen deze principes aanlopen.

We stimuleren onze medewerkers om goed na te denken over ethische principes en moedigen ze aan om deze te uiten. Zo hebben we in onze AI-community een hele sessie gewijd aan ethische grenzen. We delen ook voorbeelden van projecten van derden waarvan wij vinden dat ze ethisch niet verantwoord waren. Hierdoor wordt steeds meer duidelijk waar onze grens ligt en wat we niet willen.

ChatGPT:

Een grondige en gestructureerde aanpak om te zorgen dat AI-projecten ethisch verantwoord en wettelijk toelaatbaar zijn. Wat betreft de organisatiecultuur rond dit onderwerp:

Hoe ervaren medewerkers de ruimte om ethische kwesties aan de kaak te stellen binnen Info Support? Heb je voorbeelden waarbij de feedback van medewerkers heeft geleid tot significante veranderingen in een AI-project of het afwijzen ervan?

Joop:

Omdat we hier open over zijn, hoop ik dat iedereen de ruimte voelt om ethische kwesties aan de kaak te stellen. Ik weet dat een medewerker het persoonlijk als vegetariër niet prettig vond om mee te werken aan een AI-project in een slachthuis. Hier is uiteraard direct naar geluisterd en gehandeld. Ethisch gezien past het project binnen de kaders van Info Support, maar persoonlijke grenzen worden dan gerespecteerd. De medewerker is niet op het project gezet en er is vervanging geregeld.

ChatGPT:

Het is bemoedigend te horen dat persoonlijke principes eveneens gerespecteerd worden binnen het bedrijf. Dit leidt me naar een bredere blik op de toekomst:

Kijkend naar de toekomst, hoe ziet Info Support de ontwikkeling en integratie van generatieve AI in jullie diensten voor de komende 5 jaar? Zijn er bepaalde trends of technologieën waar jullie bijzonder op gebrand zijn om te volgen of te implementeren?

Na je antwoord zal ik het interview afsluiten.

Joop:

De ontwikkeling en integratie van generatieve AI zal de aankomende jaren een vlucht nemen. Veel organisaties hebben een berg zo groot als de Mount Everest aan documenten en benutten de inhoud daar niet van. Met de komst van generatieve AI ontstaat de mogelijkheid om de inhoud toegankelijk te maken voor een brede doelgroep. De trend zal zijn dat veel van deze systemen gebouwd gaan worden, maar wij zijn erop gebrand om die systemen robuust en betrouwbaar te maken. We doen onderzoek naar bijvoorbeeld de herleidbaarheid van de uitkomsten van generatieve AI en bronvermelding.

De ontwikkeling van bijvoorbeeld taalmodellen gaat rap. In een hoog tempo komen er nieuwe versies uit. Dat brengt uitdagingen met zich mee, want blijft je AI-systeem gebaseerd op generatieve AI wel werken als het fundament vervangen wordt? We kijken daarom naar geautomatiseerd testen van prompts en hoe je dit soort systemen monitort in productie.

In de aankomende 5 jaar zullen er helaas ook veel onzin-applicaties worden gebouwd, omdat het technisch mogelijk is. De technologie wordt dan leidend en niet de bedrijfsdoelstellingen. Dit zal voor een aantal organisaties een dure les worden.

ChatGPT:

Dat is zeker een belangrijk punt van aandacht. Bedankt voor dit interview!