Nog maar even en het is weer tijd om 2023 evalueren en KPI’s op te stellen voor komend jaar. De kans is groot dat jouw organisatie dit jaar een bijzondere nieuwe medewerker erbij heeft mogen verwelkomen: AI. Nou is het bij menselijke collega’s al lastig om de juiste beoordelingscriteria te formuleren, maar welke KPI’s kun je gebruiken om de prestaties van machine learning-modellen te evalueren? Dat is natuurlijk vooral afhankelijk van het soort werk dat ze doen (het zijn soms net mensen). In dit artikel vind je de vijf meest voor de hand liggende KPI’s om de prestaties van jouw AI-model op te beoordelen.
Vijf KPI’s om AI te beoordelen in het volgende functioneringsgesprek
Financieel rendement
Een voor de hand liggende (maar daardoor niet minder belangrijke) manier om de impact van AI te meten, is kijken naar het financiële rendement. Je berekent de return on investment (ROI) van AI door de kosten voor de ontwikkeling, aanschaf en implementatie van AI-systemen af te zetten tegen de opbrengsten die ze genereren. Ook kun je de omzetgroei vergelijken vóór en na de introductie van AI. Als de omzet is gestegen na de implementatie van AI, dan is dat natuurlijk een indicatie van de financiële meerwaarde – maar check wel altijd voor de zekerheid of er geen andere factoren zijn die significant hebben bijgedragen aan deze hogere omzet.
Efficiëntie
Een andere belangrijke bedrijfsdoelstelling voor de inzet van AI is het vergroten van de efficiëntie; dat je organisatie méér kan doen met minder. Bij de beoordeling van AI kun je bijhouden hoeveel tijd en geld er is bespaard op taken en processen sinds de inzet van AI; denk aan planning, rapportages, administratie, en ga zo maar door. Een stijging van productiviteit van teams is ook een indicatie dat AI een positieve bijdrage heeft geleverd aan de efficiëntie van de organisatie.
Prestaties
Essentieel bij de implementatie van AI is het evalueren van de output van het systeem zelf. Als AI voorspellingen doet, is het belangrijk om consistent te monitoren hoe nauwkeurig deze zijn en of ze binnen een vooraf bepaalde acceptabele marge vallen. Ook kun je kijken naar het percentage succesvolle beslissingen, als een AI de bevoegdheid heeft om autonoom beslissingen te nemen. KPI’s als nauwkeurigheid en succespercentage bieden inzicht in de daadwerkelijke capaciteiten van het AI-systeem. Daardoor kun je AI verder finetunen aan de hand van de prestatieresultaten.
Klantimpact
Maak je gebruik van een AI-model dat rechtstreeks met klanten communiceert? Dan is de impact op klanttevredenheid een belangrijke KPI. Door klanten consistent te vragen naar hun tevredenheid met een AI-toepassing, zoals een chatbot, en dit te vergelijken met eerdere ervaringen, kun je meten of de AI de klantervaring verbetert. Ook is het meten van klantimpact een manier om de AI-oplossing continu te optimaliseren.
Vergeet de risico’s niet
Iets wat je over het hoofd zou kunnen zien in het functioneringsgesprek met AI, is de mogelijkheid van veiligheidsincidenten. Het is van belang om bij het implementeren van AI, potentiële risico’s goed te monitoren. Vooral bij AI-toepassingen in risicovolle domeinen zoals gezondheidszorg en transport is het cruciaal om veiligheidsincidenten en fouten nauwkeurig bij te houden.
Definieer daarom in een vroeg stadium belangrijke risico-KPI’s en monitor deze consistent, om de daadwerkelijke business value van AI te meten – en AI op een juiste een eerlijke manier te kunnen beoordelen.
Dit artikel is gebaseerd op een aflevering van AIToday Live van donderdag 17 augustus 2023, waarin Joop Snijder deze tips behandelt. Meer weten?