Checklist: het selecteren van een toepasselijk uitlegmodel

De checklist

Af te vinken bij het selecteren van een toepasselijk uitlegmodel:

1. We weten wat de interpreteerbaarheid/transparantie verwachtingen en eisen zijn in onze sector of domein.
2. Bij het kiezen van ons AI-model hebben we rekening gehouden met het specifieke type toepassing en de impact van het model op ontvangers van beslissingen.
3. We hebben de kosten en baten overwogen van het vervangen van debestaande technologie die we gebruiken door een AI-systeem.
4. Waar we sociale of demografische gegevens gebruiken, hebben we overwogen om een beter interpreteerbaar model te kiezen.
5. Waar we biometrische of medische gegevens gebruiken, bijvoorbeeld in een zorgomgeving, hebben we de voordelen en risico’s van het gebruik van ondoorzichtige of minder interpreteerbare modellen afgewogen.
6. Waar we een ‘black box’-systeem gebruiken, hebben we rekening gehouden met de risico’s en mogelijke gevolgen van het gebruik ervan.
7. Waar we een ‘black box’-systeem gebruiken, hebben we ook vastgesteld dat de case waarvoor we het gaan gebruiken en onze organisatorische
8. capaciteit zowel het verantwoorde ontwerp als de implementatie van deze systemen ondersteunen.
9. Waar we een ‘black box’-systeem gebruiken, hebben we overwogen welke aanvullende interpreteerbaarheidstools geschikt zijn voor onze use case.
10. Waar we ‘challenger’-modellen gebruiken naast meer interpreteerbare modellen, hebben we vastgesteld dat we ze op wettige en verantwoorde wijze gebruiken en hebben we gerechtvaardigd waarom we ze gebruiken.
11. We hebben overwogen hoe de prestaties van het model kunnen worden gemeten en hoe deze maatregelen het beste kunnen worden gecommuniceerd aan uitvoerders en ontvangers van besluiten.
12. We hebben eventuele vooroordelen die we in het model hebben gevonden, gemitigeerd en deze mitigatieprocessen gedocumenteerd.
13. We hebben duidelijk gemaakt hoe het model is getest, inclusief welke delen van de gegevens zijn gebruikt om het model te trainen, welke zijn gebruikt om het te testen en welke de validatiegegevens hebben gevormd.
14. We hebben een overzicht van elke keer dat het model wordt bijgewerkt, hoe elke versie is gewijzigd en hoe dit de uitvoer van het model beinvloedt.
15. Het is duidelijk wie binnen onze organisatie verantwoordelijk is voor het valideren van de uitlegbaarheid van ons AI-systeem.

Info Support loopt de checklist graag met je langs. Voor gedegen advies op het gebied van AI gaan we graag met je in gesprek.