Restaurant met open keuken

Bij audits wordt wel het adagium gehanteerd: ‘tell me, show me, proof me’ . We kunnen het erover hebben, maar dan blijft het abstract en op afstand. We kunnen het laten zien, dan komt het dichter bij en begint het te leven. Maar bewijs het, maak de vertaling naar de praktijk en dan pas zien we wat echt werkt en wat niet. En dat hebben we ook ervaren toen we bij het Nationaal Archief aan de slag gingen met machine learning.

Tell me, show me

Wij zagen de mogelijkheden die zelflerende systemen kunnen hebben voor een betere informatiehuishouding.  Maar hoe en waar begin je? Onze belangrijkste vraag was of het mogelijk is om zelflerende algoritmen in te zetten voor het waarderen, selecteren en toegankelijk maken van ongestructureerde informatie binnen overheidsprocessen? Is de technologie al volwassen genoeg om ingezet te worden in een werkproces? En wat is nodig om vertrouwen te krijgen in de beslissingen die deze systemen voor ons maken?

Op basis van vooronderzoek hebben we eerst onze vraag behapbaar gemaakt. Zo legden we de focus op het ontwikkelen van een zelflerend classificatiemodel dat binnenkomende e-mailberichten kan identificeren en toewijzen aan een bepaalde klasse.  In onze opzet ging het om de klasse ruis (‘mag weg’) of de klasse functioneel (‘moet blijven’). Vervolgens hebben we verschillende technologieën verkend en  in een labomgeving een prototype ontwikkeld.

Proof me

Daarna hebben we het prototype geïnstalleerd in de testomgeving van het Nationaal Archief en heeft een groep collega’s enkele maanden het zelflerend classificatiesysteem getraind. Medewerkers controleerden de classificatiebeslissingen. Ze konden aangeven of deze juist of onjuist waren. Deze input werd gebruikt om het systeem verder te trainen.

En onze belangrijkste lessen hebben we geleerd tijdens deze laatste fase, toen we er echt mee gingen werken. Bijvoorbeeld dat vertrouwen in het systeem anders bleek te werken dan we in eerste instantie dachten. De proefpersonen vonden het belangrijk om controle, of het gevoel van controle, te hebben over het systeem. Belangrijker zelfs dan inzicht in het feitelijk functioneren van de algoritmen.

Het is misschien een beetje als bij een restaurant met open keuken. Ik krijg dan direct vertrouwen in de versheid van producten en het niveau van hygiëne. Met het idee dat als iedereen kan meekijken, dan zullen ze er wel geen zooitje van maken. Niet dat ik dan de hele tijd volg wat er in de keuken gebeurt, of dat ik wil weten hoe de chef het eten precies bereidt…Maar het idee dat ik het kan volgen maakt dat ik het vertrouw. En zo was dat ook voor de deelnemers aan dit experiment.

In navolging daarvan hebben we een vrij uitgebreid evaluatierapport rapport gemaakt, waarin we laten zien wat we hebben gedaan en geleerd. Het is als het ware onze open keuken, waarin wij kokkerellen met kunstmatige intelligentie. Iedereen is van harte uitgenodigd om mee te kijken, en mee te leren. Lees smakelijk! En laat ons vooral weten wat u ervan vond.

Diana Teunissen

Lees hier meer columns van Diana Teunissen