De zoektocht naar transparante data

Met openbare algoritmeregisters probeert de overheid inzicht te geven in de wijze waarop data het beleid sturen. Dat de buitenwereld opeens kan meekijken, leidt tot interne bewustwording. Maar ook tot de angst om iets verkeerd te doen.

Daar stonden ze, minister Franc Weerwind van Rechtsbescherming, staatssecretaris Alexandra van Huffelen van Digitalisering en Aleid Wolfsen, voorzitter van de Autoriteit Persoonsgegevens (AP), bij de aftrap op 16 januari van de nieuwe rol van de AP als algoritmetoezichthouder. Gezamenlijk hielden ze het woord ‘algoritmes’ omhoog, uitgevoerd in groene plastic letters. Het deed denken aan de introductie van de blauwe mascotte waarmee de overheid ondernemers voorbereidde op de naderende Brexit. Hebben de groene letters het in zich om uit te groeien tot een soortgelijk icoon?

Waarschijnlijk niet. Maar net als bij het blauwe Brexitmonster staan de groene letters symbool voor iets groters: voor de nieuwe manier waarop de overheid wil omgaan met algoritmes. Niet voor niets werden de plastic ‘algoritmes’ gezamenlijk gedragen en getoond aan de buitenwereld.

Mede door het Toeslagenschandaal en het debacle met SyRI (Systeem Risico Indicatie voor het opsporen van sociale zekerheidsfraude dat door de rechter werd verboden) groeide de laatste jaren het besef dat de overheid zich niet kan blijven verschuilen achter ‘computer says no’. Een burger heeft het recht om te weten hoe een besluit tot stand komt, ook als dat besluit wordt onderbouwd door een berekening van een computer. Met dat besef groeide ook het praktisch ongemak, want hoe bied je als overheid op een toegankelijke manier inzicht in de werking van de black box die data opvreet en resultaten uitspuugt, als het overzicht op alle systemen ook bij de overheid zelf grotendeels ontbreekt?

Governance

Steeds meer overheidsorganisaties zijn bezig met het opzetten van een governance of bestuursstructuur rondom algoritmes. Die omvat (varianten op) een toetsingsproces, toezicht door experts, een externe algoritme-adviesraad, een bewustwordingsprogramma en een algoritmeregister. Bij het UWV is een recent opgesteld Kompas Data Ethiek de leidraad voor de omgang met data. Het kompas bestaat uit twaalf ethische uitgangspunten. Eén daarvan is transparantie en leidt concreet onder meer tot het vullen van een algoritmeregister.

Het algoritmeregister is dus maar één van de vele manieren waarop overheidsorganisaties werken aan een goede omgang met data, maar wel het meest zichtbare voor de buitenwereld, en daarmee ook het meest bevattelijk voor kritiek. Een snelle blik op een algoritmeregister van een overheidsinstantie kan leiden tot een teleurgesteld ‘is dit het nu?’ Zo staan in het algoritmeregister van het UWV welgeteld drie algoritmes beschreven. Het landelijke algoritmeregister telt nu 115 algoritmes, negen meer dan bij de lancering op 22 december 2022. Maar we staan dan ook nog helemaal aan het begin van een lang proces, zeggen alle betrokkenen. Aan de buitenkant is er niet altijd veel van te zien, maar intern begint het streven naar meer transparantie zijn vruchten af te werpen.

Een algoritmeregister opzetten is veel uitzoekwerk, dat begint met de vraag: wanneer is iets een algoritme? Volgens de Algemene Rekenkamer is een algoritme een set van regels en instructies die een computer uitvoert. ‘Algoritmes helpen bijvoorbeeld om problemen te analyseren maar ook om beslissingen te nemen. Zo kan de overheid grote hoeveelheden gegevens (data) combineren en analyseren’ is te lezen onder de veelgestelde vragen over het landelijke algoritmeregister. Als je die definitie heel letterlijk neemt, kun je ook de spellingscheck opvoeren in een algoritmeregister, of Microsoft Excel. Dat is uiteraard niet zinvol, maar het transparant maken van rekenmodellen die in Excel worden gemaakt en die impact hebben op inwoners is dat dan weer wel. Het uitzoekwerk zit voor een groot deel in het bepalen welk algoritme wel en welke niet in aanmerking komt voor het register.

Op gang

Een algoritme kan zo klein zijn als een rekenregel en zo complex als een neuraal netwerk. Het inventariseren van alle algoritmes binnen de organisatie kost veel tijd. Dat geldt zeker voor een gemeente met 18.000 medewerkers, 60 organisatieonderdelen en tal van afdelingen, zoals Amsterdam. In 2019 was Amsterdam samen met Helsinki de eerste gemeente die een algoritmeregister begon. Na een voortvarende start bleef het een tijdlang stil door organisatorische uitdagingen, maar inmiddels is de machine op gang, zegt Dick de Maa, directeur Digitale Strategie en Informatie. De gemeente ontwikkelde een tool waarmee medewerkers van alle afdelingen kunnen bepalen of ze te maken hebben met een algoritme en de impact ervan kunnen inschatten. De Maa: ‘We voeren een brede definitie van een algoritme. Dat leidt ertoe dat mensen soms denken: als dat ook meetelt, dan weet ik er nog wel een paar. In het begin wordt het altijd rommeliger als je gaat opruimen, net als thuis. Pas na een tijdje begint er meer orde te ontstaan.’

Ook in Rotterdam bleek een eerste inventarisatieslag lang niet alle algoritmes boven water te krijgen. ‘Mensen zijn zich niet altijd bewust dat ze met algoritmes en algoritmetoepassingen aan het werk zijn. Dat maakt het ingewikkeld om ze op te sporen,’ zegt Maranke Wieringa.

Als algoritme-expert voorziet hen de organisatie van ondersteuning en advies bij algoritmetoepassingen en het verantwoord gebruik ervan.

‘Na tientallen jaren aan automatiering hebben we echt niet alle beslisbomen in onze gemeentelijke systemen helder,’ zegt Bernie Goedhart, ambtelijke secretaris van de Algorithm Advisory Board in Rotterdam. ‘We hebben meer dan duizend computersystemen. Veel daarvan zijn gewoon registratiesystemen, maar die moet je wel allemaal langslopen om te beoordelen.’

Angst

Dat leidt soms tot angst bij collega’s, die vrezen onverhoopt iets verkeerd te doen. ‘Het is een kijkje in de keuken van medewerkers die jarenlang hun werk naar eer en geweten doen en van wie het werk opeens in een register komt te staan,’ zegt Goedhart. De systemen zijn soms al jarenlang in gebruik en de kennis en kunde van het moment van ingebruikname is niet altijd meegegroeid in de organisatie. Daardoor overzien medewerkers niet de gehele keten. Tegelijkertijd leidt die angst tot veel welwillendheid in de organisatie om stappen te zetten op het gebied van dataethiek, zien ze in Rotterdam. In de gedachte dat een algoritmeregister het gebruik van algoritmes door de overheid zou normaliseren, zoals sommige critici beweren, kunnen de geïnterviewden zich daarom niet vinden. Ze zien eerder het tegenovergestelde gebeuren.

De Maa: ‘Het mysterieuze gaat er juist van af. Met een algoritmeregister word je blootgesteld aan een kritisch publiek. Daardoor wordt de inzet van algoritmes niet vanzelfsprekend, of in ieder geval niet iets wat op de automatische piloot gebeurt.’ De zoektocht leidt intern tot vragen, tot gesprekken en tot discussies. En juist dat is wat een overheid die gebruikmaakt van algoritmes nodig heeft, zeggen de betrokkenen eensgezind.

Ook bij het UWV zien ze de bewustwording bij medewerkers toenemen. Vooral het beschrijven van een algoritme in begrijpelijke taal, en uitleggen hoe het onderdeel uitmaakt van een besluitvormingsproces, draagt daaraan bij, zegt Eveline Jacobson, projectmanager data- ethiek en algoritmeregister. Het algoritmeregister van UWV is geïnspireerd op dat van Amsterdam. Het bevat de velden die naar alle waarschijnlijkheid ook deel zullen uitmaken van de metadatastandaard, die door het ministerie van Binnenlandse Zaken wordt ontwikkeld om in de toekomst meer eenheid aan te brengen in al die registers. ‘Ik weet nog dat ik destijds aan Amsterdam vroeg waarom ze er pas vier algoritmes in hadden staan,’ zegt Jacobson.

‘Hoe moeilijk kan het zijn, dacht ik nog. Dat had ik duidelijk niet moeten denken. Het is de kunst om met de juiste mensen aan tafel in begrijpelijke taal het proces te beschrijven waar dat algoritme onderdeel van uitmaakt.’

Waardevol

Het begrijpelijk leren uitleggen van de inzet en de werking van een algoritme is voor de medewerkers zelf minstens zo waardevol als de transparantie naar buiten toe, vindt De Maa. ‘Mensen denken even goed na voordat ze iets in een algoritmeregister zetten. Mogelijk heeft het ook effect op hoe er wordt ingekocht.’ Het UWV liet de eerste beschrijvingen van algoritmes testen door een klantpanel van zevenhonderd Wajong- en WW-gerechtigden. De beschrijving die het hoogst scoorde geldt nu als voorbeeld voor de rest van de te publiceren algoritmes. De test was een realiteitscheck voor Jacobson. ‘Wij gingen uit van een bepaalde basisbewustzijn, maar het bleek dat 60 procent van onze respondenten niet bekend was met het feit dat UWV werkt met algoritmes. Daar hebben we onze teksten meteen op aangepast.’

Ook dat is een terugkerend punt van kritiek: algoritmeregisters beschrijven in Jip-en-Janneke-taal waarom het algoritme niet discrimineert, maar bieden inwoners weinig mogelijkheden om die bewering te controleren. Daarvoor zouden inwoners die daartoe in staat zijn het algoritme eerst uitgebreid moeten testen. Maar er zijn grenzen aan de nieuwe transparantie: de overheid is niet van plan om het fraudeurs of commerciële partijen te makkelijk te maken door de broncode van alle algoritmes in het register online te zetten. Van geval tot geval wordt bekeken wat van het algoritme openbaar kan wordt gemaakt.

‘Transparantie is ook per algoritme goed uitleggen waarom je iets niet deelt,’ zegt Jacobson. ‘Van onze risicoscan kunnen we niet vermelden welke gedragskenmerk dit algoritme precies gebruikt en dat leggen we ook uit. Aan de toekomstige toezichthouder moeten we de kenmerken van het algoritme wellicht wel prijsgeven. Zo bereik je als samenleving ook meer transparantie.’

En-en

Transparantie kent vele vormen. ‘Doordat je weet dat een gemeente bepaalde algoritmetoepassingen gebruikt, kun je een gericht Woo-verzoek doen naar bijvoorbeeld de broncode,’ zegt Goedhart. ‘Dat het niet in het register staat, wil niet zeggen dat je er helemaal nooit bij kunt komen.’ De suggestie van weer een andere criticus, dat een inwoner meer heeft aan een op maat gesneden toelichting van hoe een algoritme een rol heeft gespeeld bij een, is niet aan dovenmansoren gericht. ‘Het is en-en,’ zegt Jacobson. ‘Dat zou de ultieme combinatie zijn.’

De groene plastic letters mogen dan niet het krachtigste symbool zijn in de geschiedenis van de communicatie, het algoritmeregister zelf heeft wel een sterke symbolische functie. Het is het symbool van een overheid die zelf ook geschrokken is van wat blindvaren op een computersysteem teweeg kan brengen, en die een poging doet om alle medewerkers ervan te doordringen waarmee ze werken. Als de buitenwereld daar ook nog wat mee opschiet, is het zo bekeken alleen maar mooi meegenomen.