Wees helder over inzet algoritmes

Gevolgen SyRi-uitspraak voor gemeenten

‘Algoritmes? Die hebben wij niet.’ Het gebeurt regelmatig dat onderzoeker Maranke Wieringa dit van gemeenteambtenaren te horen krijgt. Het grootste misverstand over algoritmes is dat het om complexe technologie gaat, waarbij kunstmatige intelligentie en machine learning komen kijken. ‘Algoritmes zijn in principe gewoon stapsgewijze computeroplossingen,’ zegt Wieringa, promovenda bij de Universiteit Utrecht. In haar promotieonderzoek onderzoekt zij ‘algorithmic accountability’ in Nederlandse gemeenten. Vrij vertaald: de manier waarop gemeenten rekenschap afleggen over hun algoritmes.

Daar is nogal wat over te doen. Als een rekenregel in Excel al kan worden bestempeld als een algoritme, dan heeft elke gemeente tientallen, zo niet honderden algoritmes. En het is lang niet altijd duidelijk voor burgers hoe die worden ingezet. In een paper waarmee Wieringa onlangs een Best Student Paper Award won op een conferentie over eerlijke algoritmes in Barcelona, zet ze uiteen hoe gemeenten er zich rekenschap van kunnen geven. ‘Het belangrijkste is dat het niet op één moment gebeurt, maar door het proces heen. Vooraf kun je je afvragen: waarom doen we dit? Wie gaat wat doen, wanneer, waarom en op wie heeft dit effect?

Terwijl je het systeem ontwerpt, moet je je afvragen hoe je het gaat borgen. Hoe zorg je bijvoorbeeld dat het eerlijk blijft en niet discrimineert? Als het eenmaal draait, moet je regelmatig blijven checken of het systeem doet wat het moet doen en of het nog klopt met de realiteit. Te vaak worden in systemen bepaalde waarden, normen en veronderstellingen verwerkt die na een aantal jaar niet meer in de pas lopen met wat er in de maatschappij aan de hand is.’

Niet controleerbaar
Dat het verstrekkende gevolgen kan hebben om er géén rekenschap over af te leggen, blijkt uit de rechtszaak over SyRI (Systeem Risico Indicatie). Het frauderisico indicatiesysteem van het ministerie van Sociale Zaken en Werkgelegenheid verbindt data uit verschillende systemen. Daarmee vormt het een te grote inbreuk op de privacy, stelden de eisers, voor de gelegenheid verenigd in de zogeheten privacy-coalitie. De rechter gaf ze gelijk. Volgens Wieringa (geen familie van schrijver Tommy Wieringa, één van de eisers in deze zaak) ging de rechtszaak niet alleen over privacy versus veiligheid, maar minstens zozeer over rekenschap.

‘Fraudeopsporing is volgens de overheid zó zwaarwegend, dat het andere publieke waarden terzijde schuift. Uit de uitspraak van de rechter blijkt echter het belang van rekenschap: het systeem is zo niet-transparant, dat het niet controleerbaar is. Dat maakt deels dat het disproportioneel is ten opzichte van de inbreuk die SyRI doet op de privacy.’ Met andere woorden: misschien was de rechter tot een andere conclusie gekomen als de overheid zich er meer rekenschap van had gegeven.

Toch leidt de stopzetting van SyRI er niet direct toe dat overheden transparanter te werk gaan. Zo blijft de gemeente Amsterdam vaag over de werking van een nieuw in te zetten algoritme dat woonfraude moet opsporen. Moet openheid niet gewoon een eis worden? Wieringa: ‘De uitspraak van de rechter over SyRI wijst wel in die richting. Het zet aan tot meer transparantie, maar ook tot een publiek debat over de vraag of we dit soort systemen überhaupt wel willen. De privacy-coalitie benadrukt dat SyRI een voorbeeld is van een steeds meer datagedreven publieke overheid, waarin je met een beetje pech bij voorbaat verdacht bent. Er zit een bepaalde blik op de burger in, die we inbouwen in systemen.’

Net zoals gemeentebeleid moet worden vertaald in uitvoering, zo voert een algoritme als het goed is uit wat een gemeente voor ogen staat. Daarom is Wieringa vooral geïnteresseerd in de vraag waarom een algoritme op een bepaalde manier wordt ingezet. ‘Er bestaat een gemeentelijk systeem dat checkt of mensen een betalingsregeling nakomen. Wordt er één cent meer of minder overgemaakt, dan wordt de betalingsregeling automatisch stopgezet. Dat is een één-op-één implementatie van het voorschrift dat je moet checken of mensen het naleven. Maar het is niet de enige manier waarop je dat voorschrift handen en voeten kunt geven. Je kunt ook een systeem bedenken waarbij er bij een verkeerd ingevoerd bedrag een mail wordt verstuurd: we denken dat je een foutje hebt gemaakt, zorg dat het binnen deze termijn is aangepast.’

Consequenties
Het is niet genoeg om te weten hoe het algoritme op een ‘njet’ komt. Het moet ook mogelijk zijn om consequenties te verbinden aan een systeem dat burgers onnodig benadeelt. Je ergens rekenschap van geven is dus geen tandeloos monster. Het vereist een bepaalde mate van transparantie en de aanwezigheid van een ‘forum’ zoals Wieringa dat noemt, dat vragen kan stellen over het handelen van de gemeente en er zo nodig consequenties aan kan verbinden. Een forum kan een ethische commissie zijn of een technische auditor, maar ook de gemeenteraad, de Autoriteit Persoonsgegevens of, in het geval van SyRI, de Raad van State en de rechter. Praktisch zou rekenschap kunnen inhouden dat een gemeente op de website uitlegt hoe het algoritme werkt en waarom het op deze manier is vormgegeven.

Een probleem is dat gemeenten soms geen rekenschap kunnen afleggen omdat afspraken met de leveranciers van de systemen dat verhinderen. Om deze ‘lock-in’ te ondervangen, zijn er aanpassingen ophanden aan de Gemeentelijke Inkoopvoorwaarden bij IT (GIBIT). De VNG stelde een modelovereenkomst slimme toepassingen op, een standaardbepaling die voor meer transparantie moet zorgen wanneer gemeenten met leveranciers van slimme toepassingen in zee gaan.

Slimme steden Amsterdam en Eindhoven ontwikkelden in samenwerking met de VNG de Principes voor de Digitale Samenleving, die leveranciers ook richtlijnen geven over het soort businessmodellen waarmee ze bij gemeenten kunnen aankloppen. Daarnaast is de VNG bezig om algoritmes geschikt te maken voor hergebruik in andere gemeenten. Het zijn maatregelen die ervoor moeten zorgen dat het meer gangbaar wordt voor gemeenten om rekenschap af te leggen over het gebruik van algoritmes. Binnenkort is er geen ambtenaar meer die denkt dat algoritmes een ver-van-zijn-bed-show zijn.

Toolkit rekenschap voor gemeenten
In samenwerking met ambtenaren ontwikkelt Maranke Wieringa een toolkit die het makkelijker moet maken voor gemeenten om zich rekenschap te geven van het gebruik van algoritmen en de afwegingen daaromheen te documenteren. Wieringa is op zoek naar gemeenten die willen meewerken aan de ontwikkeling van de toolkit, in de vorm van een interview, deelname aan een prototypesessie of door haar te laten meekijken met een systeem. Meer informatie: dataschool.nl/samenwerken/bias/.