Wees helder over inzet algoritmes

Niet alleen privacy en veiligheid, maar ook rekenschap is een belangrijk onderwerp in de omgang met algoritmes. De rechtszaak rondom SyRI laat zien hoe belangrijk het is dat gemeenten transparant zijn over hoe ze een algoritme inzetten en waarom het op die manier is vormgegeven.

Rekenschap afleggen

‘Algoritmes? Die hebben wij niet.’ Het gebeurt regelmatig dat onderzoeker Maranke Wieringa dit van gemeente­ambtenaren te horen krijgt. Het grootste misverstand over algoritmes is dat het om complexe technologie gaat, waarbij kunstmatige intelligentie en machine learning komen kijken. ‘Algoritmes zijn in principe gewoon stapsgewijze computeroplossingen,’ zegt Wieringa, promovenda bij de Universiteit Utrecht. In haar promotieonderzoek onderzoekt zij ‘algorithmic accountability’ in Nederlandse gemeenten. Vrij vertaald: de manier waarop gemeenten rekenschap afleggen over hun algoritmes.

Eerlijke algoritmes

Daar is nogal wat over te doen. Als een rekenregel in Excel al kan worden bestempeld als een algoritme, dan heeft elke gemeente tientallen, zo niet honderden algoritmes. En het is lang niet altijd duidelijk voor burgers hoe die worden ingezet. In een paper waarmee Wieringa onlangs een Best Student Paper Award won op een conferentie over eerlijke algoritmes in Barcelona, zet ze uiteen hoe gemeenten er zich rekenschap van kunnen geven. ‘Het belangrijkste is dat het niet op één moment gebeurt, maar door het proces heen.’

Niet controleerbaar

Dat het verstrekkende gevolgen kan hebben om er géén rekenschap over af te leggen, blijkt uit de rechtszaak over SyRI (Systeem Risico Indicatie). Het frauderisico indicatiesysteem van het ministerie van Sociale Zaken en Werkgelegenheid verbindt data uit verschillende systemen. Daarmee vormt het een te grote inbreuk op de privacy, stelden de eisers, voor de gelegenheid verenigd in de zogeheten privacy-coalitie. De rechter gaf ze gelijk. Volgens Wieringa (geen familie van schrijver Tommy Wieringa, één van de eisers in deze zaak) ging de rechtszaak niet alleen over privacy versus veiligheid, maar minstens zozeer over rekenschap.

Privacy-coalitie

Toch leidt de stopzetting van SyRI er niet direct toe dat overheden transparanter te werk gaan. Zo blijft de gemeente Amsterdam vaag over de werking van een nieuw in te zetten algoritme dat woonfraude moet opsporen. Moet openheid niet gewoon een eis worden? Wieringa: ‘De uitspraak van de rechter over SyRI wijst wel in die richting. Het zet aan tot meer transparantie, maar ook tot een publiek debat over de vraag of we dit soort systemen überhaupt wel willen. De privacy-coalitie benadrukt dat SyRI een voorbeeld is van een steeds meer datagedreven publieke overheid, waarin je met een beetje pech bij voorbaat verdacht bent. Er zit een bepaalde blik op de burger in, die we inbouwen in systemen.’

Consequenties

Het is niet genoeg om te weten hoe het algoritme op een ‘njet’ komt. Het moet ook mogelijk zijn om consequenties te verbinden aan een systeem dat burgers onnodig benadeelt. Je ergens rekenschap van geven is dus geen tandeloos monster. Het vereist een bepaalde mate van transparantie en de aanwezigheid van een ‘forum’ zoals Wieringa dat noemt, dat vragen kan stellen over het handelen van de gemeente en er zo nodig consequenties aan kan verbinden.

Lock-in

Een probleem is dat gemeenten soms geen rekenschap kunnen afleggen omdat afspraken met de leveranciers van de systemen dat verhinderen. Om deze ‘lock-in’ te ondervangen, zijn er aanpassingen ophanden aan de Gemeentelijke Inkoopvoorwaarden bij IT (GIBIT). Het zijn maatregelen die ervoor moeten zorgen dat het meer gangbaar wordt voor gemeenten om rekenschap af te leggen over het gebruik van algoritmes. Binnenkort is er geen ambtenaar meer die denkt dat algoritmes een ver-van-zijn-bed-show zijn.

Dit artikel is een ingekorte versie van het artikel in Binnenlands Bestuur nummer 7. Tijdelijk is de meest recente editie van het blad voor iedereen hier gratis te lezen. 

---

Toolkit Rekenschap voor gemeenten

In samenwerking met ambtenaren ontwikkelt Maranke Wieringa een toolkit die het makkelijker moet maken voor gemeenten om zich rekenschap te geven van het gebruik van algoritmen en de afwegingen daaromheen te documenteren. Wieringa is op zoek naar gemeenten die willen meewerken aan de ontwikkeling van de toolkit, in de vorm van een interview, deelname aan een prototypesessie of door haar te laten meekijken met een systeem. Meer informatie: dataschool.nl/samenwerken/bias/