Hoogste tijd voor onderzoek institutioneel racisme gemeenten

De Toeslagenaffaire stond woensdag 5 oktober voor het eerst op de Europese agenda. Tot ongenoegen van partijen die het een Nederlandse aangelegenheid vinden en niet zitten te wachten op het oordeel van Europese instanties. Toch is het onderwerp te belangrijk om te laten liggen en hebben we de politieke weerstand overwonnen. De aanhouder wint.

Zoals verwacht waren de reacties na het debat niet van de lucht. Ongeloof over dat we het over een Nederlandse affaire hebben en niet over een Chinese aangelegenheid voerden de boventoon. Maar ondanks al het ongeloof en de woede is de agendering slechts een kleine stap. Sterker nog, er moet een tandje bij. Daarom pleit ik voor een nationaal onderzoek naar institutioneel racisme op gemeenteniveau.   

Uit eerdere ervaringen blijkt hoe minder toezicht en checks and balances bij het inrichten van zelflerende software, hoe groter de kans op misstappen die leiden tot discriminatie, racisme en onterechte verdenkingen. Het gebruik van algoritmes bij risicoprofilering moet van hoog tot laag op de agenda. Van de Europese Unie en toezichthouders tot de lokale politiek en gemeentelijke instellingen. Een mensenrechtentoets voor algoritmes zoals Amnesty International adviseert zal daarvan een logische uitkomst kunnen zijn.

Niemand beweert dat software ontwikkelaars, data analisten, ICT medewerkers en ambtenaren bewust keuzes maken die onherroepelijk leiden tot discriminatie. Nee, mijn stelling is dat door onvoldoende inzicht in de werking van ondersteunende software en de werking van algoritmes en kunstmatige intelligentie fouten onvermijdelijk zijn. En de gevolgen van de foute inrichting van de software kan leiden tot ongewenste beschuldigingen en schandalen zoals de toeslagenaffaire op gemeenteniveau.

Om in kaart te brengen hoe het ervoor staat in gemeenteland is het van belang grondig te onderzoeken op welke plaatsen gebruik wordt gemaakt van algoritmes en op welke wijze het voorkomen van discriminerende profilering is geborgd in de organisatie. Mijn stelling is dat in tenminste de helft van de gevallen er geen goede toezichthouder is voor het gebruik van algoritmes en dat het wel of niet goed gaan op toeval berust. Daarom zal elke gemeente het toezicht moeten professionaliseren en is het niet ondenkbaar dat er een nationale of internationale toezichthouder moet komen voor het gebruik van algoritmes door overheden en instanties.

De gevolgen van de Toeslagenaffaire zijn groot en hebben in veel gevallen geleid tot onherstelbare emotionele en financiële schade. Gemeenten moeten koste wat het kost voorkomen dat de drama’s waar de Toeslagenouders nog steeds inzitten, zich herhalen. Daarom heb ik in het Europees Parlement gepleit voor een moratorium op het gebruik van algoritmes bij risicoprofilering. Ook gemeenten zouden dit ter harte moeten nemen en enkel gebruik moeten maken van algoritmes en artificial intelligence in het geval van excellente en professioneel toezicht.

Belangrijk daarbij is transparantie over de gebruikte parameters en criteria bij de inrichting van de software. Zo lang dat niet goed is geborgd is de enige manier om ongelukken te voorkomen, het verbieden van het gebruik van algoritmes. Het is vijf voor twaalf, want we weten uit ervaring dat zelflerende systemen nooit meer hun kwalijke praktijken afleren als ze in het begin de verkeerde kant zijn opgestuurd. De fuik wordt immers alleen maar nauwer en de mogelijkheid voor slachtoffers om te ontsnappen steeds kleiner.

Samira Rafaela, Europarlementariër D66