Rotterdam heeft meer oog voor risico's algoritmes

Drie jaar nadat de Rekenkamer Rotterdam waarschuwde voor de risico’s van het gebruik van algoritmes door de gemeente, onderzocht de rekenkamer op verzoek van de gemeenteraad hoe het er nu voor staat in Rotterdam. Het eerste rapport bleek niet aan dovemansoren gericht.

Knelpunten

Wel zijn er nog altijd knelpunten, zo blijkt uit het onderzoek Kleur Bekennen. Zo is op veel punten vaag welke principes er gelden voor het gebruik van algoritmes. Daar zou de politiek over moeten beslissen, stelt de rekenkamer.  

Het rapport Gekleurde Technologie uit 2021 beschreef hoe Rotterdam te weinig aandacht had voor de ethische risico’s van het gebruik van algoritmes. De gemeente gebruikte bijvoorbeeld een algoritme om te kiezen welke mensen met een uitkering in aanmerking kwamen voor een heronderzoek. De rekenkamer concludeerde dat het algoritme mogelijk tot vooringenomen uitkomsten leidde.

Meer aandacht voor risico's

Nu concludeert de rekenkamer dat de gemeente serieus aan de slag is gegaan met de aanbevelingen uit het rapport. Er is meer aandacht gekomen voor de risico’s, er zijn instrumenten ontwikkeld en afspraken gemaakt. Bij de inzet van nieuwe algoritmes moeten ambtenaren inschatten wat de risico’s zijn. Bij elk algoritme moet duidelijk zijn wat het doel is en of de risico’s daar tegenop wegen.

Politiek aan zet

Maar de rekenkamer schrijft ook dat het algoritmegovernance op veel punten nog te vaag is. Het is niet duidelijk welke waarden, normen en principes moeten worden afgewogen bij het ontwerp en gebruik van algoritmes. Volgens de rekenkamer leidt dit ertoe dat gevoelige besluiten op het bordje van de ambtenaren terechtkomen, waar ze niet thuishoren: het is aan de politiek om de ethische kaders te bepalen. ‘Niet de computer, maar de Rotterdamse politiek is aan zet,’ schrijft rekenkamerdirecteur Marjolein van Asselt in haar voorwoord.

Betere communicatie

Na het vorige onderzoek heeft de gemeente een algoritmeregister opgezet. Dit is nog niet volledig gevuld. Soms weten medewerkers niet eens dat ze met een algoritme werken, waardoor ze ook geen risico-inschatting maken. Volgens de rekenkamer moet er daarom beter gecommuniceerd worden over algoritmes. Ook de publieksinformatie over algoritmes moet beter. De informatie in het Rotterdamse algoritmeregister is te technisch en niet duidelijk genoeg.

De gemeenteraad buigt zich op 23 mei over het rekenkameronderzoek.