'Hoe weet ik of mijn algoritme impactvol is?'

Het landelijke algoritmeregister bevat nu 179 algoritmes. Daaronder bevinden zich bijdragen van 14 gemeenten, 2 provincies en 2 waterschappen, plus een aantal departementen en andere overheidsorganisaties. Dat kan beter, vinden ze ook bij het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK). Het evenement Expeditie Algoritmes op maandag 9 oktober staat helemaal in het teken van het enthousiasmeren van ambtenaren.

'Bezoek Implementation Island'

De expeditie is opgebouwd in vier onderdelen: oriëntatie, implementatie (‘Bezoek Implementation Island’), publicatie op locatie en trails van de toekomst. ‘Reisleider’ is Elja Daae, Coördinator AI en algoritmen bij BZK. Ze begint met een excuus aan alle deelnemers die noodgedwongen achterin de zaal van de Observant in Amersfoort staan. Aan belangstelling geen gebrek: de expeditie is flink overboekt.  

Meer samen optrekken

Johnas van Lammeren, wethouder in Amersfoort, vertelt dat er in zijn gemeenteraad diverse moties zijn geweest over het gebruik van algoritmes. Daarom ontwikkelde Amersfoort met de Universiteit Utrecht een ethisch afwegingskader. De wethouder vraagt zich wel af of iedere gemeente afzonderlijk de ict-leveranciers moet bevragen over de algoritmes die ze gebruiken. Hij roept de landelijke overheid op om hierin een rol te spelen.

Alexandra van Huffelen, demissionair staatssecretaris digitalisering, laat weten dat BZK hier inderdaad mee bezig is. Het samen optrekken beperkt zich wat haar betreft niet tot het uitzoeken van algoritmes; ook in het kiezen en aanschaffen van systemen zou veel meer overleg en samenwerking moeten zijn.

Toeslagenschandaal: vooringenomen besluitvorming

Om het belang van verantwoord algoritmegebruik te benadrukken, refereert Van Huffelen aan het Toeslagenschandaal, waarin algoritmes de besluitvorming vooringenomen (biased) beïnvloeden. Het risicomodel concentreerde zich op mensen uit bepaalde delen van steden, met een bepaalde gezinssamenstelling, waardoor een alleenstaande moeder uit Rotterdam-Zuid wel in het vizier van de overheid kwam, en een getrouwde vader uit Blaricum niet. ‘De uitkomsten van een algoritme zijn niet waardenvrij,’ waarschuwt Van Huffelen. ‘En menselijke beoordeling achteraf blijkt vaak niet te werken.’

Implementatiekader op komst

Ze komt het publiek ‘een trap onder de kont geven’ om toch vooral dat algoritmeregister in te vullen en volledigheid te betrachten. In aansluiting op de komende EU-regelgeving wordt de registratie van hoog-risicoalgoritmes, besluitvorming met hoge impact op inwoners, verplicht. Vooruitlopend op de AI Act en het verdrag van de Raad van Europa is de Autoriteit Persoonsgegevens benoemd tot toezichthouder van algoritmes. Haar ministerie werkt ondertussen aan een landelijke implementatiekader voor algoritmes, dat overheden helpt met besluiten: wil ik voor dit probleem een algoritme inzetten?

Oriëntatie: best practices

Eerst maar eens horen hoe andere gemeenten het aanpakken. Eindhoven is een beginner, Amsterdam een oudgediende waar het gaat om het algoritmeregister. Martijn Groenewegen, CIO van Eindhoven, vertelt dat zijn gemeente moeite heeft om de grote opschalingsproblemen bij te houden en dat dit in de raad regelmatig leidt tot vragen over privacy en transparantie. Dát er een algoritmeregister zou komen, had het bestuur al beloofd in 2021, maar echt op gang kwam de inventarisatie van de eigen algoritmes pas door een Woo-verzoek van een advocaat. Inmiddels zitten er twee impactvolle algoritmes van Eindhoven in het landelijke register en is transparantie verankerd in de i-strategie. Dat Eindhoven onder verscherpt toezicht staat van de Autoriteit Persoonsgegevens zal ook helpen.

Talar Kalayciyan, beleidsmedewerker algoritmen bij de gemeente Amsterdam, vertelt dat het decentrale algoritmeregister van Amsterdam bestaat uit drie lagen, van algemeen naar specifiek naar technisch en gedetailleerd, om aan de verschillende doelgroepen tegemoet te komen. Amsterdam kiest bewust voor een brede definitie van algoritmes, waarin ook de impact op bedrijven wordt meegenomen. ‘Een simpele rekensom in Excel met impact op de burger komt ook in het register.’ De gemeenten wil kunnen blijven uitleggen op welke gronden een beslissing is gebaseerd. In de toekomst zal een verwijzing naar het register worden toegevoegd aan besluiten.

De doorlooptijd voor het inventariseren en publiceren van een algoritme is bij Amsterdam 6 weken tot ‘heel lang’. Het zijn vooral oude processen die tijdrovend zijn, zegt Kalayciyan. De gemeente is inmiddels zo ver dat de processen rondom duurzaamheid, de Woo, ethiek en privacy redelijk uitgelijnd zijn: de verantwoordelijke teams zitten meermalen per week samen en denken mee met elkaars processen. Er klinkt bewonderend gemompel van de toehoorders.

Implementatie: IAMA in je pyjama

‘IAMA in je pyjama’ is de intrigerende titel van de tweede sessie. Voelde Iris Muis van de Data School van Universiteit Utrecht zich enkele jaren geleden nog een roepende in de woestijn, nu is haar verhaal over het Impact Assesment Mensenrechten en Algoritmes de populairste sessie. Ze presenteert het IAMA samen met Ruth Koole, technisch consultant bij het Rijks ICT Gilde  (RIG).

Het doel van het IAMA is om met een divers team in vier stappen te bepalen of er bij de inzet van een algoritme sprake is van een mogelijke schading van grondrechten, in de breedste zin van het woord. Het kan om uitingsvrijheid gaan, godsdienstvrijheid, maar ook op sociale rechten en rechten van bedrijven - die laatste toevoeging doet een aantal deelnemers opveren, omdat het hen helpt om bij bestuurders te motiveren dat het IAMA de tijdsinvestering waard is.

Het doorlopen van het proces ondersteunt de verantwoording en documenteert het beslissingsproces. Er zijn twee moties in de Tweede Kamer geweest om een mensenrechtentoets verplicht te maken voor hoogrisico-algoritmes, maar men wacht nog even af wat er precies in de AI Act staat. Een al dan niet doorontwikkelde versie van het IAMA zal naar verwachting verplicht worden. Muis is daar ambivalent over, want ze wil voorkomen dat de mensenrechtentoets een afvinklijstje wordt. Op dit moment wordt het IAMA juist gebruikt door uiterst gemotiveerde teams.

Publicatie op locatie

De sessie 'Publicatie op locatie' belooft taart voor durfals die ter plekke hun algoritme komen publiceren in het algoritmeregister. Helaas zijn er onder de deelnemers van de bezochte sessie alleen nieuwsgierigen. Lisette Kramer van ICTU laat aan de hand van een algoritme voor eDiensten van PinkRoccade voor spek en bonen zien hoe publicatie in zijn werk gaat.

Leverancier Centric heeft een generiek document (pdf) gemaakt dat gemeenten kunnen gebruiken bij het invullen van het register. PinkRoccade legt de laatste hand aan een soortgelijk overzicht. In de toekomst zal dit voor een deel ook vooraf invulbaar zijn, maar Kramer benadrukt dat gemeenten de tekst wel zelf moeten configureren. Alleen kopiëren-plakken levert immers niet het gewenste bewustwordingsproces op.

Enkele tips voor de speurtocht naar het eerste algoritme: kijk in het algoritmeregister wat andere gemeenten hebben gepubliceerd. Wellicht gebruikt jouw gemeente hetzelfde algoritme. Om er in te komen, is het handig om te starten met een iets minder impactvol algoritme. En vind degene binnen de organisatie die er de energie voor heeft om met het algoritmeregister aan de slag te gaan.

Maar is mijn algoritme impactvol?

Tot slot het antwoord op de vraag die gedurende de expeditie de meeste reizigers bezighoudt: hoe bepaal ik of een algoritme impactvol is? Daarvoor staat een handreiking (versie 0.9, pdf) op Pleio.