Belangrijke stap richting eerlijke algoritmen

UvA-student Rik Helwegen heeft een model ontwikkeld dat eraan bijdraagt dat algoritmen in de toekomst geen ongewenste discriminerende effecten meer met zich meebrengen. Helwegen deed dat in samenwerking met de gemeente Amsterdam en het Centraal Bureau voor de Statistiek.

Controversieel

Gemeenten maken graag gebruik van big data en algoritmen om hun beleid te verbeteren maar lopen dikwijls aan tegen ongewenste effecten. Zo zag onlangs de gemeente Rotterdam zich genoodzaakt om te stoppen met het gebruik van het controversiële Systeem Risico-indicatie (SyRI), dat werd gebruikt om uitkeringsfraude op te sporen. Doordat het algoritme werd losgelaten op de gegevens van twee achterstandswijken zouden bewoners bij voorbaat verdacht gemaakt en daarmee oneerlijk behandeld worden, zo luidde de aanklacht van de tegenstanders.

Counterfactual fairness

Helwegen, die onlangs zijn scriptie voor zijn masterstudie kunstmatige intelligentie verdedigde, ontwikkelde een correctiemechanisme om algoritmen meer discriminatieproof te maken. ‘Om een algoritme helemáál eerlijk te maken is natuurlijk moeilijk’ vertelt Helwegen aan Binnenlands Bestuur. Daarnaast verschillen de opvattingen over wat eerlijk precies is.’ Helwegen vond hiervoor aanknopingspunten in het concept counterfactual fairness. Dat gaat ervan uit dat geautomatiseerde beslissingen op basis van big data eerlijk zijn wanneer deze niet beïnvloed zijn door gevoelige kenmerken van een persoon. ‘Ik kwam er op uit dat men zich zeer bewust moet zijn van causale verbanden tussen data. Zo kan er bijvoorbeeld een causaal verband bestaan tussen een bepaalde migratieachtergrond en een plaats of wijk waar iemand woont. Als je die laatste data ergens in meeneemt, heb je de invloed van die migratieachtergrond dus in die data zitten.’

Geneutraliseerde data

Helwegen vat zijn methode samen in een stappenplan. ‘Stap één is om vast te stellen hoe de causale verbanden tussen data liggen. Dat is zó ingewikkeld dat er uiteindelijk altijd in zekere zin sprake is van een versimpeld model. Stap twee is om de sterkte van die causale verbanden te onderzoeken, hiervoor worden de gemaakte veronderstellingen gecombineerd met de data. Correlation doesn’t imply causation, luidt een bekend mantra in het vakgebied van big data. Nu hebben we een schatting van hoe de causale verhoudingen liggen, waardoor we ervoor kunnen kiezen om alle invloed van een factor uit te sluiten, zo'n factor kan etniciteit zijn bijvoorbeeld. Wat overblijft kan worden gezien als geneutraliseerde data, en kan vervolgens op een ethisch verantwoorde manier gebruikt worden, dat is stap drie.'

Zwaarbeveiligde werkomgeving

Helwegen testte zijn ideeën uit in de praktijk tijdens een stage voor de gemeente Amsterdam en het Centraal Bureau voor de Statistiek. Het CBS leverde geanonimiseerde data van 11.000 Nederlanders die een bijstandsuitkering ontvangen of een veroordeling op hun naam hebben staan voor het onterecht opstrijken van uitkeringen. De experimenten vonden volgens het CBS plaats onder strikte privacyvoorwaarden in een zwaarbeveiligde werkomgeving van het CBS. Innovatiemanager Barteld Braaksma, die Helwegen begeleidde, benadrukt dat Helwegens onderzoek zowel grote wetenschappelijke als maatschappelijke waarde heeft. ‘Hij heeft met dit onderzoek een aanpak ontworpen om oneerlijke algoritmen tegen te gaan in de praktijk.’

Algoritmen controleren

‘Voor dit project heeft de gemeente Amsterdam het CBS nadrukkelijk ingeschakeld’, laat programmamanager digitale innovatie Tamas Erkelens van de gemeente weten op de website van het CBS. De gemeente kondigde in december aan dat zij alle algoritmen zie zij zelf gebruikt, zou gaan controleren op ongewenste of onethische effecten. Ook de algoritmen van bedrijven worden aan een audit onderworpen. Het Financieele Dagblad meldde in maart dat de Amsterdamse Chief Technology Officer Ger Baron accountantsbureau KPMG heeft ingeschakeld om hier een methode voor te ontwikkelen.