Amnesty: Frankrijk moet stoppen met discriminerend algoritme

De Franse autoriteiten moeten stoppen met het gebruik van een algoritme dat wordt ingezet om fraude en fouten in uitkeringen op te sporen, vindt Amnesty International Het systeem zou mensen uit gemarginaliseerde groepen discrimineren.

Klacht bij hoogste rechter

Op 15 oktober diende Amnesty International met veertien andere organisaties onder leiding van de digitale burgerrechtenorganisatie La Quadrature du Net een klacht in bij de Raad van State, de hoogste bestuursrechter in Frankrijk. Ze eisen dat het risicobeoordelingsalgoritme dat het Caisse Nationale des Allocations Familiales (CNAF) inzet wordt stopgezet.

Toeslagen

In Frankrijk leven 32 miljoen mensen in een huishouden dat één of meerdere toeslagen ontvangt. Het CNAF is verantwoordelijk voor het uitkeren van die toeslagen. Het systeem is in gebruik sinds 2010. Het algoritme kent een risicoscore toe aan alle ontvangers van kinderbijslag en huurtoeslag tussen nul en één. Hoe dichter ze bij de één score, hoe groter de kans dat het huishouden onder de loep wordt genomen door fraudeonderzoekers.

Argwaan

'Vanaf het begin behandelt het door CNAF gebruikte risicobeoordelingssysteem personen uit gemarginaliseerde groepen – mensen met een beperking, alleenstaande ouders (voornamelijk vrouwen) en mensen die in armoede leven – met argwaan. Dit systeem staat haaks op de mensenrechtennormen en schendt het recht op gelijkheid en non-discriminatie en het recht op privacy', zegt Agnès Callamard, secretaris-generaal bij Amnesty International.

Discriminatie

In 2023 kreeg La Quadrature du Net toegang tot de broncode van het algoritme, waardoor ze konden aantonen dat het systeem discrimineert. Iemands risicoscore hangt onder andere af van het hebben van een laag inkomen, werkloosheid, wonen in een achterstandswijk, hoe groot het deel is van het inkomen dat opgaat aan de huur en of iemand met een beperking werkt. De gegevens van mensen die hoog scoren komen terecht op een lijst van de fraudeonderzoekers.

Onevenredig

Amnesty International vermoedt dat de hoeveelheid verzamelde gegevens onevenredig is aan het beoogde doel van het systeem. De organisatie wijst erop dat uit eerder onderzoek in Nederland en Servië blijkt dat veel van deze fraudedetectiesystemen ineffectief zijn in het opsporen van fraude of het vinden van fouten in het uitkeringssysteem.

Frankrijk als AI-hub

Frankrijk probeert zichzelf internationaal op de kaart te zetten als dé Europese ‘hub’ voor AI. In februari 2025 vindt in Frankrijk de Artificial Intelligence Action Summit plaats, het vervolg op eerdere AI-tops in het Verenigd Koninkrijk en in Zuid-Korea, waar wereldleiders bijeenkomen om te praten over een veilige inzet van AI.