Ook TikTok en Deliveroo in het Spaanse algoritmeregister

In Spanje komt het initiatief voor een algoritmeregister niet van de overheid, maar van een stichting voor digitale burgerrechten. Verontwaardiging over een algoritme dat de Spaanse politie inzet zonder dat het grote publiek dat wist, vormde de aanleiding.

Algoritme tegen huiselijk geweld

Het idee voor het Spaanse algoritmeregister ontstond toen het Spaanse ministerie van Binnenlands Zaken het zogeheten VioGén-systeem presenteerde. Dat wordt gebruikt door de politie om te bepalen welke vervolgstappen er nodig zijn na een aangifte van huiselijk geweld. Vrouwen die aangifte doen, wordt gevraagd om een gestandaardiseerde vragenlijst in te vullen. Op basis van de antwoorden berekent een algoritme het risico dat de vrouw in kwestie opnieuw slachtoffer wordt van huiselijk geweld.

‘Alle maatschappelijke organisaties waren geschokt dat het systeem al jaren geïmplementeerd bleek te zijn,’ vertelt Mireia Orra De Salsas van de stichting Eticas. ‘Puur omdat het ministerie wilde laten zien hoe goed het systeem werkte, werd het gebruik ervan breed bekend. Die vrouwen hadden ook geen idee.’

Gezamenlijk openbaar register

Van hoeveel andere algoritmes van publieke organisaties hebben we geen weet, dachten ze bij Eticas. De stichting uit Barcelona beschrijft zichzelf als ‘de veiligheidsgordels van AI’, voert algoritme-audits uit en helpt overheden met het opstellen van AI-beleid. Aangezien er in alle Spaanse regio’s wel een organisatie voor digitale burgerrechten actief is, besloten ze een gezamenlijk openbaar register te gaan bijhouden van alle impactvolle algoritmes die ze tegenkwamen. Daarbij beperken ze zich niet tot Spanje.

Op dit moment staat er 152 beschrijvingen van algoritmes in het Observatory of Algorithms with Social Impact (OASI), zowel van overheden als van private ondernemingen. ‘We hebben een aantal bestaande registers samengevoegd en algoritmes toegevoegd die we in ons juridische werk tegenkwamen,’ vertelt Orra De Salsas.

Van SyRI tot TikTok

Die aanpak zorgt voor verscheidenheid in het algoritmeregister, dat zowel een beschrijving van het Rotterdamse fraudealgoritme bevat als van SyRI, TikTok, Google Search en Deliveroo. ‘De publieke sector huurt bedrijven in die op beurt algoritmes gebruiken om de opdracht uit te voeren,’ zegt ze over die keuze. 'Daarom besloten we alles toe te voegen waar we weet van hadden.’ In de omschrijving staat of het algoritme voor zover bekend een audit heeft gehad en of er rechtszaken over zijn gevoerd. Iedereen mag een bijdrage leveren.

Minimaal vereiste velden

Momenteel schrijft de juriste een paper over minimaal vereiste velden voor een algoritmeregister. ‘Wat nu vaak ontbreekt, is informatie over de uitgevoerde assesments en audits,’ zegt ze. ‘Idealiter is er een specifiek gedeelte van het register gewijd aan de conclusies die daaraan verbonden zijn. Dan kan iedereen checken wie een audit heeft uitgevoerd, hoe het is uitgevoerd, welke resultaten het opleverde en welke acties eraan zijn verbonden om risico’s te ondervangen. Informatie over alles wat straks verplicht wordt dus.’

Voorbeeldfunctie

Toen het algoritmeregister eenmaal gevuld raakte, drong de vraag zich op wiens taak dit eigenlijk zou moeten zijn. Eticas bracht een bezoek aan de toekomstige Spaanse toezichthouder voor algoritmes met de boodschap: dit zou één van uw competenties moeten zijn. Ook een aantal gemeenten kreeg een bezoek. ‘Veel publieke organisaties hebben geen idee waar we het over hebben totdat we het register laten zien,’ zegt Orra De Salsas. ‘We doen voor hoe zo’n algoritmeregister er bijvoorbeeld uit kan zien en welke informatie erin zou moeten staan. Daarop vragen we ze om het voortouw te nemen en een eigen register op te zetten, in samenwerking met alle bestaande Spaanse registers.’

Niet bij te houden

Ze hoopt dat de verantwoordelijkheid voor een nationaal register onder de AI Act zal komen te liggen bij de nationale toezichthouders voor gegevensbescherming. Voor een stichting met drie medewerkers is het bijhouden van een algoritmeregister eigenlijk geen doen, geeft ze toe. Tijd om te controleren of alle beschrijvingen nog actueel zijn, heeft ze niet (het mag dus geen verrassing heten dat sommige informatie in het register alweer achterhaald is).