Rijk weegt risico's en kansen AI-systeem vaak niet af

Voor meer dan de helft van de AI-systemen die de overheid gebruikt, is vooraf geen risicoafweging gemaakt. Dat blijkt uit onderzoek van de Algemene Rekenkamer. Bij de AI-systemen met een hoog risico geldt dit voor een derde van de systemen.

Twee uitschieters

De Algemene Rekenkamer deed een zogeheten focusonderzoek naar AI bij de rijksoverheden. Bij 70 overheidsorganisaties werd geïnventariseerd welke AI-systemen zij gebruiken of hebben gebruikt. De meeste organisaties geven aan AI te gebruiken, al gaat het bij bijna alle organisaties om niet meer dan 3 systemen. Grote uitschieters zijn de politie en het UWV, die respectievelijk 23 en 10 AI-systemen gebruiken. De politie zet bijvoorbeeld AI in om te bepalen in welke wijk politie-inzet nodig is. Het UWV gebruikt onder meer een Maatwerkscan in om te voorspellen wie risico loopt om bij het einde van een werkloosheidsuitkering geen inkomsten te hebben.

In totaal gaven de organisaties 433 AI-systemen op, waarvan er ten tijde van het onderzoek 120 systemen (28%) daadwerkelijk in gebruik zijn. In de meeste andere gevallen gaat het om lopende experimenten, of om systemen waarmee men weer is gestopt.

‘AI bij de overheid is geen toekomstmuziek meer,’ constateert Ewout Irrgang, lid van het college van de Algemene Rekenkamer. ‘We hebben eerder onderzoek gedaan naar het gebruik van algoritmes. Drie jaar geleden was er nauwelijks nog sprake van gebruik van zelflerende algoritmes. Er gebeurt echt wel wat bij de overheid.'

Meest gebruikt voor kennisverwerking

De meeste opgegeven AI-systemen vallen onder de ministeries van Justitie en Veiligheid (JenV), Asiel en Migratie (AenM). Ze variëren van antivirussoftware tot fraudedetectiesystemen. Overheidsorganisaties zetten AI vooral in voor toepassingen waar burgers en bedrijven niet direct mee te maken hebben. Kennisverwerking, zoals het doorzoeken van interne documenten, is met 124 AI-systemen de meest voorkomende toepassing. Zo is er een systeem dat ambtenaren ondersteunt bij het beantwoorden van Kamervragen.

Robothond

Voor 140 van de 433 AI-systemen geldt dat er wel directe impact is op burgers. Ze vallen vooral in de categorie Inspectie & Handhaving (82 systemen). Zo experimenteert de Dienst Justitiële Inrichtingen (DJI) met een robothond die celinspecties uitvoert.

Generatieve AI wordt bijvoorbeeld ingezet voor het maken van geautomatiseerde notulen bij Algemene Zaken. ‘Met 48 lopende experimenten en 8 systemen in gebruik valt te verwachten dat generatieve AI in de nabije toekomst een grotere plek zal krijgen in de bedrijfsvoering van de rijksoverheid,’ schrijven de onderzoekers.

Onbekend of systeem voldoet

Raar maar waar: van een derde van de gebruikte AI-systemen is niet bekend of het systeem de verwachtingen waarmaakt.  ‘Het komt vaker voor bij de overheid dat ze iets doen waarvan de resultaten onbekend zijn,’ relativeert Irrgang. ‘Wat we ook terug hoorden: ‘we zijn er heel positief over, maar de resultaten zijn onbekend.’

Overheidsorganisaties oordelen ook vaak positief over beëindigde experimenten. Ze hadden er best meer door willen gaan, maar liepen aan tegen obstakels, zoals onduidelijkheid over wet- en regelgeving of een tekort aan mensen en middelen. Ook veel gehoord: de IT-infrastructuur en de data zijn niet van voldoende niveau. ‘Daar komen ze achter als ze AI-systemen willen toepassen.’

Algoritmeregister

Een belangrijke aanleiding voor het rapport is de AI-verordening (AI act), die verplichtingen oplegt voor AI-systemen in Europa. Volgens de AI-verordening moeten in 2026 alle gebruikte AI-systemen met een hoog risico geregistreerd zijn. Bovendien moeten eind 2025 in Nederland alle impactvolle AI-systemen gepubliceerd worden in het algoritmeregister. Maar de resultaten uit het onderzoek geven weinig aanleiding om te verwachten dat overheden daarop voorsorteren. Slechts 5 procent van de genoemde systemen staan in het nationale algoritmeregister. ‘Niet alles wat er in zou moeten, zit erin, is onze indruk,’ zegt Irrgang.

Prikkel om laag in te schalen

Ook schrikbarend met het oog op de AI-verordening: Voor een derde van de 30 AI-systemen die volgens de overheidsorganisaties zelf een hoog risico hebben, is geen risicoafweging gemaakt. Van 49% van de AI-systemen die op dit moment in gebruik zijn, is het risico niet afgewogen of is niet bekend of het is afgewogen. Hetzelfde geldt voor meer dan de helft van álle opgegeven AI-systemen. Irrgang: ‘Als je het risico niet inschat, kun je nooit volhouden dat er géén risico’s zijn.’ Een risicoafweging kan overigens van alles zijn, van een DPIA (nu al verplicht vanwege de AVG als er persoonsgegevens worden verwerkt) tot een IAMA. Een rijksbreed instrument voor risicoafweging ontbreekt vooralsnog.

‘Het is duidelijk dat daar nog wat te doen is,’ zegt Irrgang. ‘De tijd begint te dringen.’ Het rapport wijst erop dat er een prikkel bestaat om AI-systemen niet als hoog risico in te schalen, omdat ze dan niet aan de strenge eisen van de AI-verordening hoeven te voldoen. De Algemene Rekenkamer heeft niet gecontroleerd of het ingeschatte risico van de opgegeven AI-systemen klopt, of welke afweging er is gemaakt. ‘Wij kunnen niet uitsluiten dat er nog verboden systemen tussen zitten. En ook voor een AI-systeem met minimaal risico gelden vereisten, ‘minimaal’ wil niet zeggen dat er geen risico is.’

Meer duidelijkheid

In een reactie laat staatssecretaris Zsolt Szabó weten dat de rijksoverheid zo snel mogelijk meer duidelijkheid wil creëren over de definities en classificaties uit de AI-verordening, zodat organisaties daar niet meer mee hoeven te worstelen. De verboden treden per 2 februari 2025 in werking en de eisen die worden gesteld aan hoog risico systemen vanaf augustus 2026. Irrgang is blij dat de staatssecretaris erkend dat hiermee wordt geworsteld. ‘Het is wel belang dat de definities en classificaties ook rijksbreed worden overgenomen. We zien nog weleens gebeuren dat elk ministerie er een andere interpretatie aan geeft.

In een toekomstig verantwoordingsonderzoek zullen twee AI-systemen van de rijksoverheid door de Algemene Rekenkamer worden gecontroleerd. Het gaat om de Risicoscan Verwijtbare Werkloosheid van het UWV en om een model dat bij Toeslagen wordt gebruiken om het risico op hoge schulden te onderzoeken. Van een ondoordringbare ‘black box’ hebben de onderzoekers tot nu toe geen last, geven ze desgevraagd aan, ook niet als de software bij een leverancier in de cloud staat.