Overheid en AI: wat is er vanaf volgend jaar verboden?

De Europese AI-verordening is op 1 augustus 2024 in werking getreden. De verbodsbepalingen die in deze verordening staan, gaan pas in februari 2025 in. Die nieuwe regelgeving heeft grote gevolgen voor overheidsorganisaties die AI-systemen gebruiken of ontwikkelen. Om welke bepalingen gaat het en hoe kunnen overheidsorganisaties zich daarop voorbereiden?
 

Nieuwe normen 

Overheden maken steeds meer gebruik van allerhande - vaak nuttige - AI-toepassingen. Maar AI kan ook worden misbruikt voor manipulatie, uitbuiting en ongewenste sociale controle. De verbodsbepalingen die in de Europese AI-verordening zijn opgenomen en die in februari 2025 gaan gelden, zijn bedoeld om burgers te beschermen tegen deze gevaren en moeten ervoor zorgen dat overheidsorganisaties zich aanpassen aan nieuwe normen. 

Een van de belangrijkste redenen voor het verbieden van bepaalde AI-praktijken is het potentieel voor misbruik. AI-systemen kunnen mensen beïnvloeden om keuzes te maken die ze normaal niet zouden maken. Deze onderbewuste technieken kunnen leiden tot beslissingen die niet in het beste belang van de persoon zijn. Daarnaast wordt AI steeds vaker gebruikt voor sociale controle en profilering, wat kan leiden tot discriminatie en uitsluiting.

Manipulatie en misleiding

Vanaf 1 februari 2025 wordt een reeks AI-toepassingen verboden. Manipulatieve of misleidende AI-systemen, die bijvoorbeeld gebruikmaken van de kwetsbaarheden van mensen zoals leeftijd of handicap om hen te beïnvloeden, worden verboden. Het gaat hierbij om AI toepassingen die bewust misleiden of manipuleren, maar ook om systemen die mensen beoordelen op basis van hun sociale gedrag of persoonlijke kenmerken, ook wel ‘social scoring’ genoemd. 

Risicobeoordeling voor criminaliteit

Een ander punt van zorg zijn op AI-gebaseerde risicobeoordelingen voor criminaliteit. Van deze technologieën kan gebruik worden gemaakt om te voorspellen of iemand strafbare feiten zal gaan plegen. Die technologie wordt op zich niet verboden, maar mag alleen worden gebruikt voor feiten die daadwerkelijk verband houden met criminele activiteiten. AI-systemen die profileren op basis van persoonlijkheidseigenschappen en persoonlijkheidskenmerken zijn wel verboden. 

Biometrische categorisering

Ook komt er een verbod op biometrische categorisering, vooral als het gaat om het afleiden van gevoelige informatie zoals ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid. 

Identificatie op afstand

Een ander belangrijk verbod betreft het gebruik van AI-systemen voor biometrische identificatie op afstand in openbare ruimten. Deze praktijk is alleen toegestaan onder specifieke omstandigheden, zoals het opsporen van vermiste personen of het voorkomen van ernstige bedreigingen voor het leven van mensen en het opsporen van verdachten van bepaalde zeer ernstige misdrijven.

Emotieherkenning

En als laatste wordt ook een verbod van kracht op emotieherkenning op de werkplek en in het onderwijs. Ook het ongericht scrapen van gezichtsafbeeldingen van internet of camerabeelden (CCTV) om databanken voor gezichtsherkenning aan te leggen of aan te vullen zijn niet toegestaan.

Forse boetes

De komende maanden is het van belang voor overheidsorganisaties dat zij binnen hun organisatie nagaan of en welke van de verboden AI-systemen zij gebruiken. Dit moet voor 1 februari 2025 gebeuren. Wanneer dit niet op tijd gebeurt, kunnen toezichthouders forse boetes opleggen. De inwerkingtreding van alle onderdelen van de Europese AI-verordening beslaat overigens een tijdspanne van zes jaar.