Risico op ‘ontmenselijking’ bij toepassen AI

Een van de ongewenste nadelige gevolgen van de alsmaar toenemende toepassing van AI kan ‘ontmenselijking’ zijn - het gebruik van datasets maakt het volgens kennisinstituut TNO makkelijker om de burger op afstand te houden. Het is de vraag of de normenkaders, waar partijen in verschillende landen mee komen, daar daadwerkelijk iets aan gaan doen. Het ambitieuze Europese voorstel voor AI-regulering moet de ‘Europese waarden’ borgen.

Vooringenomen

De belangrijkste nadelige gevolgen van algoritmische besluitvorming zijn ontmenselijking, onduidelijkheid over besluiten en vooringenomenheid, met bijvoorbeeld discriminatie, uitsluiting of ongelijkheid als gevolg. Director of Science Anne Fleur van Veenstra presenteerde dinsdag de resultaten uit de paper. ‘De grootste voordelen zijn efficiëntievoordelen, het sneller uitvoeren van bepaalde taken.’

 

Eindexamens

Van Veenstra gaf voorbeelden van de negatieve gevolgen. Een bekend Nederlands voorbeeld is SyRI, dat ruim een jaar geleden door de rechter werd verboden omdat het niet transparant genoeg zou zijn. In het Verenigd Koninkrijk werd tijdens de coronapandemie, omdat de eindexamens niet doorgingen, een algoritme ontwikkeld om eindexamencijfers te voorspellen. Hierdoor werden getalenteerde leerlingen van slechter presterende scholen benadeeld en leerlingen van private scholen bevoordeeld.

 

Algoritme getraind

In de Verenigde Staten gebruikte men een systeem genaamd COMPAS gebruikt om de hoogte van een straf te bepalen bij herhaaldelijke overtreding. In de dataset waarop het algoritme werd getraind zat een vooringenomenheid tegen Afro-Amerikanen en dat werd gereproduceerd in de voorgeschotelde adviezen. ‘Afro-Amerikanen, die misschien voorheen ‘menselijk’ werden gediscrimineerd, werden nog systemischer gediscrimineerd.’

 

Tegenstrijdige waarden

Er zijn een hoop normenkaders (bijvoorbeeld van de G7, de OESO, Deutsche Telekom of de Universiteit van Montréal), maar de analyse van TNO wijst uit dat deze kaders wel veel normen bevatten maar niet bepalen hoe die normen worden toegepast. ‘Ook blijft onduidelijk hoe keuzes kunnen worden gemaakt tussen tegenstrijdige waarden’, schrijft TNO. Bovendien vinden AI-ontwikkelaars deze normenkaders vaak abstract en lastig toe te passen.

 

Eindverantwoordelijken

Ook is onduidelijk of methoden als privacy-by-design en impact assessments, die gecombineerd worden met de normenkaders, nadelige gevolgen voorkomen. Normenkaders zijn vaak gericht op AI-leveranciers (commerciële partijen) en niet op eindverantwoordelijken (degene die de technieken toepassen).  Bovendien zijn de technieken moeilijk uit te leggen en is er nog veel onduidelijkheid over de langetermijngevolgen van algoritmische besluitvorming.

 

Menselijke situatie

De vraag is hoe een kleine of grote overheid die geïnteresseerd is in AI een experiment kan inrichten. Het werken met datasets maakt het makkelijker om de burger op afstand te houden en zo ligt ‘ontmenselijking’ op de loer, waarbij systemen besluiten nemen en geen rekening wordt gehouden met de menselijke situatie. Het advies van TNO is om proeftuinen in te richten, waar risico’s tijdig in kaart kunnen worden gebracht en waar betrokkenen, inclusief burgers, mee kunnen denken. Met het oog op de langetermijngevolgen is ‘een langduriger en dynamische controle en monitoring van AI-systemen gewenst’.

 

Leren en proberen

In april kwam de Europese Unie met het ambitieuze voorstel voor AI-regulering. Het is een op risico gebaseerde benadering: een verbod op AI-systemen met een onaanvaardbaar risico, regelgeving voor ‘hoog-risicotoepassingen’ en zelfregulering voor overige toepassingen. TNO zou echter wel meer aandacht willen voor het proces van leren en proberen.

 

Stokje overnemen

Het Europese AI-beleid is bedoeld om AI-ontwikkeling en toepassing te stimuleren via ‘vertrouwen’ en ‘excellentie’. ‘Europa is goed in de theorie’, vertelde Chief Scientific Officer Peter Werkhoven, ‘maar we falen in de toepassingen en uiteindelijk in de waardecreatie.’ Hij vermoedt dat de EU met de nadruk op verantwoordelijkheid het stokje over kan nemen van China en de Verenigde Staten. ‘Ik ben ervan overtuigd dat we met die maatschappelijk verantwoorde toepassingen echt een belangrijke positie kunnen pakken.’