'Er is een grens aan wat technologie vermag'

In haar inaugurele reden betoogt Esther Keymolen, hoogleraar regulering van digitale technologie, dat er altijd een grens zit aan wat technologie vermag. Perfect wordt het nooit, daarvoor is de mens te ongrijpbaar. Richt de organisatie liever in op het tijdig signaleren en oppakken van wat er misgaat.

Meer doen dan bias bestrijden

Sinds april 2022 is Esther Keymolen hoogleraar regulering van digitale technologie bij Tilburg University. In haar werk richt ze zich op de ethische en filosofische vragen van technologie-regulering. Het is vaak en-en in haar denken, zegt ze bijna verontschuldigend. Tot een bepaalde hoogte werkt technologie heel goed. En ja, natuurlijk moet de overheid bias in de systemen bestrijden en impact assesments doen en andere instrumenten ontwikkelen om de technologie te verbeteren. Maar het is niet genoeg. Blijf daarnaast monitoren wat de technologie doet in een veranderende maatschappij, en grijp zo nodig in.

Waarschuwing tegen technologisch denken

De oratie is een waarschuwing tegen technologisch denken. ‘Er is veel geloof dat technologie, als we maar genoeg data hebben, heel goed kan voorspellen hoe mensen zich gedragen,’ zegt Keymolen. ‘Datagedreven technologieën doen in de basis kansberekeningen, daar zit altijd onzekerheid bij. Aan de andere kant: wat ons tot mens maakt, is dat we af en toe dingen doen die we van tevoren niet hadden voorzien en die je niet in data kunt vatten. We overschatten de technologie en we onderschatten de mens.’

Haar appèl is om vooral te blijven investeren in het verbeteren van die technologie, maar ons ook beter bewust te worden van de grenzen ervan. ‘Om de regulering van technologie zo effectief mogelijk te maken, moeten we eigenlijk ervan uitgaan dat het altijd een keer misgaat. En dat vraagt een andere omgang met technologie dan we nu hebben.’

Andere governance-structuur

Ze pleit voor de ontwikkeling van een governance-structuur die beter ontvankelijk is voor signalen dat de technologie niet goed werkt of aanpassingen behoeft vanwege een veranderende maatschappij. Haast onvermijdelijk komt het Toeslagenschandaal ter sprake. ‘Het is niet dat men niet wist dat er iets fout zat. De signalen waren er, maar de organisatie was niet toegerust om daar effectief op te handelen.’

Keymolen onderscheidt vier categorieën mensen die zich met digitale technologie bezighouden, waaronder burgers en ambtenaren. ‘Je ziet, bijvoorbeeld in de Algemene Verordening Gegevensbescherming (AVG), dat we de burger foutief percipiëren als  heel rationeel en autonoom. Hetzelfde geldt voor de ambtenaar. Die wordt in de AI Act gepresenteerd als een technologisch onderlegd professional. Er wordt heel veel verantwoordelijkheid bij de ambtenaar gelegd: die moet opletten dat de technologie alle fundamentele rechten waarborgt en de uitkomsten in de gaten houden. Weer vanuit het idee dat alles goedkomt als we die technologie maar optimaliseren.’

Grens bereikt

In de ethische commissies waarin ze deelneemt, ziet ze regelmatig dat die grens wordt bereikt. Er is zo veel mogelijk bias uit de algoritmes gehaald, er zijn allerlei controles uitgevoerd, en toch blijft er wat ‘rest-bias’ over. Wat dan? ‘Dan moet je toch verantwoordelijkheid nemen voor een bepaalde technologie die nooit honderd procent zal werken. Je wordt met de neus op de feiten gedrukt dat je nog steeds beslissingen moet nemen die gepaard gaan met risico's en met onzekerheden.’

En dan blijken sommige technische beslissingen in feite normatieve  beslissingen, of zelfs politieke beslissingen, die eigenlijk niet op het bord van de ambtenaar thuis horen. ‘Ik ontmoet veel begane en bezorgde ambtenaren. Zij zien dit probleem, maar ze werken in een organisatiestructuur waar ze niet altijd met hun zorgen hogerop in de organisatie terechtkunnen, of bij de wethouder, minister, de SG of de DG.’

Sneller geluiden oppakken

Vandaar het pleidooi om de organisatie zo in te richten dat dergelijke geluiden sneller opgepakt worden. ‘Ik zie ook een rol voor de wetenschap, om uit de cirkel van eenduidige antwoorden te breken. We moeten laten zien dat er opties zijn. Dat er scenario's zijn. En dat daar eigenlijk de publieke discussie over moet gaan. Wat voor type samenleving willen we zijn? En welke technologische oplossingen passen daarbij?

Ethische commissies zijn daarbij een hulpmiddel, net als het impact assessment mensenrechten en algoritmes en talrijke andere initiatieven. ‘Het punt is dat we moeten erkennen dat het geen technische vraagstukken zijn en dat de technologie het nooit gaat oplossen. De mens laat zich niet vangen in nulletjes en eentjes.’

Regie voeren over data

De regelgeving gaat ervan uit dat de mens zelf de regie voert over diens data, maar die mens is een fictie, schrijft ze. Moet de overheid dan nog wel investeren in zaken als digitale kluizen en digitale identiteit?

‘In mijn oratie verwijs ik naar de Duitse filosoof Helmuth Plessner, die zegt dat mensen zowel centrisch als ex-centrisch zijn. Met centrisch bedoelt hij dat we veel dingen op de automatische piloot doen. Vaak is dat ook gewoon prima. Maar we zijn ook ex-centrisch: we kunnen als het ware afstand nemen van onszelf en nadenken over de keuzes die we maken en van gedachten veranderen, we zijn tot een bepaalde hoogte onvoorspelbaar. Dus het is niet zo dat we totaal geen beslissingen kunnen nemen over onze data, maar het idee dat je al dit soort vraagstukken bij de burger parkeert, of allemaal op het bord van de ambtenaar legt, dat is een overschatting van wat mogelijk is.’

Onvoorspelbaarheid koesteren

Ze schrijft ook dat de technologie ons pas werkelijk zal dienen als we de onvoorspelbaarheid van de mensen gaan koesteren. Kunstmatige intelligentie is ontwikkeld vanuit de gedachte dat we ons gedrag wel in hoge mate voorspelbaar is. Hoe zorgen we dan dat AI ons werkelijk gaat dienen?

‘Ook dat is en-en. Heel veel handelingen kun je best automatiseren om zaken efficiënter te maken. Daar is op zich niks mis mee, zolang je blijft investeren in het monitoren van de uitkomsten en inziet waar het niet meer past. Dat betekent dus naast het optimaliseren van technologie ook investeren in maatwerk, in persoonlijk contact. Want er zijn altijd mensen die buiten de vakjes vallen. Ook zij hebben recht op goede toegang tot de overheid.’