Wanneer is menselijke tussenkomst ‘betekenisvol’?

Algoritmes of AI beslissingen laten nemen over mensen mag niet zomaar. Volgens de privacywet moet een mens de uitkomst van de computer goed controleren. Hoe zorg je als organisatie voor deze ‘betekenisvolle menselijke tussenkomst?’ De Autoriteit Persoonsgegevens zoekt naar input om organisaties meer handvatten te bieden om dit in te richten.

Algoritmische besluitvorming

Organisaties gebruiken regelmatig algoritmes en AI om beoordelingen te doen. Dat heet algoritmische besluitvorming. Een gemeente of belastingsamenwerking gebruikt bijvoorbeeld een taxatiemodel om de WOZ-waarde van uw koophuis te bepalen. De kenmerken van uw woning worden niet handmatig vergeleken met de kenmerken van andere woningen en evenmin heeft een ambtenaar met een rekenmachine de verkooprijzen uit de buurt geanalyseerd; dat doet het computersysteem.

Als organisaties algoritmische besluitvorming toepassen, moeten ze aan regels voldoen. In de algemene verordening gegevensbescherming (AVG) staat onder meer dat mensen recht hebben op menselijke tussenkomst bij algoritmische besluiten die over hen gaan en gevolgen voor hen hebben. In het geval van het toekennen van een WOZ-waarde betekent dat dat een taxateur de uitkomst van het taxatiemodel controleert voordat er een brief naar u wordt verstuurd met de definitieve WOZ-waarde. Dat is een relatief rechttoe-rechtaan vorm van menselijke tussenkomst, ervan uitgaand dat de taxateur een gestandaardiseerde methode gebruikt om de uitkomst te controleren.

Leiderschapskwaliteiten

Maar wat nu als een online sollicitatie door een algoritme wordt beoordeeld? Stel dat een algoritme uit de schrijfstijl van een sollicitant afleidt dat deze persoon over bijzondere leiderschapskwaliteiten beschikt (algoritmes die dit doen zijn in ontwikkeling). Kan een menselijke beoordelaar aan de hand van dezelfde brief bepalen of de beoordeling van het algoritme klopt? En wat als de beoordelaar zelf tot een heel ander oordeel komt op basis van het cv van de sollicitant? 

Dat is lastig. Een bekend fenomeen is automation bias, waarbij de mens er onbewust van uitgaat dat de uitkomst van de computer wel zal kloppen (‘computer says no’). Maar ook het omgekeerde komt voor. Als een menselijke beoordelaar er bijvoorbeeld van baalt dat de werkgever tegenwoordig een systeem inzet voor iets wat vroeger zíjn expertise was, kan algorithmic aversion optreden, een onterecht wantrouwen tegen alles wat de computer aan output oplevert. Wat kan de menselijke beoordelaar doen om het oordeel van het algoritme op de juiste waarde te schatten?

Consultatie

Het voorbeeld van de online sollicitatie komt uit een document dat de Autoriteit Persoonsgegevens (AP) opstelt om organisaties handvatten te bieden. Het bevat voorbeelden en vragen die helpen om werk van te maken van betekenisvolle menselijke tussenkomst bij algoritmische besluitvorming. Het document gaat nadrukkelijk niet over de vraag of het verstandig is van de organisatie om dit systeem in te zetten, al waarschuwt de AP in de inleiding wel: 'hoe meer het verantwoord nemen van een besluit een beroep doet op menselijk inzicht, ervaring, maatwerk of intuïtie, hoe minder passend het kan zijn om uitsluitend een algoritme een rol te laten spelen in de beslissing'.

Het document ligt nu ter consultatie. De privacytoezichthouder vraagt organisaties, experts en belanghebbenden om input. Welke inzichten heeft u opgedaan in de praktijk? Wat werkt, of tegen welke knelpunten loopt u aan? Reageren kan tot en met 6 april.