'Vraag: hoe heb je dit vastgesteld?'

Assumption is the mother of all fuck-ups, schrijft cyberveiligheidsexpert Brenno de Winter ergens in het eerste hoofdstuk van zijn nieuwe boek De Validatiecrisis. De aanname is de moeder van alle mislukkingen: mensen gaan er veel te makkelijk van uit dat dingen wel zullen kloppen. Dat is nog sterker het geval wanneer er computersystemen bij komen kijken (‘computer says no’) en het wordt nóg veel erger op het moment dat er AI bij betrokken is, schrijft hij. Het boek leest als één lange waarschuwing om toch vooral dóór te vragen: waar baseer jij dit eigenlijk op?

Gebrek aan validatie

De Winter liep al lang rond met het idee om een boek te schrijven over het probleem dat mensen hun aannames niet genoeg toetsen. Voorbeelden van organisaties die de mist ingingen door een gebrek aan validatie vond hij in overvloed, van de problemen met de Boeing 737 Max tot het Toeslagenschandaal. ‘Dit probleem is niet specifiek voor de overheid,’ haast hij zich te zeggen. ‘Het geldt net zo goed voor het bedrijfsleven, maar bij overheden is het veel zichtbaarder, omdat het daar meteen over de burger gaat.’

Waarom is er sprake van een validatiecrisis? ‘Die term spookt al tien jaar door mijn hoofd. Elke keer dat een manager roept dat er een beeld is waarop een besluit wordt genomen, vraag ik mij af: maar hoe heb je vastgesteld dat het beeld klopt? Heb je daadwerkelijk gecheckt wat aan de hand is? Dat gebeurt vaak niet, met disproportionele gevolgen.’

Het algoritme van Bunq

De directe aanleiding voor De Validatiecrisis, de druppel die zogezegd de emmer deed overlopen, vormde een uitspraak van de rechter. In november 2023 ontdekte De Winter dat de bank Bunq zijn rekeningen zonder waarschuwing had geblokkeerd. Naar aanleiding van de Wet ter voorkoming van witwassen en financieren van terrorisme (Wwft) had Bunq hem eerder vragen gesteld over zijn inkomen. Hoewel de beantwoordingsperiode nog niet was verstreken, kon hij opeens niet meer bij zijn geld. De beslissing werd teruggedraaide toen hij de gevraagde gegevens verstrekte, maar de kwestie liet hem niet los. Hoezo twijfelde de bank opeens aan de manier waarop hij zijn geld verdiende?

Een inzageverzoek op basis van de AVG leverde weinig op. De werking van het fraudedetectiesysteem van de bank was een bedrijfsgeheim, vond Bunq. De Winter stapte naar de rechter, waar hij te horen kreeg dat hij volgens het fraudedetectiesysteem een ‘middenrisico’ op fraude vormde. Hoewel hij tot op de dag van vandaag niet weet hoe hij aan die kwalificatie komt, gaf de rechter de bank gelijk. De Winter was volgens de rechter immers ‘niet verstoken van informatie’ door Bunq.

‘De data waarop Bunq zich baseert zijn mijn transacties,’ zegt hij. ‘Ik ben een redelijk saaie Nederlander als het op transacties aankomt. Ik heb geen contact met rare landen. Ik ben al jaren niet Europa uit geweest. Er is niet iets wat mij bijzonder maakt. Dat maakt voor mij glashelder: bij AI draait het om het algoritme, niet om de data die je erin stopt. Het gaat erom hoe het AI-systeem is getraind.’

Katten op de maan

Het verzoek tot hoger beroep is net ingediend. Hoe de zaak afloopt is afwachten, maar het inspireerde De Winter tot een experiment dat zijn stelling moet illustreren. Met behulp van ChatGPT genereerde hij een grote hoeveelheid documenten (onder meer wetenschappelijke studies, nieuwsartikelen, uitspraken van de Intergalactische Rechtbank en dienstregelingen naar de maan en terug) over een fictieve wereld waarin katten de maan bevolken. Vervolgens trainde hij een AI-model met deze data. Het model interpreteert de ongecontroleerde fantasieën simpelweg als feiten. ‘Dan krijg je dus rare antwoorden, bijvoorbeeld dat de maan inderdaad bewoond is, dat luchtvaartmaatschappijen van de maan beter zijn dan luchtvaartmaatschappijen van de aarde en dat katten nooit bestaan hebben op aarde tot ze zich bekend hebben gemaakt aan Dries van Agt in de jaren tachtig.’

Zijn punt: de training en de werking bepalen het algoritme en zolang we dáár geen inzicht in hebben, valt er niets te zeggen over de geldigheid van de besluiten van een algoritme. ‘Ik vraag niet om volledige openheid en ik vraag ook niet om alle trainingsdata. Ik vraag alleen in inzicht hoe je tot een algoritme bent gekomen dat ten onrechte mensen tot een frauderisico bestempelt. In mijn geval is het overzichtelijk, ik ben vrij publieke zichtbaar en ondervind weinig gevolgen, maar als jij minder bekend bent en misschien ook een wat minder Nederlandse achternaam hebt, dan weet je gewoon dat het zomaar verkeerd uitpakt.’

Crowdstrike

Neem Crowdstrike, een ‘cadeautje’ dat hij in de schoot kreeg geworpen tijdens het schrijven van De Validatiecrisis. Een fout in een automatische update van de beveiligingssoftware van Crowdstrike leidde er op 19 juli 2024 toe dat wereldwijd meer dan 8,5 miljoen Microsoft-computers het gevreesde blue screen of death lieten zien. Onder meer vliegvelden, ziekenhuizen, banken en hotels functioneerden lange tijd niet. De totale schade wordt geschat op meer dan10 miljard dollar. ‘Een bedrijf test een update een keer getest en is er dan van overtuigd dat het goed zit,’ zegt De Winter. ‘Je maakt een stukje software en denkt niet na welke uitwerking dat heeft op de levens van mensen in de fysieke wereld! Een mooier voorbeeld had ik niet kunnen vragen.’

In de bestuurskamers van organisaties is men doorgaans niet bezig met de vraag of ze de keuze voor het doorvoeren van een update in handen van derden willen leggen, voegt hij eraan toe. ‘Ik denk niet dat dit in de risicolijst van de meeste bedrijven stond. Men denkt niet voldoende na over de consequenties van een keuze, want meestal gaat het goed. Maar we weten uit industrieën zoals de scheepvaart en de luchtvaart dat ‘meestal gaat het goed’ er vroeg of laat tot leidt dat het een keer gierend misgaat, met disproportionele schade tot gevolg.’

Procesoptimalisatie

Het idee bestaat dat ict de wereld effectiever en makkelijker zou moeten maken, maar valideren kost tijd en moeite. Je doet als het ware je investeringen teniet als je eerst uitgebreid moet gaan testen, zo lijkt het. De Winter noemt dit een drogredenering. 'Dan ben je niet bereid om je werk te doen. Volgens mij was procesoptimalisatie een van de belangrijkste doelen van ict. Ooit wilden we minder papier verspillen. Dat doel hebben we behaald. Het feit dat je iets nu efficiënter kunt doen, betekent niet dat je helemaal niets meer hoeft te doen.’

De uitzondering van de uitzondering van de uitzondering

Hij schat dat je met behulp van ict 80 procent van de zaken efficiënt kunt afhandelen, waardoor je extra aandacht in de overige 20 procent kunt steken. ‘Dat stukje menselijke maat lijkt te moeten wijken door techno-optimisme. Misschien kom ik op een leeftijd waarop ik dat gewoon niet meer zo acceptabel vind.’ Hij verwijst naar de totstandkoming van CoronaMelder, de app waar hij en vele anderen in opdracht van het ministerie van VWS aan werkten ten tijden van de coronacrisis. ‘Wij hadden de uitzondering van de uitzondering van de uitzondering ook gewoon op de radar, omdat het niet zo kan zijn dat er een burger niet kan meekomen. Dat is gewoon geen realistisch scenario.’

Citaat uit het boek: Het is prima mogelijk rekening te houden met het gegeven dat niet iedere situatie in een beslisboom past, niet altijd de meest negatieve interpretatie van het gedrag van anderen de juiste is. 'Je haalt nog steeds je doelen,' reageert De Winter. 'Misschien iets minder voortvarend dan je had gedacht, maar ja, such is life.'

Problemen schalen ook goed

Het is opvallend hoe groot de gevolgen zijn als het verkeerd gaat. De constante in het boek is dat het puinruimen vele malen duurder uitvalt dan de oorspronkelijke besparing. Zo was de Bulgarenfraude van in totaal 4 miljoen euro aanleiding voor het Toeslagenschandaal, dat inmiddels meer dan 7,2 miljard euro heeft gekost. ‘In de luchtvaart zeggen ze wel eens: If you think safety is too expensive, try an accident,’ zegt De Winter. ‘Daarbij komt dat ict in de regel goed schaalt. Als iets fout gaat, dan schaalt dat ook. Dat zie je nu bijvoorbeeld bij het UWV. Dat is echt een groot probleem en een dure grap om herstel te plegen.’

Welke tip wil je de BB-lezers tot slot meegeven?

‘Ga ervanuit dat dingen misgaan en vind dat óke. Stel de simpele vraag aan een ander of jezelf: hoe heb je dit vastgesteld? Als je gestotter hoort aan de andere kant, moet je het misschien toch even wat nader gaan bekijken.’