Is ChatGPT een geschikte tool voor rechter of ambtenaar?

Een Nijmeegse kantonrechter gebruikte recent als eerste rechter in Nederland de AI-tool ChatGPT om een vonnis te onderbouwen. Dat leidde tot veel kritiek. Wat kunnen lokale overheden hiervan leren?

Het is welbekend dat de rechtspraak met personeelstekorten kampt. Daardoor is productiviteitswinst aantrekkelijk. Dat een kantonrechter ChatGPT gebruikt om het geschatte rendementsverlies van een klager te bepalen, is dan ook begrijpelijk. Maar het is niet zonder risico.

Allereerst is het niet duidelijk op welke informatie een tool als ChatGPT zich baseert, omdat het taalmodel geen bronnen toont. Wie wel eens een werkstuk heeft ingeleverd, weet dat Wikipedia geen geloofwaardige bron is. De boeken, sites of artikelen waar Wikipedia naar verwijst, zijn dat echter wel. Die vlieger gaat ook op voor ChatGPT. ChatGPT mag op zichzelf dan geen bron zijn, maar dat geldt niet voor de bronnen van ChatGPT. We weten alleen niet welke bronnen de tool hanteert.

Dat brengt ons op de vraag of de kantonrechter niet beter een ‘ouderwetse’ zoekmachine had kunnen gebruiken. Dat is weliswaar minder ‘innovatief’ dan ChatGPT, maar effectiever, aangezien duidelijk is welke bronnen gebruikt worden om tot een oordeel te komen. Wel zo transparant.

Daarbij kent generatieve AI een ander fundamenteel probleem. ChatGPT produceert soms wartaal. Taalmodellen als ChatGPT zijn in feite statistics on steroids: ze voorspellen welk woord of welke zinnen passen bij een vraag, zonder dat ze begrip hebben van de betekenis van deze woorden. Daarom geeft ChatGPT een uitgebreid antwoord op de vraag wie het snelste het Kanaal overstak - per voet. Onduidelijk is wanneer de tool wartaal produceert en dus moet men kritisch zijn op de output. In elk geval kritischer dan deze Nijmeegse rechter.

Bovenal gaat er een waarde schuil onder de keuze van de kantonrechter voor ChatGPT als analysetool: de idee is dat AI neutraal is. De gedachte is dat kunstmatige intelligentie absolute waarheden produceert, omdat het gebruikmaakt van data. En cijfers liegen niet, toch? Ik hoop dat elke (lokale) ambtenaar onthoudt dat er drie soorten leugens zijn: leugens, grove leugens en statistieken.

AI-systemen zijn zo goed als de data waarmee ze getraind zijn. ChatGPT is getraind met informatie die op het internet te vinden is. Dit komt hopelijk niet als een verrassing, maar niet alles wat op het internet staat is waar. Er is geen opleiding of certificaat nodig om online informatie te delen. Rechters – en ambtenaren – mogen zich afvragen hoe intelligent het is om te leunen op het oordeel van de gemiddelde internetgebruiker.

In een interview met het FD stelt een ASML-woordvoerder dat het zonde zou zijn als de rechtspraak achterop zou raken in het gebruik van AI. Tsja. Het is flauw om op te merken dat ASML de machines produceert die nodig zijn voor AI-computerchips, maar het is niet onwaar. Het bedrijf raadt rechters aan om AI te gebruiken voor het schrijven en samenvatten van teksten. Dat is een prima suggestie, net als het voorstel om eigen taalmodellen te ontwikkelen. Zo profiteren organisaties van de voordelen van AI, zonder afhankelijk te zijn van bedrijven als OpenAI, die aan de haal gaan met de data van gebruikers. Bijkomend voordeel: door AI-systemen te trainen op eigen data, is de herkomst van de informatie ook geen geheim meer.