Guus geeft (geen) antwoord

De gemeente Goes is naar eigen zeggen de eerste gemeente met een AI-bot op de website. Chatbot Guus wordt ondersteund door OpenAI, dat van de gemeente toegang krijgt tot een beperkt aantal webpagina’s om het antwoord op een vraag op te vinden.

Dubbel contentbeheer

Een eerdere versie van chatbot Guus bestond sinds 2020. Deze versie kon voorgeschreven berichten koppelen aan verschillende voorbeeldvragen. Voor veelgestelde vragen ging dat vaak goed, voor uitzonderingen niet, en voor meervoudige vragen (‘hoeveel kost een parkeervergunning en waar vraag ik hem aan?’) nooit. Al met al schat de gemeente dat de ‘oude’ Guus ongeveer 40 procent van de vragen wist te beantwoorden.

Een groot nadeel van een chatbot die werkt met voorgeschreven berichten, is dubbel contentbeheer. ‘Wettelijk zijn we verplicht om drie versies van een tekst over bijvoorbeeld het aanvragen van een rijbewijs te hebben, in de praktijk zijn het er vier, en met de tekst van de chatbot erbij zijn het er vijf,’ rekent beleidsmedewerker Rutger den Toom voor. Met iedere versie van een tekst neemt de kans op het scheeflopen van informatie toe. Een chatbot die het antwoord op de eigen website van de gemeente ‘opzoekt’, voorkomt dit euvel.

Geen persoonsgegevens invoeren

Voor de nieuwe versie kan Guus voor vraaganalyse terecht bij OpenAI, het bedrijf achter ChatGPT. Goes heeft hiervoor een beperkt aantal webpagina’s aangeleverd aan OpenAI. Het botplatform van de leverancier kiest vervolgens de toon van het antwoord (altijd formeel). Als Guus eenmaal antwoord heeft gegeven, wordt de verstuurde informatie naar OpenAI vernietigd na dertig dagen. Ook staat in het chatvenster dat inwoners geen persoonsgegevens moeten invoeren in het gesprek met de bot. Guus is opgenomen in het nationaal algoritmeregister.

Kracht en nadelen AI ervaren

‘Het was een wens om snel ervaring op te doen met AI en het algoritmeregister,’ zegt Den Toom. ‘We willen de kracht en de nadelen van AI zelf ervaren, ook omdat we denken dat onze inwoners dat al doen.’ Daarbij gaat de gemeente niet over één nacht ijs: waar de implementatie ongeveer één uur in beslag nam, kostte de verantwoording er zeker tien. Verantwoording gaat dan om zaken als het collegevoorstel, registratie in het nationaal algoritmeregister en een Data Protection Impact Asssesment (DPIA).

Hoog zekerheidspercentage

Omdat het spannend is om een AI-bot te lanceren, kiest Goes voor een hoog zekerheidspercentage. De bot moet zo vaak als het kan het juiste antwoord geven in de juiste context. Dat betekent ook dat de bot (nog) geen synoniemen kent die niet op de betreffende webpagina staan. Staat er op webpagina van de gemeente over paspoorten geen informatie over ‘reisdocumenten’, dan zal Guus een vraag over reisdocumenten dus niet kunnen beantwoorden.

Geen antwoord

Onder de bestanden die de gemeente OpenAI ter beschikking stelt, zijn de websites van de gemeente en van de gemeenschappelijke regeling, GR De Bevelanden. Daardoor kan Guus met sommige vragen uitstekend uit de voeten, maar met andere helemaal niet. Op de vraag op welke dag de restafvalcontainer op de Tulpstraat langs de weg moet staan, moet Guus bijvoorbeeld het antwoord schuldig blijven. Dat komt doordat de ophaaldagen-database niet is gekoppeld aan de chatbot. Ook op de vraag ‘Naar welk adres kan ik mijn Woo-verzoek sturen?’ heeft Guus geen antwoord (gevolgd door de lieve wedervraag: ‘heb ik je goed kunnen helpen?’). Dat komt door de restrictieve instelling, weet Den Toom. ‘Je had naar het e-mailadres moeten vragen.’

Meer inclusiviteit en flexibiliteit

Met andere vragen weet de chatbot juist verrassend goed raad. ‘Ik maak me zorgen over mijn buurman. Hij maakt een verwarde indruk. Wat kan ik doen?’ levert een uitgebreid en zinnig advies op. Met de overstap naar AI hoopt de gemeente dat de chatbot minstens 70 procent van de vragen kan beantwoorden. Daar zit Guus nu al bijna aan. Het doel is om de inclusiviteit te bevorderen, zodat ook inwoners die niet zo digitaal vaardig zijn of die laaggeletterd zijn een antwoord op hun vraag krijgen. Daarvoor moet de instelling op den duur wat minder strak, erkent Den Toom, en zal de chatbot ook een synoniemenlijst tot zijn beschikking krijgen. ‘We blijven hem dan ook doorontwikkelen.’

Een voordeel van de koppeling met OpenAI is dat de kennis van de bot naar behoeven kan worden aangepast. Op de vraag ‘wie is mijn wijkagent’ biedt de website van de gemeente geen antwoord, maar Goes kan er voor kiezen om de chatbot wel een antwoord te laten geven, door de pagina van de politie (met toestemming) te laten inlezen. Voorlopig is het experimenteren met wat werkt. Op den duur kan de bot mogelijk meer dienstverlening op zich nemen, zoals het maken van afspraken of het invullen van formulieren met behulp van AI. Den Toom: ‘Maar ook dat doen we graag weloverwogen.’