Trial en error met gemeentelijke chatbots

Steeds meer gemeenten maken gebruik van een chatbot bij online dienstverlening, die in een aantal gevallen inmiddels AI-gestuurd is. Burgers lijken hun weg ernaar te vinden – zo’n bot is immers 24/7 beschikbaar. Maar is de dienstverlening ook daadwerkelijk verbeterd? En wat kunnen we verwachten van generatieve AI?

Mai

Chatten met Mai, de chatbot van de gemeente Montferland, is best wel een genoegen. Je hebt soms het gevoel alsof je met een mens praat. ‘Hallo!’ antwoordt Mai vrolijk, ‘Hoe kan ik u helpen met uw vragen over de producten en diensten van de gemeente Montferland?’ Op de vraag ‘Hoe verleng ik mijn rijbewijs?’ geeft de chatbot keurig een aantal opties met linkjes waar je dat kunt doen. En een vriendelijke uitsmijter: ‘Als u nog hulp nodig hebt bij het maken van een afspraak, laat het mij weten!’

Mai is een uniek fenomeen binnen het gemeentelandschap. Montferland wilde het eerst extern ‘wegzetten’, maar besloot toen om een AI-expert in dienst te nemen om zelf een chatbot te bouwen, volledig in eigen beheer, op basis van een eigen GenAI-model (generatieve AI). Zo blijft de data ook lokaal. ‘Dat vonden wel echt een pre, en misschien zelfs wel essentieel’, zegt Michael Rave, Domeinmanager Bedrijfsvoering & Dienstverlening. Mai mag dan pas een maand ‘actief’ zijn, er is nu al grote belangstelling, vertelt hij.

Mai is ook een beetje uit nood geboren. Veel overheidsorganisaties als die van Montferland realiseren zich dat AI-gestuurde chatbots weleens belangrijk kunnen worden in tijden van arbeidsmarkttekorten en vergrijzing. ‘Dat gaat voorlopig niet meer verdwijnen’, zegt Rave. ‘En we willen natuurlijk de dienstverlening wel op peil houden.’

Guus

Montferland voerde een onderzoek uit dat duidelijk moet maken of er privacyrisico’s zijn – een zogenoemd DPIA – en nam de bot op in het nationaal algoritmeregister. Ook chatbot Guus is daarin terug te vinden, eveneens voorzien van een DPIA. Guus werd in december 2023 aangepast van een scripted bot – een chatbot die werkt op vooraf geprogrammeerde scripts waarbij beperkingen worden opgelegd aan de gebruiker bij de vraagkeuze – naar een bot die draait op GenAI, en die dus qua vraag en antwoord veel meer mogelijkheden biedt. Goes was de eerste gemeente in Nederland die dat deed. Voor deze aanpassing werd een beperkt aantal webpagina’s aangeleverd aan OpenAI, het bedrijf achter ChatGPT. Het botplatform van de leverancier kiest vervolgens de toon van het antwoord – in dit geval altijd formeel.

Met Guus speelde Goes op veilig: de bot moest zo vaak mogelijk het juiste antwoord geven in de juiste context. Volgens beleidsmedewerker Rutger den Toom heeft Goes nog altijd niet aan voorzichtigheid ingeboet. Zo is GenAI nog altijd niet goed met synoniemen. ‘Onze bot staat nog altijd afgeknepen ingesteld, om het zo te zeggen. We waren natuurlijk de eerste, en daarom hebben we voor een behoudende aanpak gekozen.’ Dat de bot tegen de burger gaat ‘praten alsof het een kind van drie betreft – daar kiest Den Toom niet voor. Wel ziet hij qua communicatie verbeterpunten; hij kijkt daarbij nadrukkelijk naar Montferland. ‘Het gesprek met Mai verloopt wat soepeler en natuurlijker. Daar willen we echt wel aan gaan werken.’

Zakelijk en beknopt wat betreft informatieverstrekking, dat lijkt dus nu nog het devies bij Guus. Is de dienstverlening ook daadwerkelijk verbeterd, na krap een jaar tijd? De ambitie was dat 70 procent van de vragen direct kon worden beantwoord. ‘We zien op dat gebied nu 60 procent beantwoorde vragen, tegenover rond de 30 procent met de oude, gescripte variant. Dat is al een hele verbetering.’ En het is duidelijk dat er veel meer informatie kan worden ontsloten – ook buiten het online domein van de gemeente Goes.

Gem

En dan is er ook nog de virtuele assistent Gem – een samenwerkingsverband en open source-ontwikkeling van zo’n twintig gemeenten, waaronder Tilburg en Eindhoven. Gem werkt op basis van bestaande data en AI en is, hoewel veel vragen van burgers hetzelfde zijn, specifiek toepasbaar per gemeente. In Roosendaal bijvoorbeeld is chatbot Gem volop actief en strooit met verhelderende antwoorden. Op de vraag ‘hoe verleng ik mijn rijbewijs?’ volgt een duidelijk geformuleerd stappenplan met linkjes en tot slot een feedbackmogelijkheid.

‘Ja, we zijn er best tevreden over,’ zegt Uhro van der Pluijm, adviseur online dienstverlening van Roosendaal. Dat geldt wat hem betreft ook voor het samenwerkingsverband. ‘Zo kunnen we ook van elkaar leren en kom je op dingen die je misschien zelf niet wist. We hebben elke week contentoverleg over welke onderwerpen veel vragen binnenkomen. Hoe meer data we hebben, hoe beter Gem zich ontwikkelt.’

Bijschaven en aanpassen

Er start binnenkort een pilot om te onderzoeken hoe genAI de dienstverlenende prestaties van Gem kan verbeteren. Van der Pluijm is nog wel wat huiverig. ‘Wat je natuurlijk absoluut niet wilt, is dat de bot gaat hallucineren. Een chatbot op basis van GenAI geeft, als hij het niet weet, soms antwoorden die aannemelijk zijn en mooi klinken, maar niet altijd juist zijn.’ In de Roosendaalse versie van Gem zit overigens een livechat-functie ingebouwd. Van der Pluijm: ‘Op het moment dat Gem er niet uitkomt, kun je je vragen stellen aan de webcare.’

Zo is het in elke gemeente dus trial and error, bijschaven en aanpassen – zo gaat dat nu eenmaal met nieuwe, revolutionaire technologie. In Montferland wordt intussen flink gedroomd. ‘We zien Mai als een blauwdruk. Het zou toch heel mooi zijn als we ons model kunnen verspreiden onder andere gemeenten?’

Lees het hele artikel in BB23 (inlog)