BBB-chatbot smaakt naar meer

De BoerBurgerBeweging (BBB) gebruikt bij het schrijven van zijn verkiezingsprogramma een chatbot gebaseerd op ChatGPT, zo bleek eind vorige maand uit een rondgang van BNR. Dat blijkt zo’n succes dat de generatieve AI in de toekomst ook voor andere doeleinden van de fractie gebruikt gaat worden, vertelt Bart Luttels, maker van de chatbot.

1.500 A4'tjes doorlezen

Het idee voor de huidige chatbot ontstond toen leden van de BBB 1.500 A4’tjes wilden doorlezen, in voorbereiding op het samenstellen van het verkiezingsprogramma. ‘We hebben weinig tijd, maar dit moet wel gebeuren. Maar ik wist dat je hier ook AI voor kunt gebruiken. Dus ging ik daar wat voor maken’, beschrijft Luttels zijn gedachtegang nu.

Niet aangekondigd

Luttels is rayonhoofd van BBBJong in Limburg, maar zit ook in de programmacommissie voor het verkiezingsprogramma en is dus verantwoordelijk voor de chatbot. Generatieve AI lag ook al niet ver buiten zijn expertisegebied: hij studeert technische bedrijfskunde en is data-analist bij VDL. ‘Aan de datazijde heb ik dus al veel kennis opgedaan. En de rest heb ik mezelf aangeleerd.’

De bouw van de chatbot voor BBB kondigde hij niet aan. ‘Ik heb het gewoon gedaan en toen het klaar was, gezegd: hier is het, kijk maar wat jullie vinden,’ vertelt hij droogjes. ‘Iedereen was enthousiast, dus nu gaan we verder uitbreiden.’

Eigen database, eigen data

De eerste chatbot van BBB heeft een concreet doel: medewerkers van BBB kunnen met de chatbot de essentie destilleren uit bijdragen van Caroline van der Plas in de Tweede Kamer. Gebruikers kunnen daarvoor een vraag intypen bij de chatbot, waarna het systeem het antwoord zoekt in zijn zogenaamde vector database. Daarin worden datapunten op zo’n manier opgeslagen dat een vragentool sneller met antwoorden kan komen. In de database van BBB zitten nu debatverslagen, gestelde Kamervragen en andere bijdragen van Van der Plas in de Tweede Kamer. ‘Het systeem kijkt waar het antwoord het beste uit gehaald kan worden, genereert het antwoord en geeft dat dan, samen met een bronvermelding.’ Op die manier wordt informatie snel samengevat en doorzoekbaar gemaakt.

Sneller systeem

Luttels aanpak maakt het systeem naar eigen zeggen ook een stuk sneller dan wanneer je via één van de nieuwere plugins van ChatGPT zelf een pdf uploadt om daar de essentie uit te halen. ‘Iedere keer dat je die pdf uploadt, gaat ChatGPT die dan zelf lezen. Hij onthoudt de data niet. Maar het stukje embedding dat wij nu met de vector database doen, duurt één keer tien minuten. We hoeven het hierna nooit meer te uploaden. De chatbot weet nu alles al over alle teksten die in de database staan.’

Privacyrisico’s afdekken

Bijkomend voordeel is ook dat er zo privacyrisico’s worden afgedekt. Bekend probleem met ChatGPT is dat alles wat in ChatGPT aan data gestopt wordt, ook weer gebruikt wordt voor het trainen van de AI. Verschillende bedrijven deden het gebruik van de chatbot daarom al in de ban. ‘Maar als je de API gebruikt, wordt er geen data gedeeld met OpenAI. Dus in principe hebben we dat nu afgeschermd.’

Hallucinaties ondervangen

Een tweede bekend risico van ChatGPT zijn hallucinaties: lang niet alles wat de chatbot aan informatie geeft, klopt ook. Om dat af te vangen, heeft Luttels diverse stappen genomen. ‘We hebben de chatbot extra getraind, waarmee we kunnen zorgen dat het feitelijk antwoordt en we hallucinaties voorkomen. We zorgen bijvoorbeeld dat hij bepaalde dingen nooit kan zeggen en andere dingen altijd zegt. En het moet altijd informatie in onze database opzoeken, nooit daarbuiten.’ Klaar is het echter niet: ‘We breiden de training nog verder uit, want we merken ook nu nog dat bepaalde dingen niet altijd lekker lopen. Dat passen we dan aan.’

Die extra training neemt wel relatief veel tijd in beslag. Luttels schat in dat het maken van de chatbot zelf zo’n drie weken duurde. ‘De training kostte de helft van die tijd.’

Meer chatbots volgen

De eerste chatbot is goed ontvangen door de BBB en smaakt naar meer. Luttels is inmiddels een eigen bedrijf begonnen – LTech Consultancy – waarmee hij chatbots bouwt. Voor de BBB is hij alweer hard bezig. ‘Ik ben nu bezig met het bouwen van een backend waar ik meer chatbots in kan zetten. Daarna gaan we kijken waar nog kansen liggen.’ Een optie is bijvoorbeeld om de chatbot te gebruiken bij het opstellen van Kamervragen. Het systeem weet namelijk al wat dat zijn en in welk format die opgesteld moeten worden. In theorie kunnen BBB-leden dus informatie aanbieden aan een chatbot, waarna deze ze omzet in Kamervragen.

Altijd controleren

Maar ondanks dat er maatregelen genomen zijn om hallucinaties en andere fouten te voorkomen, geeft Luttels nog wel een waarschuwing mee aan gebruikers. ‘Je moet altijd kijken waar je het voor gebruikt. Je kunt dit geen complete documenten laten maken en je moet dingen altijd nalezen en controleren.’

Dit artikel verscheen eerder op AG Connect.