‘Inspirerend: mooie dingen bouwen met veel minder rekenkracht’

De app van de Chinese startup DeepSeek liet de wereld afgelopen week kennismaken met de slimheid van Chinese AI-ontwikkelaars, die ondanks Amerikaanse importbeperkingen toch een redeneermodel ontwikkelden dat zich kan meten aan dat van de Amerikanen, voor een fractie van de ontwikkelkosten. Is het ook goed nieuws voor het Nederlandse taalmodel GPT-NL?

'Spoetnikmoment'

Vorige week was de week van DeepSeek, de Chinese start-up die met minder dan 200 man personeel een large language model (LLM) wist te ontwikkelen dat zich qua redeneerkracht kan meten met het o1-model van OpenAI, maar dan tegen een fractie van de ontwikkelkosten. Door de importbeperkingen die de Verenigde Staten China hebben opgelegd, kan China niet over dezelfde chips beschikken, maar DeepSeek vond manieren om deze beperkingen te omzeilen. ‘Een spoetnikmoment’ volgens de Amerikaanse investeerder en Trump-adviseur Marc Andreessen, oftewel een moment waarop de Amerikanen zich realiseren dat ze technisch toch niet zo ver vooruitlopen als ze dachten.

Diepe zakken

Wat betekent het nieuws over  voor GPT-NL, het Nederlandse taalmodel in wording van TNO, SURF en NFI? Aan de ene kant niet zo veel, zegt Saskia Lensink, productowner van GPT-NL bij TNO. ‘DeepSeek laat zien dat we veel meer kunnen halen uit de hardware dan we voorheen dachten en dus dat we veel meer kunnen met minder. Maar je moet niet vergeten dat er nog steeds best wat rekenkracht in het model van DeepSeek zit. Het hedgefund dat erachter zit heeft heel diepe zakken, dus ze hebben ook veel meer investeringskracht dan wij.’

Maar het grootste verschil zit in de hoeveelheid data. ‘DeepSeek gooit er een enorme berg data tegenaan, die vol zit met onrechtmatig verkregen gegevens en rommel.’ Dit in tegenstelling tot GPT-NL, dat als missie heeft om vanaf de start alleen schone data te gebruiken, dus alleen data waarvoor toestemming is gegeven door de rechthebbenden.

Hypocriet

Dat OpenAI dreigt met rechtszaken tegen DeepSeek omdat de laatste de OpenAI-modellen zou hebben gebruikt om hun eigen model te trainen, is dan ook een gevalletje ‘de pot verwijt de ketel dat ‘ie zwart ziet’. ‘Het was te verwachten, maar kom op zeg,’ lacht Lensink. ‘OpenAI heeft natuurlijk ook het internet leeg getrokken. In deze industrie kopieert iedereen alles van iedereen. In de voorwaarden van ChatGPT staat dat je niet op basis van hun output een concurrerend model mag bouwen. Daarover kun je dan inderdaad een rechtszaak aangaan, maar het voelt wel wat hypocriet.’

Bruisen

Maar dat DeepSeek de wereld wakker schudt, beschouwt ze als een welkome ontwikkeling. ‘Je merkt dat het begint te bruisen,’ zegt ze. ‘Het inspireert dat je blijkbaar ook heel mooie dingen kan bouwen met veel minder rekenkracht. En dat is dan stiekem ook nog eens goed voor het milieu. Dat was misschien niet de uitgangspositie van de Chinezen, maar het is wel inspirerend.’

Het maakt bovendien dat het enthousiasme voor GPT-NL in Nederland wordt aangewakkerd. Waar het initiatief in eerste instantie met veel scepsis werd begroet (‘wat kun je nu beginnen met 13,5 miljoen?’), lijkt de wind door de komst van DeepSeek toch wat gedraaid.

Stappen zetten

‘Uiteindelijk is het wel de bedoeling dat we niet volledig afhankelijk zijn van Amerikaanse spullen en evenmin van Chinese spullen. DeepSeek heeft te maken gehad met een gigantisch datalek. Een miljoen chatgesprekken liggen op straat. Daar kun je niet op vertrouwen. Dan moeten we ergens wel stappen gaan zetten.’