Grote taalmodellen (Large Language Model, LLM) bootsen menselijke communicatie perfect na maar ze begrijpen in feite helemaal niets. We verwarren de vloeiende antwoorden massaal met echt denkvermogen. De realiteit is een stuk nuchterder. Onderzoekers Eve Bodnia en Boris Hanin van de vooruitstrevende start up Logical Intelligence tonen in hun nieuwste wetenschappelijke werk aan dat deze systemen wiskundig gezien tegen een muur lopen. Ze zijn fantastisch als menselijke interface (het communicatiescherm tussen mens en machine) maar ze zijn fundamenteel ongeschikt voor autonoom redeneren. In de evolutie van kunstmatige intelligentie vormen ze slechts de mond en absoluut niet het brein.
De huidige methode om computers te laten nadenken rammelt aan alle kanten. Vandaag de dag proberen we deze modellen ingewikkelde kwesties te laten oplossen door ze een redeneerspoor te laten uittypen. Je kent de instructie om stap voor stap na te denken waarschijnlijk wel. Dit proces kent echter 3 grote bottlenecks (knelpunten die de snelheid of kwaliteit blokkeren) waardoor de computer fout op fout stapelt.
In de eerste plaats werkt de software autoregressief (een systeem dat tekst woord voor woord genereert van links naar rechts). Als de computer bij stap 10 merkt dat hij bij stap 2 een cruciale denkfout heeft gemaakt kan hij niet even terug om die fout te corrigeren. Het systeem moet blind vooruit blijven gokken of de hele tekst weggooien en opnieuw beginnen. Daarnaast is de software lokaal geoptimaliseerd. Tijdens het trainingsproces leert het model uitsluitend om het eerstvolgende woord zo logisch mogelijk te voorspellen. Het heeft geen inherent wiskundig besef van het globale doel of van de harde logische restricties van het eindplan. Ten slotte zijn woorden discreet (losstaande en harde elementen die je niet vloeiend kunt veranderen). Je kunt een tekstuele redenering in een traditioneel model niet een klein beetje bijschaven via wiskundige optimalisatie. Het veranderen van slechts 1 woord verandert de betekenis direct drastisch. Het logische gevolg hiervan is dat systemen hallucineren (het verzinnen van feiten die plausibel klinken maar onjuist zijn) en ontsporen bij lange logische ketens. Je krijgt code of wiskundige bewijzen die op het eerste gezicht aardig lijken maar onder de motorkap volkomen rammelen.
De oplossing ligt niet in het nog groter maken van deze systemen of het toevoegen van nog meer data. We hebben een ingrijpende wijziging nodig in de architectuur van de software. De introductie van energiegebaseerde redeneermodellen (Energy-Based Model) lost dit probleem op. Bodnia en Hanin introduceren met hun nieuwe model genaamd Kona een aanpak die het concept van redeneren herdefinieert. In plaats van te gokken naar het volgende woord benadert Kona een vraagstuk als een natuurkundig optimalisatieprobleem. In deze nieuwe structuur krijgt een compleet redeneerplan een wiskundige score die de onderzoekers de energie noemen. Een hoge energie betekent dat er een logische fout of contradictie in het plan zit. Een lage energie betekent dat het plan consistent is en netjes voldoet aan alle regels.
Het vindingrijke hieraan is dat deze energiescore ook kan worden toegepast op incomplete plannen. De computer kan heel specifiek aanwijzen dat de energie in stap 3 omhoogschiet waardoor de software direct weet waar de fout zit. Bovendien redeneert een model als Kona niet in losse woorden maar in een vloeiende vectorruimte (een wiskundige omgeving waarin gedachten bestaan uit continue getallen). Omdat deze gedachten vloeibaar zijn kan het model gradient descent (een beproefde wiskundige methode om stap voor stap de meest optimale uitkomst te berekenen) gebruiken om de redenering heel gericht bij te schaven totdat de energiescore exact 0 is en de logica waterdicht blijkt.
Dit betekent niet dat we de bekende taalmodellen direct moeten afschrijven. De werkelijke vooruitstrevende stap die we nu zetten is de overgang naar hybride systemen waarin verschillende technieken samenwerken. In de nabije toekomst bestaat een betrouwbaar systeem uit gespecialiseerde lagen. De vertrouwde taalmodellen blijven onmisbaar als de communicatielaag. Zij begrijpen de nuances van jouw menselijke taal en vertalen het uiteindelijke resultaat terug in een helder leesbaar rapport. Voor het zware constructieve denkwerk zoals softwarearchitectuur of logistieke planning schakelt het systeem direct over naar een energiegebaseerd model zoals Kona. Een centrale coördinatielaag die door Logical Intelligence Aleph wordt genoemd regisseert deze dans tussen taal und harde logica.
De afgelopen jaren hebben we ons verbaasd over machines die vloeiend kunnen praten. Het was een noodzakelijke en interessante stap om de technologie toegankelijk te maken voor het grote publiek. We moeten alleen niet de fout maken te denken dat een gokmachine die de juiste woorden achter elkaar zet ook de machine is die onze complexe maatschappelijke problemen gaat oplossen. Echte intelligentie vereist planning en het vermogen om fouten te herstellen voordat ze worden uitgesproken. Met de verschuiving van taalpatronen naar wiskundige optimalisatie begint de computer eindendlich te leren hoe hij echt moet denken.