Experimenten met taalleerders

Taal en denken zijn sterk met elkaar verbonden. Baby’s kunnen in bepaalde opzichten al ‘nadenken’, maar het komt pas echt op gang in de jaren die volgen. Deels hangt dit samen met het verwerven van taal –– en daar gaat mijn onderzoek over. Het vakgebied beleeft een enerverende tijd: niet lang geleden maakte de wereld kennis met een nieuw soort ‘taalleerder’. Naast kinderen van onze eigen soort, kunnen nu ook computermodellen competente sprekers van een of meerdere menselijke talen worden. Het bekendste voorbeeld is ChatGPT, een webapplicatie waarmee miljoenen mensen het afgelopen jaar chatgesprekken voerden in het Engels of een van de ruim vijftig andere talen die het model heeft geleerd.

Velen vragen zich af of we uit zulke gesprekken kunnen opmaken dat het model die talen ook werkelijk spreekt, verstaat en begrijpt. Wat deze vraag lastig te beantwoorden maakt, is dat we voor ‘spreken’, ‘verstaan’ en ‘begrijpen’ eigenlijk alleen onszelf, de mens, als referentiekader hebben. Sommige onderzoekers vinden daarom dat we zulke begrippen niet kunnen gebruiken als we het over taalmodellen als ChatGPT hebben. Ze wijzen erop dat we daarmee onterecht antropomorfiseren; we projecteren menselijke eigenschappen op een ding dat die niet werkelijk heeft, maar ons alleen de illusie geeft.

Dat deze illusie ontstaat is in het geval van ChatGPT heel begrijpelijk: gedurende ons leven zijn we eraan gewend geraakt dat als iemand in prachtige, correcte volzinnen spreekt, diegene doorgaans ook een heldere geest heeft. Alan Turing, grondlegger van de kunstmatige intelligentie, vond dat het voeren van een gesprek op menselijk niveau een goede intelligentietest was voor een computersysteem, aangezien het hiervoor een heleboel dingen moest kunnen. Het systeem zou niet alleen taalvaardig moeten zijn, maar ook kennis over allerlei zaken moeten hebben, kunnen redeneren, reflecteren, een geheugen moeten hebben, enzovoorts, om niet meteen door de mand te vallen.

Turing had er vertrouwen in dat zo’n computersysteem er zou komen. ChatGPT komt een heel eind in de buurt bij wat hij in de jaren ’50 van de twintigste eeuw voor ogen had, ondanks de gebreken die het model heeft. Het bekendste gebrek is misschien wel dat het met regelmaat ‘hallucineert’: onwaarheden produceert die niettemin heel waarschijnlijk kunnen klinken. Ook is het niet zo goed in staat tot bepaalde logische redeneringen. Hoewel ik wel de gevaren zie die deze gebreken met zich meebrengen (het kan mensen op grote schaal op het verkeerde been zetten), behoor ik niet tot de onderzoekers die vinden dat een taalmodel als ChatGPT om deze redenen meteen niet intelligent is. Het is niet precies op dezelfde manier intelligent als wij mensen, maar er is wel degelijk sprake van intelligent gedrag.

Dit zou wat mij betreft niet het geval zijn als het model geheel door mensen voorgeprogrammeerd was om de gesprekken te voeren die het voert. Maar dit is niet hoe het werkt: het model heeft een trainingsproces ondergaan waarin het gaandeweg ‘slimmer’ is geworden. Er zijn aanvankelijk enorme hoeveelheden tekst aan het model gevoerd, waarin telkens verschillende woorden gemaskeerd waren. Het model moest dan ‘raden’ welke woorden op deze plekken hadden moet staan. Daarna kreeg het de juiste antwoorden te zien en werd het, ronde voor ronde, steeds een klein stukje beter in het voorspellen van de gemaskeerde tekst.

Dit lijkt een triviale taak, maar het is belangrijk om te beseffen wat het model allemaal moet leren om hier écht goed in te worden. Het moet kennis verwerven van taalkundige structuren (zoals dat werkwoorden in Nederlandse hoofdzinnen aan objecten vooraf gaan) en van hoe interacties in elkaar zitten (bijvoorbeeld dat op een vraag een antwoord volgt), maar ook woordbetekenissen leren. Dat laatste is onlosmakelijk verbonden aan kennis van de wereld, zoals dat Amsterdam een hoofdstad is, dat hoofdsteden geografische locaties zijn, dat geografische locaties plekken zijn waar je je kunt bevinden of waar je heen kunt, enzovoorts.

Het meest fascinerende inzicht van de afgelopen jaren is dat er door het beter worden in een schijnbaar simpele taak als gemaskeerde tekst voorspellen, uiterst rijke informatie wordt opgeslagen in de modellen en dat deze informatie tot emergente eigenschappen leidt. Dat wil zeggen dat de modellen meer dan de som der delen worden: ze kunnen dingen die strikt genomen geen onderdeel van de training waren, maar die voortkomen uit het op nieuwe manieren her-combineren van informatie die het heeft geleerd.

Dit gebeurt ook bij mensen en andere dieren en is een belangrijk onderdeel van wat ik zie als intelligentie. Wetenschappers zijn al decennialang (zo niet eeuwen) geïnteresseerd in dit soort emergent intelligent gedrag, maar echt goed begrepen is het tot op heden niet. Dat maakt deze tijd zo spannend voor onderzoekers in mijn veld. Bij mensen is het namelijk onmogelijk om uit wetenschappelijke nieuwsgierigheid in hun ontwikkeling in te grijpen –– om volstrekt duidelijke ethische redenen. Je wilt geen experiment doen waarin je bijvoorbeeld de ene groep kinderen jarenlang wél elke dag een uur boekjes voorleest en een andere groep strikt weghoudt bij alles waar een verhaal in staat. Zeer waarschijnlijk beïnvloedt dit hun woordenschat en andere aspecten van hun taalvaardigheid, maar mogelijk pikken ze ook bepaalde vormen van (sociaal) redeneren minder goed op. Een nog extremer geval zou zijn dat je één groep met een niet-bestaande, onlogisch gestructureerde taal laat opgroeien, terwijl een andere groep een natuurlijke mensentaal leert. Dit zou een vreselijk wreed experiment zijn, tenzij de groepen niet uit kinderen bestaan, maar uit kunstmatige taalleerders…

Dergelijke experimenten gaan we in mijn lab de komende periode op heel kleine schaal uitvoeren, maar het zou natuurlijk echt interessant zijn om dit met de grote, meest competente modellen te proberen. Helaas kost het trainen hiervan waanzinnige hoeveelheden energie, werk en geld, zodat het alleen binnen bereik ligt van een aantal grote technologiebedrijven –– en die kunnen zo’n nieuwsgierigheidsgedreven onderzoeksproject, hoe fascinerend ook, niet uitleggen aan hun aandeelhouders.