Wat is cognitie?
Wat zijn de belangrijkste consequenties van de snelle ontwikkeling in LLM’s (large language models zoals ChatGPT) voor onderwijs en onderzoek in de filosofie? Ik vraag het ChatGPT zelf. Zoals meestal komt het antwoord in de vorm van een genummerde lijst consequenties die elk met bulletpoints verder worden toegelicht. Zo’n lijst geeft de indruk van goed gesystematiseerde informatie. Maar zoals vrijwel altijd het geval is met ChatGPT blijkt de ordening van informatie in feite vrij random te zijn; dezelfde informatie wordt herhaald onder verschillende kopjes en de kopjes zelf zijn van het type ‘a, 2, ten derde, IV’. De bulletpoints sommen voor- en nadelen op. LLM’s geven studenten en onderzoekers snelle toegang tot een hoop informatie, ze kunnen moeilijke concepten helder uit leggen en filosofen kunnen ze gebruiken om tegenargumenten te produceren waaraan ze hun eigen redeneringen kunnen testen. Daar staat tegenover dat de informatie aan de oppervlakte blijft en dat er een reëel gevaar is dat studenten steeds minder goed zelf leren lezen en schrijven als ze te veel gebruik maken van AI.
En dan staat er tussen deze trivialiteiten opeens dit: “Omdat ChatGPT een probabilistisch model is, dat is getraind op patronen in data zonder begrip van de inhoud, roept het filosofische vragen op over de aard van kennis en intelligentie. Het dwingt filosofen om na te denken over wat “begrijpen” en “weten” echt betekenen en wat het verschil is tussen menselijke en machinekennis.” Ook deze consequentie is niet geweldig moeilijk te bedenken, maar het is wel degene waarvan ik denk dat die het meeste impact zal hebben op mijn vakgebied, de cognitiefilosofie. Veel filosofen denken dat er een belangrijk verschil bestaat tussen het wat en het hoe van cognitie. Vaak wordt de suggestie gewekt dat het LLM’s qua wat zo’n beetje menselijke cognitie benaderen – de machinekennis van ChatGPT zou heel erg lijken op mensenkennis. Het verschil zou zitten in het hoe: machines produceren die kennis op een andere manier dan mensen. Dat is ook wat ChatGPT zelf suggereert: mensen produceren kennis op basis van begrip, LLM’s doen dat op basis van patroonherkenning.
Maar wie zegt dat begrip niet uiteindelijk een hele complexe vorm van patroonherkenning is? Dat is een interessante theorie in mijn vakgebied. Of die theorie klopt, kunnen we nu niet met zekerheid zeggen. Waarom niet? Omdat de suggestie dat machinekennis tegenwoordig genoeg lijkt op mensenkennis niet klopt. Kijk bijvoorbeeld naar de nep-systematiek in het antwoord van ChatGPT op mijn vraag (of beter nog: probeer het zelf met een vraag die een beetje moeilijk is). Het model is niet in staat om het eigen gebrek aan systematiek te zien en bij te werken. Het herkent herhaling van dezelfde betekenis in andere woorden niet goed. Het begrip ‘betekenis’ betekent niks voor het systeem. Wij zijn in staat om te zien dat het antwoord dat LLM’s ons doen nadenken over de aard van kennis en begrip eruit springt in de lijst met verder nogal triviale antwoorden. Het model zelf niet.
Ik heb nog een reden om te denken dat LLM’s nog niet voldoende op ons lijken om te kunnen bepalen of we begrip kunnen reduceren tot patroonherkenning. Samen met onderzoekers uit Japan heb ik een klein experiment gedaan met kunstmatige agents – actoren – die samen een taak moeten uitvoeren. Samenwerkende mensen blijken bij de uitvoering van dezelfde taak vrij snel over te gaan tot arbeidsverdeling en specialisatie.
De vraag was of kunstmatige LLM-agents dat ook zouden doen. Om te beginnen was het al moeilijk om de LLM-agents samen de taak te laten uitvoeren (dat lukte alleen een duur betaalde versie van ChatGPT). Maar vervolgens was er geen sprake van arbeidsverdeling. Om uit te vinden waarom niet, vroegen we de agents om hun overwegingen bij elke stap in de samen uit te voeren taak expliciet te maken. Die ‘verslagen’ lezen eerst als heel menselijke rapportages. Maar bij doorlezen worden ze steeds vreemder en onmenselijker. Bijvoorbeeld door het feit dat ze blijmoedig redeneringen blijven herhalen alsof ze die niet zojuist al twintig keer hebben opgeschreven.
We moeten dus kritisch zijn en zien dat LLM’s juist van ons verschillen in het wat van cognitie. Het is een open vraag of die verschillen in de toekomst weggewerkt kunnen worden. Als dat zo is, lijkt het mij onzinnig om te blijven volhouden wat werkelijk begrip iets anders is dan hele complexe patroonherkenning. De belangrijkste invloed van LLM’s op mijn vakgebied moet dus nog komen. Ze kunnen ons helpen werkelijk te begrijpen wat cognitie is. Daarvoor moeten we enerzijds proberen kunstmatige cognitie te maken die zo veel mogelijk om de onze lijkt. Maar anderzijds moeten we daarbij ook zo kritisch mogelijk blijven speuren naar de verschillen.