De AI-revolutie en de ‘empirisering’ van de informatica
Op 8 oktober 2024 ontvingen de informatici John J. Hopfield en Geoffry E. Hinton de Nobelprijs voor natuurkunde met als slogan: They trained artificial neural networks using physics.1 Een enorme opsteker voor mijn vakgebied natuurlijk, maar het is wel vreemd. Om te beginnen bestond er helemaal geen Nobelprijs voor Informatica, dus niemand had dit zien aankomen. Het comité in Stockholm heeft besloten dat het werk van Hopfield en Hinton nu belangrijker is dan dat van de pure fysici met hun van de realiteit losgezongen theoretische modellen. Dat de natuurkunde zelf niet helemaal lekker gaat was al langer duidelijk (ga naar Youtube, tik in ‘physics in crisis’ voor een impressie). Op zich valt de move van het comité wel te begrijpen. Het belang van generatieve AI voor onze wereld is enorm en informatica is gewoon natuurkunde zonder franje: de vergelijkingen voor entropie in de natuurkunde en in de informatietheorie zijn exact gelijk.2 Wat mij betreft was de slogan ‘They trained artificial neural networks using information theory’ passender geweest. Er zijn nog meer overeenkomsten. Ons vak zit al dertig jaar in dezelfde theoretische crisis, maar daarover later meer.
Het valt niet te ontkennen: Artificiële Intelligentie is weer eens hot maar dit keer is het een blijvertje. Na tachtig jaar ploeteren met perceptrons, experimenteren met expertsystemen en doormodderen met datamining is de AI-revolutie eindelijk daar. De technologie zit ons na twee jaar (ChatGPT werd in 2022 gelanceerd) zo dicht op de huid dat ze al niet meer weg te denken is uit ons dagelijks leven. Wat is er gebeurd?
Eén manier om het te begrijpen is de architectuur van ons brein. Tot pakweg begin deze eeuw concentreerde de AI-research zich op modelleren van rationele processen: spreken, redeneren, handelen. Dat zijn vaardigheden van de neocortex, het evolutionair gezien jongste deel van onze hersenen. De laatste twintig jaar hebben we hardware ontwikkeld die heel dicht op de neurale architectuur van ons brein zit. We zijn doorgedrongen tot modellen van het limbisch systeem. Dat is ruwweg wat we gemeen hebben met alle zoogdieren: kijken, horen, voelen. Het regelt ook onze emoties.
Het effect is spectaculair. Dat komt vooral door de koppeling met resultaten van de eerste generatie AI-systemen: we kunnen de computer in menselijke taal opdracht geven iets te maken dat ons emotioneel raakt. Hij kan essays voor ons schrijven, foto’s genereren, films voor ons maken, teksten samenvatten, stemmen van acteurs nadoen. Hij kletst, tekent, musiceert dat het een lieve lust is. De mogelijkheden zijn eindeloos. De meeste toepassingen vallen in een categorie ergens tussen ‘aardig’ en ‘zonde van de tijd’, maar er zijn ook serieuze commerciële en wetenschappelijke applicaties.
Er lijkt een perfecte storm van disruptieve technologieën op ons af te komen, niet alleen AI, maar ook bijvoorbeeld nanotechnologie, robotica, quantum computing en biotechnologie. Op de gevolgen daarvan ben ik niet gerust. De mens is in hoog tempo bezig een technologische werkelijkheid voor zichzelf te creëren die volkomen vreemd is aan onze cognitieve en biologische vaardigheden en behoeften. Al die innovatie lijkt er niet toe te leiden dat we als menselijk ras beter instaat zijn onze problemen op wereldschaal op te lossen. In tegendeel: technologie heeft de potentie om de mens te reduceren tot een moordaap met een neanderthaler brein die achter de eerste en beste machtsbeluste psychopaat aanloopt. Aan het eind van deze eeuw zal de wereld er totaal anders uitzien, maar ten koste van hoeveel menselijk leed is een open vraag. AI zal daarbij een rol spelen, maar welke is nog niet duidelijk.
Het is altijd moeilijk een revolutie te duiden als je er middenin zit. Een val waar ik niet in wil trappen is toegeven aan de verleiding om u nu even uit te leggen wat AI allemaal niet kan. Als je ziet wat voor technologische vooruitgang de mensheid in de laatste eeuw heeft geboekt, dan moet je toegeven dat we ons niet kunnen voorstellen hoe het er over honderd jaar voor staat, of over duizend, een miljoen, een miljard? Als we machines creëren die slimmer zijn dan wijzelf lijkt me dat voor de menselijke beschaving niet per se een ramp. Ik zie ook niet in waarom die machines ons zo nodig zouden willen vernietigen, hoewel een van de winnaars van de Nobelprijs daar wel bang voor is.3 Het lijkt meer een onontkoombare stap in de evolutie van onze soort. Als ze echt slim zijn en in staat tot een moreel oordeel dan zullen ze zeker de waarde van een symbiose met de mens inzien.
Misschien is een logische uitkomst van evolutie op een planeet wel dat uiteindelijk één soort gaat domineren, die dan vervolgens technisch begaafd genoeg wordt om aan zichzelf te sleutelen en de soort artificieel te herscheppen. Het leven zoals wij dat kennen op onze planeet is slordig, overproductief en wreed. Het lijkt geen enkele waarde toe te kennen aan het individu. Alles gaat maar dood en eet mekaar op. Dat kan vast handiger en humaner: een stap van ‘survival of the fittest’ naar ‘eternal life for the cleverest’.
Terug met de voeten op de aarde. ChatGPT 4 uit 2023 is de laatste versie waarvan we details over de architectuur van de software redelijk kennen. Het programma is volgens sommige bronnen4 getraind op een input van ongeveer 10 triljoen (10 x 10^18) woorden. Hiervoor werden 25.000 speciale AI A100 processoren ingezet met een gezamenlijke rekenkracht van 2.15 x 10^25 FLOPS. Die hebben ca. 100 dagen staan stampen met een rekening van 68 miljoen dollar (even voor een sanity check in Nederlandse context: dat is ongeveer wat de huidige regering per jaar op hoger onderwijs bezuinigt5 ). De rekenkosten van toekomstige versies alleen al wordt geschat tussen de 300 miljoen en 6 miljard dollar per model.6 Kortom, peanuts voor grote bedrijven.
Het enige dat het programma kan is het volgende woord van een zin voorspellen. Dat doet het wel ontzettend slim, met gigantische rekenkracht en op basis van zo ongeveer de totale gedigitaliseerde intellectuele productie van drieduizend jaar beschaving. De ‘creativiteit’ van ChatGPT 4 wordt geregeld door een zogenaamde ‘temperatuur parameter’ die bepaalt hoe vlak de kansverdeling is over de vijftigduizend woordfragmenten die het kent. De parameter varieert tussen de waardes 1 en 5. Bij 1 is de output nagenoeg identiek aan bestaande tekst, bij 5 produceert het programma onzin. In de huidige versie is de parameter gelimiteerd tot waarde 2.
Met menselijke intelligentie heeft dat allemaal niet zo veel van doen. Het is eerder een voorbeeld van wat de filosoof Heidegger ‘het heersen van de techniek noemt’. De techniek werkt als een cynische djinn uit een lamp, die alle wensen kan vervullen maar altijd net op zo’n manier dat het leven eruit gezogen wordt. De techniek heeft een eigen stijl, een eigen manier van zijn. We zijn gefascineerd door de vlucht van een duif en wij eindigen met een Boeing 747. We kunnen vliegen, maar we begrijpen nog steeds geen snars van de duif die vermalen wordt in de straalmotor van de Boeing. ChatGPT is best nuttig, maar er zijn voldoende redenen om verontrust te zijn over de ontwikkeling van AI. Dan wil ik het nog niet eens hebben over de grootste diefstal van intellectueel eigendom ooit in onze beschaving, of wat de technologie kan doen in handen van geestelijk gestoorde tycoons met grootheidswaanzin.
Als we AI niet begrijpen is ze ook moeilijk te controleren, zo lijkt het, en dat moment zijn we al een tijdje gepasseerd. De omslag vond plaats op 30 september 2012 toen Alex Krizhevsky, Ilya Sutskever en Geoffrey E. Hinton hun programma AlexNet instuurden voor de ImageNet Large Scale Visual Recognition Challenge.7 De taak was het classificeren van afbeeldingen. Het programma dat neurale netwerken trainde en voor het eerst gebruik kon maken van een nieuwe generatie AI-processoren, presteerde significant beter dan de overige inzendingen. Hoe dat kwam was onduidelijk. Op de een of andere manier ontstonden in de diepere lagen van het netwerk generieke concepten die een rol speelden bij de classificatie van beelden. Het fascinerende is dat we die concepten ook goed kunnen visualiseren. Je kunt er zelfs posters van kopen.8 Het zijn mooie plaatjes, maar wat er precies aan de hand is? Exact 10 jaar later werd ChatGPT gelanceerd. Het werkt, maar de problemen zijn niet opgelost. We begrijpen niet eens waar de feiten die ChatGPT ‘kent’ zijn opgeslagen in het systeem.9 Twaalf jaar later kreeg Hinton de Nobelprijs voor dit werk.
Ondertussen is de theoretische fundering van de informatica een gatenkaas. We hebben geen goed antwoord op de vraag wat informatie eigenlijk is en hoe het gemeten kan worden. Er zijn twee elkaar aanvullende paradigma’s: Shannons theorie en algoritmische complexiteit. Hoe die exact samenhangen is niet duidelijk. De ene is conceptueel tamelijk krakkemikkig10 en de ander is onberekenbaar, dus niet erg praktisch. Dan is er nog, wat ik, om de filosoof Immanuel Kant te parafraseren, het ‘schandaal van de computerwetenschap’ noem: we hebben geen theorie over de interactie tussen informatie en rekenen. Je kunt een college over informatietheorie geven zonder het over rekenen te hebben en een college over Turingmachines zonder iets te vertellen over informatie. Het gebied tussen die twee werelden is een groot zwart gat.11
De hedendaagse informatica wordt gekenmerkt door een nagenoeg volledig ontbreken van theoretisch reflectie. Toen ik nog bestuursvoorzitter van het CWI was, aan het begin van deze eeuw, vond ik de situatie al zorgelijk. Een generatie van briljante theoretici (denk onder meer aan wat in het vak de ‘stra-bende’ werd genoemd: Dijkstra, Bergstra en de gebroeders Lenstra), was aan het eind van hun carrière, maar er leek niks voor in de plaats te komen. Er was een proces van ‘empirisering’ van de informatica in gang gezet: we bouwen maar wat en kijken of het werkt. Het toverwoord was ‘valorisatie’ en de verlokkingen van de wet van Moore waren moeilijk te weerstaan: if brute force does not work, use more!
De recente nobelprijs is een culminatie van die ontwikkeling. Aan het eind van de twintigste eeuw was er al een trend waarbij de nobelprijzen in de natuurkunde niet meer naar theoretici gingen maar naar de bouwers van instrumenten die de theorieën konden verifiëren. De theorie was een beetje achter geraakt. Dit jaar gaat de Nobelprijs voor fysica naar bouwers van instrumenten waarvan we niet begrijpen hoe ze werken. De theorie moet nog bedacht worden. Het doet denken aan de grap van Emerson Pugh: If the human brain were so simple That we could understand it, We would be so simple That we couldn’t. Misschien een leuke toepassing voor AI?
1 https://www.nobelprize.org/prizes/physics/2024/press-release/
2 P.W. Adriaans, J.F.A.K. van Benthem (eds.), Handbook of Philosophy of Information, Elseviers Science Publishers, 2008 P.W. Adriaans, “Information”, The Stanford Encyclopedia of Philosophy (Winter 2012 Edition), Edward N. Zalta (ed.), 2023.
3 https://www.technologyreview.com/2023/05/02/1072528/geoffrey-hinton-google-why-scared-ai/ (maandag 21 oktober 2024).
4 https://patmcguinness.substack.com/p/gpt-4-details-revealed, https://www.semianalysis.com/p/gpt-4-architecture-infrastructure, (maandag 21 oktober 2024).
5 https://advalvas.vu.nl/wetenschap-onderwijs/minister-bruins-snijdt-nog-een-keer-in-nwo/ (26-10-2024).
6 https://www.semianalysis.com/p/the-ai-brick-wall-a-practical-limit, (maandag 21 oktober 2024).
7 https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45bPaper.pdf. (25-10-2024)
8 https://distill.pub/2019/activation-atlas/ (25-10-2024)
9 https://www.alignmentforum.org/posts/iGuwZTHWb6DFY3sKB/fact-finding-attempting-to-reverseengineer-factual-recall (25-10-2024)
10 https://web.mit.edu/slava/homepage/articles/Mindell-Segal-Gerovitch-2003.pdf
11 Zie P.W. Adriaans, Differential information theory, https://arxiv.org/abs/2111.04335. ArXiv, 2021.