Het digitaal opslaan en genereren van herinneringen

In 2007 schreef ik een wetenschappelijk artikel met als titel “Google Home: Experience, Support and Re-Experience of Social Home Activities.” Dit was lang voordat apps en gadgets die je commando’s kon geven of vragen kon stellen in thuisomgevingen verschenen. Het artikel ging, zoals de titel zei, ook veel verder. Kunnen sensoren in je omgeving en op je lichaam je ervaringen vastleggen om later die ervaringen met behulp van actuatoren (het generen van wat opgenomen is, dat wil zeggen, het omgekeerde van sensoren) opnieuw doen beleven? En niet alleen de beelden en het geluid, maar ook de bijbehorende zintuiglijke beleving? Naast beeld en geluid, ook de lichamelijke en ‘geestelijke’ beleving van ervaringen? Alsof je daar en toen opnieuw was, toen je die ervaring opdeed?

Eigenlijk was dat het omgekeerde van wat in 1974 in het boek “Anarchy, State and Utopia” door Robert Nozick werd genoemd. Hij beschreef een ‘experience machine’ die door het stimuleren van je hersens je welke ervaring dan ook kon doen ondergaan. Het lezen van een boek, kennismaken met een vriend, of het plezier van het schrijven van een boek. Met zo’n machine zouden mensen ervaringen kunnen opdoen die ze in het werkelijke leven niet konden meemaken.

Mijn artikel was meer ‘down-to-earth’, kijkend naar technologische ontwikkelingen die het mogelijk zouden maken om mensen waar en wanneer te volgen en hun activiteiten vast te leggen, maar ook de mogelijkheid om die activiteiten te ‘retrieven’, niet alleen met tekst en beeld, maar inclusief het weergeven van de gemeten zintuiglijke ervaring die gepaard ging met wat voor menselijke activiteit dan ook. Maar als die mogelijkheid er is, kan die natuurlijk ook gemanipuleerd worden en, zoals Nozick suggereerde, het kan dan ook een nog niet bestaande of ongewenste ervaring worden.

Hoe werkelijk is dit beeld? Onderzoek in emotieherkenning in spraak, gezicht en gedrag nadert perfectie. Dit gebeurt nog veelal met traditionele artificiële intelligentie maar zal verder geperfectioneerd worden met ‘deep learning’-methoden. Brain-Computer interactietechnieken geven ons directe toegang tot de manier waarop delen van onze hersenen gerelateerd zijn tot onze zintuiglijke ervaringen in het dagelijkse leven. Hersenstimulatie die bepaalde ervaringen opwekt, zou gebruikt kunnen worden. Maar zou het ook zonder die directe toegang tot de hersenen kunnen, door de zintuigen direct aan te spreken?

In de jaren ’90 begon Steve Mann met het vastleggen van zijn dagelijkse leven met behulp van een aan zijn hoofd bevestigde camera: een 24/7 ‘lifelog’ van zijn ervaringen. Met camera’s en microfoons ingebouwd in een slimme bril kan tegenwoordig hetzelfde bereikt worden. Ook kan wat opgenomen is weer zichtbaar en hoorbaar gegenereerd worden door de bril een beeldscherm en bij de oren een luidsprekerfunctie te geven (beiden niet ongebruikelijk meer).  Sensoren op het lichaam of ingenaaid in kleding zijn ook mogelijk en kunnen lichaamsbewegingen en aanrakingen registreren. Tatoeages, op of in de huid, kunnen sensors bevatten maar ook wireless aangestuurd actuatoren bevatten die wat aanwezig is in de ‘lifelog’ weer tot leven kunnen brengen. Een tongpiercing kan dienstdoen als een ‘lifelog’ smaaksensor, maar ook als een actuator die een geregistreerde smaakervaring opnieuw doet beleven. Huidig onderzoek naar tong- en gehemeltereceptoren en artificieel opgewekte voedselsmaak en voedselgeur zal daarbij een rol spelen. Piercings in oor, oog, lip, neus, navel, en genitale piercings kunnen aangewend worden, maar indien niet bedoeld voor decoratieve redenen, kunnen ze ook vrijwel of geheel onzichtbaar aangebracht worden.

Kunnen we in de richting gaan van ‘Experience Retrieval’? Het registreren, manipuleren en genereren van audiovisuele informatie voor een gebruiker rondlopend met slimme ‘wearables’ is niet echt een probleem. Er is veel aandacht voor onderzoek naar ‘multi-sensoriële’ ervaringen waarbij ook de tast- reuk- en smaakzin betrokken worden en waarbij ook het artificieel genereren van die ervaringen met behulp van draagbare actuatoren onderwerp van onderzoek is. Maar, toegegeven, het onderzoek naar multi-sensoriële ervaringen, laat staan het multi-sensorieel genereren ervan, staat nog in zijn kinderschoenen. Maar ja, dat gold ook voor veel AI-onderzoek van twintig tot dertig jaar geleden dat nu zijn weg vindt in tal van toepassingen.

Zoals genoemd, in het bijzonder met een brain-computer interface, kunnen emoties herkend worden en opgeslagen worden, bijvoorbeeld in een ‘valence-arousal’-model.  Aan het genereren van emoties gebruikmakend van zo’n model valt voorlopig niet aan te denken. Dat geldt ook voor het omgaan met de vele andere dan de vijf door Aristoteles aangegeven zintuigen. Bijvoorbeeld positiezin (proprioceptie), het weten over de positie van je lichaam en lichaamsdelen. Op het lichaam aangebrachte sensoren kunnen dit registreren en laten opslaan. Maar het weten ervan opslaan zal minder rechttoe rechtaan zijn. En wellicht zullen we ook niet willen dat met behulp van actuatoren onze lichaamsdelen gedwongen worden om die bewegingen te maken die aan onze herinnering vastzit.

Zoals nu de samenleving overvallen lijkt te zijn door artificiële intelligentie en algoritmen, onderwerpen die meer dan zestig jaar geleden actueel waren in de onderzoekswereld, kan men verwachten dat over niet al te lange tijd hetzelfde gaat gebeuren met het omgaan met digitale verwerking van deze multi-sensoriële zintuiglijke ervaringen. Het zou nuttig zijn aandacht te besteden aan de mogelijkheid dat alle informatie waargenomen door onze zintuigen en verwerkt door onze hersenen digitaal waarneembaar zal zijn, digitaal opgeslagen zal worden, digitaal gemanipuleerd kan worden, en opnieuw kan worden ervaren in door Google-achtige bedrijven beheerde digitale omgevingen, waarin gebruikers meer dan nu zintuiglijk worden ondergedompeld.