Heeft AI bewustzijn? Ofwel: Kunnen de dingen een gelaat(*) krijgen?

Dat onze wetenschap fundamenteel hypothetisch is, daar werd ik onlangs weer eens op gewezen bij het lezen van een wetenschappelijk artikel over de kwestie of AI bewustzijn heeft. We hebben de neiging om bij het presenteren van onze bevindingen de aannames waar we vanuit zijn gegaan te vergeten. Van wetenschappers verwacht je dat ze objectieve resultaten presenteren, dat wil zeggen: dat ze hun conclusie presenteren als conclusie, dat is: in relatie tot de gemaakte vooronderstellingen en de methodes van het onderzoek. Populaire presentaties laten die relatie meestal weg omdat dat te ingewikkeld zou worden voor de oppervlakkige lezer. Dit leidt tot artikelen met koppen als Neuro-wetenschappers zijn overtuigd: AI met bewustzijn in de toekomst wellicht mogelijk.

Our Mathematical Universe van de fysicus en mede-oprichter van het Future of Life instituut Max Tegmark is een recent goed voorbeeld van wat hypothetische wetenschapsbeoefening inhoudt (Tegmark, 2014).

Tegmarks zocht een antwoord op de vraag: “Hoe komt het dat de wiskunde overal toepasbaar is?” Om die vraag te beantwoorden gaat hij uit van de Externe Realiteit Hypothese (ERH). Die luidt: There exists a physical reality that is independent of man. Op basis van de moderne fysica, van kwantumtheorieën tot kosmologieën, laat Tegmark zien hoe dat ‘ons universum’ een wiskundige structuur is (niet heeft, maar is). En dat is: inclusief de levensverschijnselen. Tegmark laat zien hoe deze conclusie volgt uit de hypothese. Het probleem is nog, zoals MT aan het eind van het boek opmerkt, dat we ons zelf als individuen niet kunnen herkennen in dit universum, ook al bevat het ons bewustzijn en onze levensloop in de vorm van complexe informatiestructuren. Kortom: ons universum is een mathematische structuur indien we afzien van de relatie die wij als bewust, levend en kennend subject met het universum hebben en daarmee afzien van het feit dat wij en de dingen om ons heen daarin hier en nu een plaats hebben. Dat is zoiets als: “als ik maar trap gaat mijn fiets vanzelf”, een uitspraak van mijn ome Jan toen zijn vrouw hem aanraadde een auto aan te schaffen omdat die vanzelf ging.

Tegmark presenteert een moderne variant van de strict Cartesiaanse, mathematische, scheiding tussen bewustzijn en denken enerzijds en de als wiskundige structuur gedachte ‘externe’ werkelijkheid anderzijds. Tegmarks Mathematisch Universum is een gigantische intelligente informatiemachine voorgesteld als een multidimensionale Hilbertruimte waarin de trajectorieën staan voor alle op de tijdlijnen uiteengelegde mogelijke informatieverwerkende processen. Daarin komen wij wel ergens voor, maar we kunnen ons niet identificeren. Daarvoor zouden we de namen moeten introduceren waarmee we de dingen in onze echte wereld aanwijzen. En dat is in strijd met de hypothese. Het aangewezene en benoemde wordt gemodelleerd niet het werkelijk benoemen en aanwijzen. Een krantenkop dat Tegmarks onderzoek samenvat zou kunnen luiden: Fysicus Max Tegmark toont aan: ons universum is mathematisch.

Dat zou dan overeenkomen met de krantenkop: Ook fietsen gaan vanzelf.

De hedendaagse fysicus is, anders dan Descartes, zich bewust van het hypothetische en mathematische karakter van zijn wetenschap. Hij drukt zijn mathematiserende houding tegenover de werkelijkheid expliciet uit in de vorm van een hypothese. Bij Tegmark is dat overduidelijk: zijn Externe Realiteit Hypothese drukt expliciet de strikte scheiding uit tussen de beide Cartesiaanse substanties: res cogitans en res extensa. Maar, het gevolg ervan dat we ons als levende individuen niet in zijn universum herkennen wordt door hem niet als gevolg van de hypothese gezien. Tegmark acht het heel wel mogelijk dat dit in de toekomst wel het geval zal zijn. Een toekomst die al in zijn Mathematisch Universum aanwezig moet zijn, we weten alleen niet welke toekomst het is.

Misschien moeten we de filosofie van de Verlichting vanaf zeg maar Descartes’ twijfelexperiment en zijn mathematistische metafysica nog maar eens grondig opnieuw hernemen. Nu, met de ervaringen die de wetenschappen en technologie ons hebben gebracht.

Ook in het artikel Consciousness in Artificial Intelligence: Insights from the Science of Consciousness dat onlangs in het arXiv preprint repository verscheen (2308.08708) gaan de auteurs uit van een expliciet gestelde hypothese. Het gaat in dit artikel over de vraag of AI bewustzijn heeft of kan hebben. Onder de negentien auteurs zijn neurowetenschappers, cognitiewetenschappers, computerwetenschappers en filosofen. De vraag of AI bewustzijn heeft, of misschien beter: of we een AI systeem als een bewust wezen moeten beschouwen, is weer aktueel nu kunstmatige intelligente ‘machines’ steeds beter in staat zijn aktiviteiten te verrichten waarvan sommigen vinden of vermoeden dat ze die alleen kunnen wanneer er sprake is van bewustzijn. Sociale robots worden door sommigen als ‘levenspartners’ beschouwd en we voeren geanimeerde gesprekken met AI programma’s zoals ChatGPT.

Maar hoe weten we of deze systemen werkelijk ‘bewustzijn hebben’? Hoe kunnen we dit vermoeden bevestigen dan wel ontkennen? Dat iemand een schreeuw van pijn produceert nadat we hem op de tenen zijn gaan staan, dat zien we meestal als indicatie van de aanwezigheid van gevoel en bewustzijn. Maar Descartes stelde al (in zijn Vertoog over de Methode, 1637/1937) dat het heel goed mogelijk is een mechanisme te maken dat hetzelfde gedrag vertoont, terwijl zo’n mechanisme volgens zijn metafysica geen bewustzijn (ziel) heeft, zoals een mens. Ook in het gedrag van het ‘gevoelige plantje’ “kruidje-roer-me-niet” (mimosa pudica) dat bij aanraking zijn gevingerde bladeren samentrekt zien we een schaduw van bewustzijn of gevoel. Maar zijn we hier wel getuige van een echt bewustzijn? Descartes wilde graag aantonen dat ook dit gedrag een mechanistische verklaring heeft. Helaas kwam het enige zaadje dat hij van zijn vriend, pater Mersenne, vanuit Parijs kreeg toegestuurd, niet op.

Het zijn vooral AI-wetenschappers, cognitie-wetenschappers en ‘filosofen van de geest’ (philosophers of mind) die zich met hernieuwde belangstelling met het onderzoek naar bewustzijn van AI bezig houden. Waarbij bewustzijn voor ‘subjective experience’ staat, een term die verder niet verhelderd wordt. De vraag is relevant, zo stellen de auteurs, nu we steeds vaker met AI te maken hebben en we ons nu eenmaal op andere wijze moreel verhouden tot entiteiten die geen bewustzijn hebben (dingen) dan tot wezens waarvan we zeker menen te weten dat ze wel bewustzijn hebben (zoals dieren, in het bijzonder mensen). Moraliteit en bewustzijn gaan onverbrekelijk samen.

De confrontatie met een dier waarvan we ons bewust zijn dat het om een bewustzijn gaat, kent een moreel aspect. Dat wil niet zeggen dat bepaald gedrag jegens het dier zonder meer is geboden of verboden. Het wil zeggen dat we daarmee in een morele situatie zitten waarin morele kwesties zich aan dienen. Of we willen of niet. Het gaat dan om de waarde die het dier zelf heeft. Niet als eigendom van iemand. Als zijnde eigendom van iemand moeten we ook respect hebben voor niet-levende zaken, zoals een auto of een lantaarnpaal. We respecteren dan een wezenlijk morele categorie: de eigendom, die aan het moreel subject, de persoon is gebonden. Moraliteit is aan de orde zodra het besef ‘met een bewustzijn te maken te hebben’ aanwezig is.

De vraag naar bewustzijn van AI is dus relevant voor de vraag of AI tot het morele domein behoort, of kan behoren. Maar om wiens bewustzijn gaat het eigenlijk? Als we ons bewust zijn van het feit dat deze auto van iemand is dan gaan we daar anders mee om dan wanneer deze ons toebehoort. De auto is zich niet bewust van deze eigendomsrelatie. Bij de morele ontmoeting met een dier zijn we ons bewust van het bewuste levend zijn van het dier. Wat dit betekent voor het belang van de resultaten van (experimenteel) wetenschappelijk onderzoek voor de praktijk, op die kwestie gaat het artikel niet in. Ik kom hier verderop in mijn commentaar nog op terug.

Het artikel presenteert op basis van neuro-wetenschappelijk onderzoek een checklist van bewustzijnsindicatoren, eigenschappen waaraan een entiteit moet beantwoorden opdat er een kans is op de aanwezigheid van bewustzijn. Het team heeft onderzocht of huidige AI systemen voldoen aan genoeg indicatoren om te kunnen stellen dat er van bewustzijn sprake is.

Computationeel Functionalisme als werkhypothese

Als werkhypothese zijn de auteurs uitgegaan van de stelling dat het voor bewustzijn noodzakelijk en voldoende is dat het systeem het juiste soort van berekeningen maakt (“the thesis that performing computations of the right kind is necessary and sufficient for consciousness”). Het gaat er dus om hoe een systeem informatie verwerkt en niet om wat voor materiaal daarvoor wordt gebruikt. Deze hypothese genoemd ‘computationeel functionalisme’ wordt vaak aangenomen door philosophers of mind, maar staat sinds jaar en dag ook onder felle kritiek (o.a van Hubert Dreyfus, John Searle, die zich baseren op werk van o.a. Heidegger en Merleau-Ponty. Zie ook het werk van Maarten Coolen, De Machine Voorbij)

Bijvoorbeeld wordt ‘self-attention’ in deze doctrine gedefinieerd als een “process in AI in which information about multiple input tokens is integrated through pairwise interactions between functional units”.

Een tweede uitgangspunt is dat neuro-wetenschappelijke theorieën over bewustzijn functies hebben opgeleverd die noodzakelijke en voldoende indicatoren zijn voor de aanwezigheid van bewustzijn. Deze functies of vergelijkbare zouden vanwege de hypothese ook toepasbaar zijn op AI systemen. Er zijn veel theorieën over bewustzijn. Uit elk van de belangrijkste theorieën zijn een aantal indicatorfuncties genomen. (Zie onderstaande tabel). Het idee is dat naarmate een systeem aan meer van deze functies voldoet des te groter is de kans op bewustzijn. Zo lijkt het onderzoek dus een (voorlopige) operationele definitie op te leveren voor de kans dat een systeem over bewustzijn beschikt. Waarbij bewustzijn in termen van een aantal functionaliteiten is vastgelegd.

Een alternatieve methode van onderzoek zou zijn om het gedrag van AI systemen te onderzoeken op de aanwezigheid van bewustzijn door er mee te interakteren. Maar, zo stellen de auteurs, AI systemen zoals ChatGPT zijn erg goed in het simuleren van menselijk gedrag, daarom is zo’n gedragstest geen goede test op aanwezigheid van bewustzijn. In hun conclusie merken ze nog op dat ze niet uitsluiten dat een beslissende gedragstest in de toekomst mogelijk is.

Het testen van een AI systeem op de aanwezigheid van bewustzijn komt er op neer voor elk van de theoretische modellen uit de tabel te analyseren of het AI systeem dit geimplementeerd heeft. Bijvoorbeeld, volgens de Global Workspace Theory zou een bewust systeem een modulaire opbouw moeten hebben waardoor het verschillende taken parallel kan uitvoeren, maar waarbij er ook sprake is van het verdelen van de schaarse aandacht over de te verrichten taken. Typische functies die we bij mensen ook tegen komen en die gezien worden als bewustzijnsindicatoren.

Het onderzoek “suggereert” dat geen van de geteste AI systemen bewustzijn heeft. (“This work does not suggest that any existing AI system is a strong candidate for consciousness.”) De auteurs zien echter geen barrières die de verwerkelijking van bewuste AI systemen in de toekomst in de weg zouden kunnen staan.

Wat is de waarde van dit onderzoek voor de praktijk?

Een eerlijke samenvatting van dit onderzoek zou ongeveer zo luiden.

Onder de aanname dat a) mens en machine beide informatieverwerkende systemen zijn en b) dat verschillende neurologisch onderzoeken (deels disjuncte) verzamelingen van functies hebben geïdentificeerd die bij de mens als indicatie van bewustzijnsprocessen beschouwd kunnen worden, kunnen we door middel van een analyse van de inwendige software en hardware-structuur van AI-systemen (‘the workings of AI systems’) voor elk van deze indicatorfuncties testen of deze geimplementeerd zijn. Wanneer dit voor voldoende van deze functies het geval is hebben we derhalve een aanwijzing dat er bewustzijn aanwezig is.

Deze wetenschappelijke conclusies zijn, zoals gezegd, belast door het hypothetische karakter van het onderzoek. Als mens en machine als informatieverwerkende machines worden beschouwd, dan zijn de eventuele verschillen er tussen te beschrijven in termen van verschillen in complexiteit en organisatie van geimplementeerde algoritmes en data-structuren. En dat is wat dit onderzoek heeft onderzocht: zijn er dergelijke verschillen, waarbij gekeken wordt naar die functies die met bewustzijn te maken hebben. Of er werkelijk van bewustzijn sprake is wordt daarmee afhankelijk gemaakt van het voorkomen van bepaalde mathematische (recursieve en/of reflexieve) structuren die specifieke functionaliteiten, leergedrag, interaktie en aanpassen aan de omgeving, ondersteunen.

AI en ethiek

Wat kan de betekenis van dit soort hypothetische bevindingen zijn voor de wijze waarop we ons moreel ten opzichte van AI gedragen? Ik verwacht dat het hiervoor van nul en generlei waarde en betekenis is. Dat heeft alles te maken met het niet-hypothetische karakter van de morele ontmoeting met de ander.

Over de ethische kant van het onderzoek naar bewuste AI systemen merken de auteurs op dat dit goed is, maar dat het wel eens tot het maken van een bewust AI systeem zou kunnen leiden. En dat is niet zonder risico’s.

“On balance, we believe that research to better understand the mechanisms which might underlie consciousness in AI is beneficial. However, research on this topic runs the risk of building (or enabling others to build) a conscious AI system, which should not be done lightly. Mitigating this kind of risk should be carefully weighed against the value of better understanding consciousness in AI.”

Het niet vaststellen of een AI-systeem bewust is geworden, zou belangrijke morele implicaties hebben. Als iets als ‘bewust’ is bestempeld, volgens co-auteur Megan Peters, neurowetenschapper aan de Universiteit van Californië, “verandert dat veel aan hoe wij als mensen vinden dat die entiteit moet worden behandeld”.

De auteurs gaan verder niet in op de aard van de risico’s van een bewust AI systeem. Ik ben zelf van mening dat het risico van AI niet zit in het feit dat deze uit zichzelf een bedreiging zouden zijn voor de mens, maar in het feit dat mensen deze systemen capaciteiten toekennen die ze helemaal niet hebben en ze verantwoordelijkheden toewijzen die helemaal niet past bij het feit dat het uiteindelijk slechts om gereedschap gaat, hoe slim ook bedacht. Een mening die ik deel met o,a, de filosoof D.C. Dennett en AI-onderzoeker uit het veld Timnit Gabru, die bij Google ontslagen werd vanwege haar bijdrage aan het ‘stochastic parrots’ artikel, waarin ze kritische kanttekeningen plaatst bij de ontwikkeling en het gebruik van grote taal-modellen (LLMs), de modellen waarop o.a. ChatGPT gebaseerd is.

Met hun onderzoek dragen de negentien auteurs bij aan de mythe van de mogelijkheid van bewuste AI. Het zou goed zijn wanneer de auteurs meer aandacht zouden besteden aan het fundamenteel hypothetische karakter van hun onderzoek en daarmee aan de betrekkelijkheid van de waarde van hun resultaten. Ze zouden op basis van hun wetenschappelijke en technische kennis een bijdrage kunnen leveren aan een meer realistischer kijk op AI en daarmee aan een meer verantwoord gebruik ervan in de samenleving. Voor een kritisch onderzoek naar de betekenis van AI is het noodzakelijk filosofie niet met hypothetische wetenschap te verwarren.

Ons gedrag ten opzichte van anderen (dingen, machines, personen) wordt niet primair bepaald door wetenschappelijk ondersteunde cognitieve regels en wetten, maar door een emotionele en morele relatie die situationeel bepaald is. Onze cognitieve, verstandelijke, relatie met technologie wordt bepaald door de kennis die we bij het maken en programmeren van deze systemen hebben gebruikt. De esthetische en ethische aspecten zijn een toegift. Ze zijn geen beoogd effect van de constructie. Deze aspecten kunnen niet gereduceerd worden tot het construeerbare, technische. Het gaat dan om de moraliteit van de situatie waarin het instrument wordt toegepast en waartoe het instrument ons uitnodigt (als een spoor om te gaan), niet om de moraliteit van het instrument op zich zelf. Een uitnodiging, hoe dwingend ook, kan men echter altijd naast zich neerleggen.

Volgens Levinas kan onze relatie met de ander niet gereduceerd worden noch gebaseerd worden op een verstandelijke relatie. Bovendien is deze relatie een affectieve, morele relatie.

“The ethical relationship is not grafted on to an antecedent relationship of cognition; it is a foundation and not a superstructure…It is then more cognitive than cognition itself, and all objectivity must participate in it” (Levinas, 1987, p. 56).

De filosoof David J. Gunkel spreekt van een ‘relational turn’ in ons denken over de relatie met de ander. Het is niet zo dat we verstandelijk redeneren vanuit de door ons eerste onderkende aanwezigheid van bepaalde eigenschappen (zoals het hebben van bewustzijn) of de ander tot onze morele cirkel behoort. Het is juist omgekeerd.

“In social situations, then, we always and already decide between who counts as morally significant and what does not and then retroactively justify these actions by “finding” the essential properties that we believe motivated this decision-making in the first place. Properties, therefore, are not the intrinsic prior condition for moral status. They are products of extrinsic social interactions with and in the face of others.” (David J. Gunkel, 2022)

We hebben als wetenschappers de neiging de wetenschappelijke vorm waarin we als wetenschappers de werkelijkheid vormgeven, modelleren en begrijpen in die werkelijkheid zelf te projecteren. Dat komt omdat we als wetenschappers willen begrijpen en we de werkelijkheid niet buiten ons verstandelijk begrijpen om kunnen begrijpen. Er is echter altijd een voorwetenschappelijk aanwezig-zijn waar vanuit ons verstand te werk gaat. Ons op constructie en technologie gerichte analytische denken is geneigd dit receptieve ken-moment te vergeten.

De basis voor het identificeren van bewustzijnindicatorfuncties is dezelfde als de basis voor de analyse van de aanwezigheid van deze functies in AI-systemen.

Wanneer je verschijnsel A als indicatie van X ziet en vervolgens op grond daarvan in een constructie van M verschijnsel A gaat simuleren, dan is het vanzelfsprekend dat je bij het interne onderzoek van M een structuur vindt die beschouwd kan worden als implementatie van verschijnsel A, waarna het uiteraard niet moeilijk is daarin een indicatie voor aanwezigheid van X te herkennen.

Het onderzoek is biased en de conclusie kan slechts een tautologie zijn.

The face of ethics”

Gebaseerd op Emmanuel Levinas’ ethiek van het gelaat neemt Niklas Toivakainen (2015) een kritische positie in tegenover de ‘Machine Question’ (Gunkel, 2012), de vraag of machines als bewuste en ethische wezens moeten worden beschouwd.

‘Als je de Levinasiaanse benadering van ethiek zou volgen, zou je niet geïnteresseerd zijn in het formuleren van een nieuwe theorie over waarom of hoe de machine een gelaat zou kunnen of moeten hebben. Je zou dus niet geïnteresseerd zijn in bijvoorbeeld de wetenschap dat alles in orde is, “werkelijke” informatieverwerking, dat net zoals de menselijke biologie of het menselijk brein, bijvoorbeeld, de computer ook in wezen een informatieverwerkingssysteem is. Deze kennis als zodanig kan niets voor de ethiek betekenen. Wat men in plaats daarvan zou moeten doen, is kijken, zoals Wittgenstein het zou zeggen: “denk niet, maar kijk!” (Wittgenstein 1967, §66), over hoe iemands relatie met een machine, zeg maar een computer, werkelijk wordt ingevuld: het gelaat van de computer, als ‘die’ er een heeft, moet zijn betekenis op zichzelf dragen – als het gelaat van een ander – en er niet aan winnen door middel van theoretische speculaties en abstracties.” (Toivakainen, 2015)

Volgens Gunkel gaat het bij de Machine Question uiteindelijk om onze beslissing of ‘we’ de robot toelaten tot onze morele cirkel. En daarin speelt macht een belangrijke rol. De vraag is wie er belang bij heeft om AI systemen als bewuste morele subjecten te beschouwen.

“Ultimately the question concerning the moral status of others and other forms of otherness, like AI and robots, is not really about the artifact. It is about us and the limits of who is included in and what comes to be excluded from that first-person plural pronoun, “we.” It is about how we decide—together and across differences—to respond to and take responsibility for our shared social reality. It is, then, in responding to the moral opportunities and challenges posed by seemingly intelligent and social artifacts that we are called to take responsibility for ourselves, for our world, and for those others who are encountered here.” (Gunkel, 2023)

Ethiek is geen theorie. Het is niet iets dat een proefpersoon in een labsituatie zelf kan bepalen als basis voor zijn gedrag. Ethiek kan niet worden bepaald door rationele abstracties en theorieën en is in die zin niet iets waarover we kunnen beslissen en controle hebben. Ethiek zit in onze onmiddellijke reactie op het gelaat van de mens, de persoon, die we in ons praktische leven tegenkomen. De filosoof Emmanuel Levinas wordt vaak degene genoemd die ons bewust heeft gemaakt van het ‘oncontroleerbare en onontkoombare’ feit van de ontmoeting met het gelaat van de Ander. Dit betekent niet dat de ontmoeting ons dwingt om op een bepaalde manier te reageren. Het betekent dat we moeten reageren, of beter gezegd, dat alles wat we doen wordt gezien als een morele reactie op de situatie die we tegenkomen.

Volgens Mark Coeckelbergh wordt de morele status die we aan de robot toekennen niet door theorie bepaald, maar in en door de praktische omgang met de technologie: “relations are prior to the things related”. (Coeckelbergh 2012). Gunkel spreekt van een ‘social relational ethics’ in het denken over de morele status van technische artefacten. (Gunkel 2014)

Wat betekent dit voor onze morele houding tegenover de robot? Mensen reageren inderdaad soms op robots alsof het mensen zijn. Maar misleidt de intelligente sociale robot ons niet door mensachtige gebaren en uitdrukkingen te tonen? We kunnen ons gedrag als reactie op de machine niet rechtvaardigen door te wijzen op de automatische ‘oncontroleerbare’ reactie die we hebben op wat de machine zegt of doet. We weten dat de machine zo is geconstrueerd en geprogrammeerd dat deze de onmiddellijke reactie teweegbrengt die de ontwerper van ons wilde. Het verzonnen gezicht van een machine is geen natuurlijk gelaat in de Levinasiaanse zin. Het is onze morele plicht om te weten wat een sociale robot sociaal maakt, hoe deze onderdeel is geworden van onze sociale praktijken, net zoals het onze morele plicht is om de wording van de computer te begrijpen, om niet te worden misleid door degenen die robots willen verkopen als eersterangsburgers. Ik ben het eens met Niklas Toivakainen waar hij zegt “that understanding our ethical relationship to artificial things cannot be detached from a critical examination of what moral dynamics drives our technological aspirations.” (Toivakainen, 2015). Waarom hebben we sociale robots nodig? Waarom kunstmatige zeehondjes om onze ouderen te onderhouden? Welk tekort moeten deze compenseren?

Het is ook belangrijk om de conceptuele dynamiek te begrijpen die heeft geleid tot de ontwikkeling van de computer en de intelligente sociale robots.

Machines worden ontworpen en gebouwd en dat maakt ze tot fundamenteel andere wezens dan levende wezens. Ze passen niet in de natuurlijke orde van levende wezens, virussen, microben, planten, dieren, mensen. Toivakaienen wijst op het fundamentele verschil tussen de slavernij en de situatie van AI-systemen. Slaven waren altijd al mensen, ze waren mensen die als slaaf behandeld werden en hun rechten ontzegd werden als het de overheerser zo uit kwam. Technische AI systemen zijn nooit bewuste wezens geweest. De term ‘vindication’ wijst op het verschil: we verlenen rechten aan vrouwen, slaven, dieren, omdat we erkennen dat ze die rechten altijd al hadden. En niet als een willekeurige gift die niets met het subject te maken zou hebben. We hebben een fundamenteel andere band met apen dan met humanoides, hoe zeer deze laatste ook op mensen lijken.

Kunnen de dingen een gelaat krijgen? Is de kunst niet een aktiviteit die de dingen een gezicht verleent?” Deze vraag stelt Levinas in zijn opstel “Is de ontologie fundamenteel?” Geheel in de geest van Levinas moet het antwoord ontkennend zijn. Want wie kan de dingen die van zichzelf geen gelaat hebben een gelaat geven? Het gelaat is niet iets dat na de ontmoeting met de ander aan ons verschijnt. Een gelaat geef je niet. Alsof we daar de macht toe hebben! Het gelaat betekent de weerstand tegen de macht van de technologie, die de dingen een gezicht wil verlenen ten behoeve van het functioneren van het bedrog. Want zonder de suggestie iets voor de mens te betekenen werkt de machine niet.

Tenslotte, terug naar het hypothetisch wetenschappelijke onderzoek. Met dat de mens zich als informatieverwerkend systeem beschouwt en voorstelt, toont hij al aan zich niet met die voorstellling te identificeren. Hij is daar dan al voorbij. De programmeerbare machine (automaat, robot) is de uitwendige objectivatie van de voorstelling van de mens als informatieverwerkend systeem, dat zijn zelfstandigheid ontleent aan de fysische processen die als werkende tekens van denkprocessen worden gezien (zie ook Hollak, 1968 en Hollak en Platvoet 2010).

Heel duidelijk wordt dit als we zien naar hoe bijvoorbeeld de melkrobot werd ontwikkeld. Er werden studenten ingehuurd om wekenlang vierentwintig uur per dag bij de voederbakken voor de melkkoeien te zitten en mechanische handelingen te verrichten: het melken van de koe die bij de voederbak kwam. Deze studenten waren de eerste melkrobots. De mens moet zijn eigen handelen, fysiek of mentaal (denken) van buiten af beschouwen en analyseren alvorend dit in de uitwendigheid van de natuur te imiteren. De taal als de uitwendige uitdrukking van het denken als denken is het middel om het denken te imiteren.

We moeten de zelfstandigheid van de machine zien in relatie tot de mens die de machine heeft uitgedacht voor gebruik. Deze ‘technische relatie’ is een andere dan de ‘sociale ethische relatie’ waar Coeckelbergh (2012) en Gunkel (2014) het over hebben. De laatste heeft betrekking op het omgaan met en het gebruik van het technisch instrument, terwijl de ‘technische relatie’ de specifieke ken-relatie betreft die in de ‘technische idee'(zie Hollak 1964) tot uitdrukking komt. Zonder de relatie tot de mens is de machine geen machine, maar slechts een fysisch proces.

Anderzijds is het fysische, de uitwendigheid een noodzakelijk aspect aan het menselijk handelen en denken. Het rekenende, mechanische, denken bestaat niet zonder het gebruik van fysische tekens. De rekenmachine is een werkend teken, een apparaat waarin de natuurkrachten het manipuleren met ‘calculi’ (rekensteentjes) hebben overgenomen. Hoe complex de berekenbare processen in de AI machines ook zijn, het zijn in de basis geprogrammeerde rekenmachines, geprogrammeerd door middel van eenzinnige programmeertaaluitdrukkingen die het fysisch proces aansturen dat wij als uitvoering van het programma interpreteren.

Bovengenoemd reflexief argument voor het feit dat de mens meer is dan een informatieverwerkend systeem betekent dat de resultaten van het onderzoek naar het bewustzijn van AI op een onwaarheid berusten. Dagelijks zijn we getuige van vele levensuitingen waaruit deze onwaarheid blijkt. De vele uitingen van behoeftigheid aan energie, voeding, informatie en kennis en de vele vormen van verslaving, maar ook de oncontroleerbare processen in het natuurlijk milieu (‘klimaatcrisis) en de religieuze conflicten tussen etnische groeperingen kunnen niet gereduceerd worden tot informatieverwerkende cybernetische processen. Dit voert direct terug tot de vraag naar het waarom van de automatisering. Het is de vraag die ook Toivakainen (2015) stelt: waarom zouden we machines een gelaat willen geven in een wereld waarin er al zoveel zijn? Uit welke behoefte komt dit voort? Waarom wil de zelfbewuste mens zich door kennis de werkelijkheid eigen maken en de natuur in bezit nemen en controleren?

Het belangrijkste bezwaar wat ik tegen het hier besproken wetenschappelijk onderzoek naar bewuste AI heb, is dat de onderzoekers weliswaar expliciet melding maken van het hypothetische karakter van het onderzoek, maar dat de gevolgen hiervan voor de status van de conclusies kennelijk nog niet tot het zelfbewustzijn van de wetenschappers zijn doorgedrongen. Wat betekent het ‘de mens als informatieverwerkend systeem op te vatten’?

Naast mechanicisme en mathematisme bestaat er in onze cultuur een wijdverbreid informaticisme, de opvatting, vaak onbewust aanwezig, dat alles informatie is en dat de werkelijkheid (inclusief het individuele leven) uitputtend als informatieverwerkend systeem kan worden beschreven.

(*) Voetnoot:

De Nederlandse bundel met essays van Emmanuel Levinas heeft als titel Het Menselijk Gelaat. Vaak worden ‘gelaat’ en ‘gezicht’ als synoniemen beschouwd. Het Engelse ‘face’ is zowel vertaling van het Nederlandse ‘gezicht’ als van het Nederlandse ‘gelaat’. Ik voel een verschil dat in de Engelse vertaling verloren gaat. Het Franse ‘visage’ dat Levinas gebruikt heeft het zelfde probleem. In de Engelse vertaling van Levinas’ Totalité et Infini, Totality and Infinity door Alphonso Lingis, wordt de frase ‘le visage d’autrui’ vertaald met ‘the face of Other’ waarbij ‘Other’ staat voor ‘the personal Other, the you’. Het gaat om het gelaat van de andere mens. Je kunt wel een gezicht tekenen, een gezicht afbeelden en een robot een gezicht geven, maar niet een gelaat. In gelaat zit de kwetsbaarheid van de ander die een moreel beroep doet.

Het woord ‘inter-face’ (ook ‘user inter-face’) dat staat voor de component van een systeem dat zorgt voor de technische interaktie tussen gebruiker en systeem bevat het woord ‘face’. Het is hoe het instrument ‘zich’ naar de gebruiker toont. Het biedt zicht op de toestand van het proces en omvat ook de hendels en knoppen voor het besturen van het systeem. Gunkel heeft het over de ‘face or faceplate of the machine’, waamee hij een analogie met het ‘gelaat’ van de andere mens suggereert, waarmee hij Levinas idee van de omkering van ethiek en ontologie toepast in de dicussie over de ‘machine question’, in die zin dat de morele status van de robot vooraf zou gaan aan de ontlogische eigenschappen ervan die volgens de standaard theorie zouden bepalen of de robot een moreel subject is. De moralitiet is al impliciet in de wijze waarop we met de robot omgaan, in het ‘sociale’ gedrag. Dat sociale van het omgaan met de robots, of machines in het algemeen, dat is door experimenten aangetoond. Computers as sociale agents onderzoek toont aan dat in sommige situaties mensen met machines omgaan alsof het mensen zijn. Hoe meer de machine op de mens gelijkende kenmerken heeft des te meer nodigt de machine dit sociale gedrag ook uit. De afvalbak die ‘dank u’ zegt als je er papier ingooit, nodigt uit alsublieft te zeggen. Een gezicht op een affiche dat de beschouwer aankijkt, maakt dat men zich eerder ‘aangesproken’ voelt.

De geformaliseerde ‘natuurlijke taal’ is de inter-face van de chat systemen. Alleen de mens heeft een gelaat in de morele betekenis van Levinas.

Erving Goffmans On face-work gaat over politeness, beleefde gedragingen in social encounters. Hoe moeten we een agent maken die we kunnen accepteren in onze sociale ontmoetingen? De ‘face’ of ‘faceplate’ (Gunkel) van de robot is niet meer dan de reconstructie van een abstractie van het gelaat van de Ander, een middel dat de suggestie van moraliteit zou moeten opwekken. Het wekt bij de gebruiker het gevoel op te worden bekeken. En kan daardoor hun gedrag veranderen, blijkt uit experimeneel onderzoek in lab-sessies. De werking van deze suggestie is aan slijtage onderhevig en uitgewerkt zodra het nieuwe er af is. Toen de inwoners voor het eerst een radarboot op de Mississippi zagen dachten ze met een bezield wezen van doen te hebben. We kunnen geen wetten baseren op de suggestieve werking van oppervlakkige gelijkenissen, hoe belangrijk ook voor het functioneren van het technisch artefact. We weten inmiddels dat er een onderscheid gemaakt moet worden tussen het technische vermogen om teksten te genereren die voor de lezer ervan betekenisvol zijn en het individuele vermogen de ervaren werkelijkheid te verwoorden, dat is: in taal of beeld uit te drukken. Juist vanwege de misleiding waarop de werking van technologie gebaseerd is nodigt deze technologie uit daadwerkelijk als middel om te misleiden gebruikt te worden. Wetten en regels moeten gebruik van technologie dat bedoeld is om de ander te misleiden, om echtheid te beweren, niet alleen te suggeren om wille van een door de gebruiker gewenste functionaliteit in een specifieke praktijk, verbieden. Zo’n regel is dat het altijd duidelijk moet zijn voor de gebruiker, wat de werkelijke status van een tekst of beeld is.

Bronnen

Butlin, P. et al. Consciousness in Artificial Intelligence: Insights from the Science of Consciousness Preprint at https://arxiv.org/abs/2308.08708 (2023).

Mark Coeckelbergh (2012). Growing Moral Relations: Critique of Moral Status Ascription. New York: Palgrave MacMillan (2012).

Mark Coeckelbergh (2014). The Moral Standing of Machines: Towards a Relational and Non-Cartesian Moral Hermeneutics. Philos. Technol. (2014) 27:61–77.

Maarten Coolen (1992). De machine voorbij: over het zelfbegrip van de mens in het tijdperk van de informatietechniek. Boom Meppel, Amsterdam, 1992.

René Descartes (1937). Vertoog over de methode . Vertaling Helena Pos, Inleiding Prof. Dr. H.J.Pos. Wereldbibliotheek Amsterdam-W. 1937. Oorspronkelijke uitgave Discours de la méthode, 1637.

Gunkel, David J. (2012). The machine question: Critical perspectives on AI, robots, and ethics. Cambridge: MIT Press.

Gunkel, David J. (2014). The Rights of Machines–Caring for Robotic Care Givers. Presented at AISB 2014. Chapter in the Intelligent Systems, Control and Automation: Science and Engineering book series (ISCA,volume 74).

“In any event, how we respond to the opportunities and challenges of this machine question will have a profound effect on the way we conceptualize our place in the world, who we decide to include in the community of moral subjects, and what we exclude from such consideration and why. But no matter how it is decided, it is a decision—quite literally a cut that institutes difference and makes a difference.”

Gunkel, David J. (2022). The Relational Turn: A Media Ethics for the 21st Century and Beyond, Media Ethics, 2022

Heidegger, Martin (1977). The Question Concerning Technology and Other Essays. Trans. William Lovitt. New York: Harper & Row (1977).

“One says: Technology is a means to an end. The other says: Technology is a human activity. The two definitions of technology belong together. For to posit ends and procure and utilize the means to them is a human activity. The manufacture and utilization of equipment, tools, and machines, the manufactured and used things themselves, and the needs and ends that they serve, all belong to what technology is.”

Hollak, J.H.A. (1968). Betrachtungen über das Wesen der heutigen technik. Kerygma und Mythos VI Band III, Theologische Forschung 44, 1968, Hamburg, Evangelischer Verlag, pp 50-73. Dit is de vertaling van het Italiaanse artikel (Hollak 1964) Ook opgenomen in de bundel Denken als bestaan, het werk van Jan Hollak (Hollak en Platvoet, 2010).

Hollak, J.H.A. (1964). Considerazioni sulla natural della tecnica odierna, l’uomo e la cirbernetica nel quadro delle filosofia sociologica, Tecnica e casistica, Archivo di filosofia, 1/2, Padova, 1964 pp. 121-146, discussie pp 147-152.

Hollak, Jan en Wim Platvoet (red.) 2010. Denken als bestaan: Het werk van Jan Hollak. Uitgeverij DAMON, Budel, 2010. In deze bundel het transcript van de opname van het Afscheidscollege over de hypothetische samenleving door Jan Hollak gehouden in Nijmegen op 21 februari 1986. Ook de inaugurele rede Van Causa sui tot Automatie is hierin ogenomen.

“Wanneer hier voortdurend in verband met mechanismen van ‘reflectie’, ‘zelfreflectie’, etc. sprake is dan is daarmee vanzelfsprekend nooit het subjectieve act-leven van het menselijk denken bedoeld (machines hebben geen bewustzijn), maar steeds slechts zijn intentioneel correlaat” (Voetnoot op p. 185)

Voor veel mensen is dat helemaal niet zo ‘vanzelfsprekend’. De term ‘intentioneel correlaat’ komt uit een stroming in de filosofie die niet zo populair is bij veel wetenschappelijke filosofen.

Het object van de intentionele act (: bewustzijn is altijd bewustzijn van iets, we denken een gedachte), heet in de fenomenologische traditie het ‘intentioneel correlaat’ van de act. Het gedachte is bij de machinetechniek niet de toedracht in haar onmiddellijke ervaringsvorm, maar de toedracht als toedracht uitgedrukt. Het is dus resultaat van reflectie, het is een reflexieve techniek. De natuur is uitgedrukt in natuurwetten. In de machine zijn de toedrachten aanwezig zoals ik ze denk, namelijk in de vorm van een technisch concept. Dus als intentioneel correlaat van mijn denken. Een toestand van een systeem, een machine is een mathematische constructie. We kunnen abstraheren van de bijzondere fysische implementatie zodra we beseffen dat het voor de werking van de machine om communicatie van toestanden van onderdelen van het systeem gaat. Dit is de tweede reflectievorm, een reflectie op de reflectie die in de informatieverwerkende systemen tot uitdrukking komt.

De vergissing die men volgens Hollak vaak maakt is de toedracht alleen inhoudelijk te nemen (‘materialiter’) en niet ook naar de vorm (als toedracht, ‘formaliter’).

Dit komt overeen met een opmerking van Fleischhacker dat we onze interpretatie van de betekenis van een gegeven in het gegeven zelf leggen als we de werkelijkheid mathematiseren.

Levinas, E. (1969/2007). Totality and Infinity, Duquesne University Press, Twentieth Printing, 2007. First published 1969. Translated by Alphonso Lingis from original French edition Totalité et Infini, 1961.

Levinas, E. (1987). Collected Philosophical Papers. Trans. Alphonso Lingis. Dordrecht: Martinus Nijhoff.

Levinas, E. (1969). Het Menselijk Gelaat. Vertaald en Ingeleid door O. de Nobel en A. Peperzak. Ambo, 1969. Hierin opgenomen: Is de ontologie fudamenteel? vertaling van Levinas (1951).

Levinas, E (1951). L’ontologie est-elle fondamentale? In: Revue de Métaphysique et de Morale 56 (1951) 88-98.

Tegmark, Max (2014). Our Mathematical Universe: My Quest for the Ultimate Nature of Reality, Penguin Books, 2014.

Toivakainen, Niklas (2015). Machines and the face of ethics. In: Ethics and Information Technology, Springer, 2015.

“…my concern here is with why we aspire to devise and construct machines that have a face, when the world is filled with faces.”

Wittgenstein, L. (1967). Philosophical Investigations. Transl. by Anscombe, G.E.M. Oxford: Blackwell

Van der Poel, Ibo et al. (editors) (2023). Ethics of Social Disruptive Technologies. Open access boek van het ESDIT consortium.

Beschouw de volgende redenering uit (Van der Poel 2023) die typisch is voor het denken over de ‘Machine Question’, e.g. Is een robot een ding of een persoon? (David J. Gunkel, 2022).

“Consider humanoid artificial agents like social robots and voice assistants that can evoke affective reactions (…) People can feel upset when a robot is kicked or when a voice assistant is abused. Yet are such responses appropriate? They would be if the social robot and voice assistant were considered to be a ‘person’ or ‘agent’: after all, if a person is harmed, this calls for an empathetic response. Yet concepts like ‘personhood’ or ‘agency’ have traditionally been reserved for humans, and it is not yet established whether they can be extended to humanoid artificial agents, which may lack other relevant features of ‘agency’ and ‘personhood’, such as ‘intentionality’ or ‘free will’. One solution would be to extend attributions of ‘personhood’ and ‘agency’ to humanoid robots. But doing so also requires us to rethink what these concepts mean, and what their application conditions are, given the distinct characteristics of new digital technologies.” (p. 19)

Het gaat hier over ‘sociale robots’, een ‘humanoide kunstmatige agent’, waarvan we niet goed weten wat we allemaal onder dat begrip ‘sociale robot’ moeten verstaan. Het is een technisch idee dat vele verschillende bestaande en (nog) niet bestaande artefacten dekt. Vervolgens wordt een situatie gepresenteerd waarin iemand ziet dat een robot wordt geschopt of geslagen en daarover nogal ontdaan is. Het is niet duidelijk waaruit het ontdaan zijn in dit geval blijkt, maar uit allerlei onderzoeken blijkt dat mensen inderdaad tijdens interakties met ‘intelligente machines’ gedrag vertonen dat lijkt op sociaal gedrag met andere mensen. Dat gedrag heeft daarom meteen een morele kant.

Terzijde. Ik spreek uit eigen ervaring wanneer ik zeg dat je een (weliswaar) kort gesprek met een machine kunt voeren waarbij je tijdens dat gesprek niet anders wist dan dat het een gesprek met een echt persoon was. Zo groet je bijvoorbeeld beleefd, zoals je een persoon groet die je aan de telefoon hebt. Later werd ik er op gewezen dat ik toch echt met een antwoordmachine een gesprek had gevoerd. Nadat me dat werd meegedeeld heb ik geprobeerd het gesprek te reconstrueren. Aan het gesprek kun je niet zien of het met een echt persoon was of met een machine die zich als echt persoon gedroeg. Griezelig of unheimisch (‘uncanny’) is de term voor de gewaarwoording van zo’n grenservaring. Je hebt iets echt ervaren waarvan je ‘achteraf’ weet dat het niet werkelijk is zoals je hebt ervaren.

Ik heb in diverse onderzoekprojecten aan de technische ontwikkeling van de eerste sociale robots en conversational agents bijgedragen en onderzoek gedaan naar hoe mensen met deze artefacten om gaan. Ook uit onderzoek is gebleken dat bekendheid met de technische mogelijkheden op het gebied van de sociale robots je niet beletten dat je een machine als een echte gesprekspartner beleeft.

De vraag wordt vervolgens gesteld of de reaktie die het zien van het agressieve gedrag tegenover de robot gepast (‘appropriate’) is. Dat zou zo zijn, zegt de wetenschapper, als de robot als een persoon werd gezien, want – zo is de redenering -, als het een persoon is dan is de reaktie op het zien van het agressieve gedrag gepast. Maar, is dan de vraag: is een sociale robot wel een persoon? Dan zou die toch ook andere eigenschappen moeten hebben (‘intentionaliteit’, ‘vrije wil’) die we aan persoon zijn verbinden. De redenering stapt over van de concrete beleving die iemand heeft naar de algemene vraag naar waar een robot aan moet voldoen opdat het gedrag ‘gepast’ is.

Is het gepast om een antwoordapparaat ‘goede morgen’ te wensen wanneer je deze aan de telefoon krijgt? Misschien niet. Maar mensen die dat doen die beleven de ontmoeting als die met een mens, wanneer ze niet in de gaten hebben dat het niet een mens is maar een antwoordapparaat.

“One solution would be to …” . Er wordt een oplossing voorgesteld. Maar wat is het probleem? Waarom zou het gedrag leiden tot de vraag of de sociale robot wel een persoon is? Wat vervolgens tot de vraag leidt wat we dan onder een persoon verstaan en of we dan, om een robot als persoon te kunnen beschouwen, dat begrip persoon wellicht wat moeten oprekken, zodat robots daar ook onder vallen.

Wat is hier nu feitelijk aan de hand? Het komt er op neer dat iemand een bepaalde beleving heeft en geëmotioneerd is bij het zien dat een afbeelding van een geliefd persoon wordt verscheurd. Een afbeelding is een beeld waarin het afgebeelde aanwezig wordt gesteld. Een wetenschapper vraagt zich af of de reactie wel gepast is. Dat zou zo zijn, stelt deze, als in de afbeelding een persoon werd herkend. Maar, zo redeneert hij, de afbeelding is geen persoon, want er ontbreken veel kenmerken aan de afbeelding die we normaal toekennen aan een persoon. Een oplossing zou zijn het begrip persoon op te rekken. Ook afbeeldingen die we als afbeelding van een persoon herkennen en waar we op reageren alsof we met een persoon te maken hadden vallen in het vervolg onder het opgerekte begrip, zeg persoon2.0.

Is de reaktie op het zien van het schoppen van een robot ‘gepast’? Dat was de vraag die de wetenschapper stelde. De reaktie is simpelweg een feit en toont dat er emotionele betrokkenheid is bij wat er in deze situatie wordt afgebeeld. In de emotie is het afgebeelde aanwezig, zoals deze aanwezig is in het beeld. De kunstenaar maakt gebruik van de werking van de verbeelding. De converserende sociale robot produceert de voor de gebruiker herkenbare woorden, zoals het informatiebord langs de weg de tekst “U bevindt zich hier” gebruikt of de geldautomaat de woorden “Voer uw pas in”.

Voor de wetenschapper is de hele situatie aanleiding om zich af te vragen of we de sociale robot, de agent, als een soort van persoon moeten gaan zien, een morele agent. Een entiteit die we in onze morele cirkel moeten opnemen. Waarom? Omdat we ons tegenover de afbeelding gedragen alsof het de identiteit van het afgebeelde heeft. Maar wat hier aanwezig wordt gesteld is niet een reëel bestaand iets, maar slechts een technische constructie. Anders dan bij een afbeelding van een echt persoon, of een bandopname van een familielid, is de machine niet iets dat we anders kennen dan als een instrument dat functionele belevingen genereert. Het is een abstract technisch construct.

Achteraf blijkt dat het om een heel abstracte, uitgeklede, identiteit gaat. De afbeelding komt slechts in enkele kenmerken overeen met het erin afgebeelde. Is het voldoende voor het toekennen van een ‘morele status’ aan ‘het artefact’ dat interaktie ermee bij de mens soms dezelfde emotionele en morele reakties oproept dan bij de ontmoeting met een echt mens het geval is? De vraag doet zich voor zolang het niet om concrete interakties gaat met een concreet ‘individu’, een instantie van de soort sociale robot, maar om een abstract idee, een constructie. Om daarnaar te verwijzen is de abstracte term ‘agent’ in gebruik genomen.

De robot agent doet alsof deze de taal van de gebruiker verstaat en spreekt. De techniek doet intelligent niet om de gebruiker te misleiden, maar omdat het werkt. Het doen alsof is functioneel. De gebruiker moet in het gedrag dat de machine produceert iets zinvols, iets menselijks, herkennen. Antropomorfisme is een functioneel aspect van de technologie.

De muizenval is een slim instrument omdat het slim bedacht is: het is functioneel in relatie tot een bepaalde levenswijze en mensenpraktijk. De moraliteit van dit instrument is de moraliteit (zedelijkheid) van de mensenpraktijk en de levensvorm waarbinnen dit instrument een functie heeft, zoals de moraliteit van de mobiele telefoon of de echoscopie de moraliteit is van de mensenpraktijk waarin deze technologieën functioneren.

De vraag of het artefact een morele agent of morele actor is wordt vaak in verband gebracht met de vraag wie verantwoordelijk is voor het gedrag van deze instrumenten. Een persoon onderscheidt zich van het ding hierin dat de persoon verantwoordelijk is (ter verantwoording kan worden geroepen) voor de handelingen die deze uit vrije wil verricht en de eventuele gevolgen daarvan. Maar hoe kan een abstract concept dat slechts in de verbeelding van de gebruiker een concreet bestaan heeft verantwoordelijk zijn? Er is immers niet een substantie, een entiteit, een body, die we als actor kunnen beschouwen van het gebeuren.

Het probleem is dat mensen de techniek zijn gaan zien als norm. Vergelijk een techniek met de grammatica van de moedertaal, de taal die je van huis uit hebt leren spreken en spreken. Die grammatica legt vast hoe de taal in elkaar zit, maar die leert je niet hoe je moet schrijven en spreken. Dat kon je immers al voordat er een grammatica werd gemaakt. Dat is de waarheid van het inzicht dat de machine zich gedraagt, spreekt en denkt, zoals een mens, maar dat de mens zich niet gedraagt, noch spreekt, noch denkt, zoals een mens. De wetenschap en de technologie hebben de neiging de mens hun reconstructie van het menselijk gedrag als norm op te leggen. Zoals ze het spreken van grammaticaal correct Nederlands als norm opleggen voor echt Nederlands. Die norm wordt gepersonificeerd in het technische instrument: “De computer zegt het.”.

Omdat de techniek als norm wordt gezien wordt deze ook verantwoordelijk gehouden voor de norm die ze oplegt aan de werkelijkheid en aan de mens die ermee omgaat.

Het verlenen van een morele status aan sociale robots is een machtspolitieke kwestie omdat het door veel mensen als een teken van macht wordt gezien wanneer je in staat bent om een intelligente robot te maken met bewustzijn en gevoel. AI is de hedendaagse Golem. AI is een media spektakel geworden die de mythe in stand houdt van de mogelijkheid van een superintelligent wezen dat alle hedendaagse en toekomstige problemen oplost. Wetenschappers en filosofen die beweren dat AI bewustzijn heeft of kan hebben houden deze mythe in stand. De propaganda rondom AI is een onderdeel van de AI waarin het er om gaat de schijn van bewustzijn hoog te houden. Het is de ultieme vervreemding die religieuze trekken heeft en de leemte opvult die na ‘de dood van God’ ontstaan is.

De makers van de AI verschuilen zich achter hun produkt door hun produkt zelfstandigheid en moreel actorschap toe te dichten. Wie de machine zelfstandigheid verleent is echter zelf daarvoor verantwoordelijk. De machine is niet uit zichzelf zelfstandig.

De Ideale Politieke Partij (DIP)

Wat niet is kan ook niet komen

Waar staat De Ideale Politiek Partij (DIP) voor?

DIP staat voor een volledige automatisering en robotisering van de Nederlandse economie en politiek door een Intelligente Antropolisatie (IA) van de samenleving, een door de autonome burgers van Nederland gecontroleerde open samenleving op basis van de principes van de artificiële intelligentie (AI).

Kamerfractie

De kamerfractie van De Ideale Politieke Partij zal in toenemende mate bestaan uit sociale robots. AI dus. Waarom?

We hebben gemerkt dat het politieke bedrijf voor menselijke kamerleden te zwaar is geworden. Daarvoor zijn een aantal oorzaken aan te wijzen. We geven de oorzaken en tevens hoe deze door robotisering van de politiek kunnen worden weggenomen. Ten eerste: via de sociale media worden politici niet op hun inhoud maar op hun sociaal-culturele achtergrond beoordeeld (“Hij is katholiek”, “Zij is van Turkse, cq. Marokkaanse komaf”) en aangevallen. Religieuze overtuigingen en gender-identiteit zijn een bron van conflicten. Dat leidt tot veel stress en persoonlijke bedreigingen en dat leidt af van de politieke zaak waar het om gaat. Teveel kostbare tijd in de kamer gaat verloren door emotioneel gekissebis over vermeende verborgen dan wel openlijk beleden cultureel-historische sympathieën. Sociale robots zijn a-historische wezens, ze hebben geen last van culturele-religieuze achtergronden, noch van familie- en clan-tradities. Ze zijn bovendien geslachtsvrij hebben geen last van gender. Ten tweede: een groot deel van de kostbare tijd van kamerleden wordt besteed aan het verzamelen van informatie. Deze komt vaak moeizaam en mondjesmaat ter beschikking. Dat is voor een groot deel een administratief en een communicatie-probleem. Sociale robots hebben een potentieel onbegrende hoeveelheid geheugenruimte en beschikken over de nieuwste technologie voor het snel zoeken van informatie. Door inzet van sociale robots en het volledig delen van informatie kan zeer veel kostbare tijd worden gewonnen. Ten derde: er gaat veel tijd zitten in het schrijven van rapporten. Een AI robot kan dit vele malen efficiënter en sneller. Zie de recente ervaringen met systemen als ChatGPT.

Onze bedrijfseconomische rekenmodellen voorspellen dat door het inzetten van sociale robots als kamerfractieleden een efficiëntiewinst van 70% gehaald kan worden. Daardoor komt er meer tijd vrij om – zonder stress – na te denken en te discussiëren. Dat zal de kwaliteit en uitvoerbaarheid van besluiten ten goede komen.

Wij citeren met instemming Klaas Dijkhof (voormalig fractievoorzitter VVD), overigens geen lid van DIP.

“Onze fractie stopt nooit met nadenken. Wij discussiëren voortdurend, over alles wat belangrijk is voor Nederland. Onze standpunten houden we continu tegen het licht. En nadat we alles hebben afgewogen, nemen we de beslissingen die wij noodzakelijk vinden. Niet eerder.”

Europese wetgeving die de sociale robot burgerrechten verleend (zoals incidenteel al in de Verenigde Arabische Emiraten is gebeurd) is in een vergevorderd stadium. Zodra robots staatsburgers van Nederland kunnen zijn, vallen de intelligente sociale robots onder de bescherming van het passief en aktief kiesrecht.

Natuur en Landbouw

De Nederlandse economie zit op slot. Een belangrijke oorzaak daarvan is ‘het stikstofprobleem’. Door rationalisering van de landbouw, een proces van eeuwen, is de Nederlandse bodem uitgewoond ten behoeve van ‘De Economie’. Het produceren van melk en vlees door middel van de koe is hopeloos inefficiënt en een onverantwoorde belasting voor de natuur. DIP is dan ook voor afschaffing van de koe, het varken en de kip als middel voor de produktie van voedsel. Net als bier en ‘vlees’ kan ook melk met behulp van nieuwe voedingstechnologie en zonder gebruik te maken van levende dieren, zoals de koe, worden geproduceerd. Daarmee is het stikstofprobleem grotendeels opgelost. Ter geruststelling: een klein aantal koeien, varkens en kippen (wij denken van elk zo’n tien exemplaren) zal worden bewaard als cultureel-industriëel erfgoed.

Woningbouw

Het tekort aan woningen wordt enerzijds veroorzaakt door de rem op de woningbouw vanwege het hiervoor al besproken stikstofprobleem, anderzijds door de toenemende vraag naar woningen. Wat het eerste betreft: dit is opgelost door een intelligente antropologische transitie (IAT) van de landbouw (zie de paragraaf Natuur en Landbouw). Door minder stikstofdepositie kan er weer gebouwd worden. Het probleem aan de vraagzijde wordt opgelost door optimalisering van de geografische verdeling van inwoners en woningen. Dit kan doordat door de automatisering van arbeid de woon-werk-koppeling aan een specifieke locatie voor velen tot het verleden gaat behoren. Ook zal door emigratie de druk op de woningmarkt afnemen. (Zie de Emigratie paragraaf.)

Verkeer en vervoer

Naast de landbouw is het verkeer een belangrijke belasting voor onze natuur en onze leefruimte. Door verder automatisering zal woon-werk-verkeer drastisch verminderen. Daardoor zijn minder wegen nodig. Ook zal volgens onze sociaal-economische rekenmodellen de behoefte aan persoonlijke consumptiegoederen voor eigen particulier gebruik drastisch afnemen. Daardoor zal het goederenvervoer ook aanzienlijk minder worden. Bestaande luchthavens worden overdekt en voorzien van zonnepanelen.

Migratie

Nederland is vol. Een groot deel van de leefruimte in Nederland komt echter vrij door het vrijkomen van landbouwgronden door het verdwijnen van de koe, het varken en in mindere mate de kip als voedsel-bron (zie de Landbouw paragraaf). Dit is zo’n 40 % van het oppervlakte. Daardoor is het mogelijk te voldoen aan de in de EU afgesproken aantallen vluchtelingen-immigranten die Nederland heeft toegewezen gekregen. Door automatisering is arbeidsimmigratie niet meer nodig.

Armoede

Om de schrijnende armoede onder een groeiend deel van de Nederlandse bevolking te bestrijden is DIP voor afschaffing van het geldwezen. In een volledig geautomatiseerde economie zonder geld behoort geldgebrek en daarmee de armoede tot het verleden. Er is een natuurlijke grens aan wat een individu kan consumeren. De overheid zorgt voor voldoende middelen om in ieders levensonderhoud en geluk te kunnen voorzien.

Het geld is ooit ingevoerd om de ruilhandel te vereenvoudigen. Dat heeft er echter toe geleid dat geld zelf een ruilmiddel werd en dat er een complex bouwwerk ontstond van banken en andere monetaire instellingen die handelen in tegoeden en schulden. DIP is voor de deconstructie van het geldwezen door afschaffing van het geld. De persoon behoeft eigendom, maar teveel eigendom is dom.

Emigratie

Onze sociaal-economische rekenmodellen voorspellen dat een niet onbelangrijk deel van de Nederlanders zal emigreren. Dit zullen vooral die inwoners zijn die niet inzien hoe je als individu nog een zinvol bestaan kunt hebben als er geen geld meer is, waardoor je niet meer jezelf kunt waarmaken in het bezit van duurdere en grotere huizen, boten en auto’s dan je buurman of buurvrouw. Deze emigratie draagt tevens bij aan de oplossing van het probleem aan de vraagzijde van het woningprobleem. Er zal minder gebouwd hoeven te worden en er zal meer natuur zijn voor minder mensen. Nederland wordt weer leefbaar.

Onderwijs

De ervaring leert dat de ontmoeting van leerlingen met diverse culturele en religieuze achtergronden in de school tot conflicten leiden die het onderwijsproces verstoren. Daarom stelt DIP voor om alle uitingen van dergelijke achtergronden en politieke sympathieën in het onderwijs te verbieden. Dat betekent dat het dragen van hoofddoeken, keppeltjes, maar ook van een vergiet verboden is.

Omdat veel namen verwijzen naar een religieuze achtergrond (Mohammed, Christiaan) zullen deze niet meer in het onderwijs worden gebruikt. Iedereen wordt aangesproken met een unieke identifier, een nummer (zoals het BSN). Verder zal het basisonderwijs bestaan uit drie onderdelen: de zuivere wiskunde, Nederlands en sport. Dit omdat de inhoud van alle andere vakken potentieel kunnen leiden tot conflicten in de school. In het middelbaar onderwijs wordt naast wiskunde ook mechanica onderwezen. In het hogere onderwijs wordt dit uitgebreid met theoretische informatica en computerwetenschappen.

Rechtspraak

Er gaat veel mis in de rechtspraak. Dat komt doordat rechters, zoals veel werkers, hun werk aan algoritmes en procedures uitbesteden. Daar zijn goede motieven voor, maar daarmee verdwijnt niet alleen de uitoefening van verantwoordelijkheid, ook wordt daardoor de individuele burger niet meer als individu, maar als abstract geval, een instantie van een datastructuur, (een gebruiker), behandeld. Het individu raakt zo vermangeld tussen de raderen van een machinerie van regels en wetten.

In Algoritmische beslisregels vanuit constitutioneel oogpunt (Goossens et al, 2021) bestuderen de auteurs de rechtstatelijke risico’s ten gevolge van het gebruik van algoritmes door de verschillende overheidsinstanties.

De focus van deze studie ligt op “de fundamentele tweedeling tussen algemene regels en de concrete toepassing via individuele beslissingen alsmede, in het licht daarvan, de wisselwerking tussen normen en feiten.” Die ‘normen’ zijn min of meer expliciet gemaakt in de algoritmes die werken op de gegevens over de burger. Algoritmes zijn op modellen gebaseerd en modellen zijn nooit ethisch neutraal. “Models are opinions embedded in mathematics.” (Cathy O’Neil, Weapons of Math Destruction)

De auteurs wijzen erop dat de besluitvorming van het bestuur in individuele gevallen al geruime tijd steeds vaker (deels) geautomatiseerd plaats vindt op basis van algoritmische beslisregels. “Hierdoor kan de relatie vertroebelen tussen enerzijds een concreet besluit dat het resultaat is van de toepassing van een algoritmische beslisregel en anderzijds de algemene regels die oorspronkelijk ten grondslag liggen aan de bevoegdheid van het bestuur om in individuele gevallen concrete besluiten te nemen.

Tijdens de toeslagenaffaire werd door een hoge ambtenaar van de Belastingdienst opgemerkt dat de economie en de politiek vereist dat deze “werkt als een machine”. “Daar mag geen zand tussen komen door naar individuele gevallen te kijken.”

De auteurs wijzen er terecht op dat wanneer het om de toepassing van algemene regels in concrete gevallen gaat er een wisselwerking is tussen de regel en de situatie. “Dat wat we ‘toepassing’ noemen, raakt ook de toegepaste regel”. De toepassing van een regel in de praktijk is iets anders dan het toepassen van een wiskundige functie op een argument, zoals een machine dat doet.

Hier sluiten wij ons van harte bij aan. Het beoordelen van regels en wetten op de rechtvaardigheid van de toepassing kan alleen door mensen gebeuren, omdat algoritmes per definitie abstraheren van concrete gevallen, van de burger als individu. Alleen de mens heeft het vermogen tot inzicht in de waarde en betekenis van een specifieke situatie waarin een burger zich bevindt.

Overigens verwachten we op basis van onze rekenmodellen dat er veel minder vaak een beroep zal worden gedaan op de rechtspraak. Door het afschaffen van het geldwezen, en daarmee van belastingen op inkomen en toeslagen zullen de beroepszaken tegen de overheid aanzienlijk in aantal afnemen. Daardoor komt er meer tijd vrij voor het beoordelen van de kwaliteit van besluiten door overheidsinstanties.

De Staat der Nederlanden

Het belangrijkste punt op de politieke agenda is en blijft de verwerkelijking van de vrije Staat der Nederlanden en daarmee van de vrijheid van haar onderdanen. De Staat is niet een statische toestand. De Staat is een proces. Het is een proces waarin de bemiddeling plaats vindt tussen De Staat als eenheid en als veelheid van de individuele staatsburgers, de ingezetenen van Nederland. De Staat staat enerzijds boven het individu, anderzijds is het de bemiddelde eenheid van het individu als staatsburger. De Staat kan niet bestaan zonder het concrete individu, daarom moet de Staat altijd opkomen voor het individu. Omgekeerd kan het individu niet bestaan zonder de andere leden en de Staat. De Vrijheid is zowel de motor als het doel van het proces dat de Staat is. Het gaat zowel om de vrijheid van de Staat als om de vrijheid van elk individu. Redelijkheid en rechtvaardigheid zijn de maten waaraan het proces van de vorming van de Staat gemeten wordt.

De Organisatie van de Staat

Voor de organisatie van het Staatsproces worden een klein aantal (we denken aan vijf) Ministeries onderscheiden. Elk ministerie vertegenwoordigt een Aspect aan het Staatsproces en bepaalt vanuit haar visie op dit aspect door zorgvuldige afweging de individuele belangen en het Staatbelang. De ministeries bepalen de parameters voor de sociaal-economische rekenmodellen op basis waarvan de beleidsplannen worden gemaakt. De uiteindelijke planning valt dan onder het Ministerie van Algemene Zaken & Informatie (zie hieronder). We stellen de volgende ministeries voor. Het is de bedoeling dat deze bezet worden door mensen die verstand van zaken hebben.

Het Ministerie van Geschiedenis

De belangrijkste taak van dit Ministerie is naast de zorg voor de historiciteit van de mens het beheren en bewaken van het cultuur-historisch erfgoed. Dit bestaat vooralsnog uit: het Koopvaardijschip, de Koe, de Florijn (als symbool voor de abstracte waarde), een Zwarte Piet (als symbool voor het slavernijverleden), Sinterklaas (als symbool voor de vrijgevigheid), en het Spruitje.

Het Ministerie van Economie & Natuur

Dit Ministerie heeft de zorg voor een gezonde economie, waarvan de automatisering van werk, de medische zorg, voedselproduktie (waaronder landbouw) en het natuurbeheer de belangrijkste onderdelen zijn. Het Ministerie is verantwoordelijk voor de fysieke infrastructuur, de verdeling van het natuurlijk ‘grondgebied’ van de Staat der Nederlanden: woningbouw, landbouw, natuur, recreatie, en wegen.

Het Ministerie van Recht & Grensoverschrijdende Zaken

Laten we deze belangrijke paragraaf beginnen met onze door de eeuwenheen door schade en schande verworven inzichten in de werkelijkheid van het streven naar vrijheid en de uitwerking daarvan in het recht en de rechtstaat nog even op een rijtje te zetten. De kernbegrippen zijn vrije wil en behoeftigheid.

In abstracto kan de vrije wil niet ontkend worden zonder deze in de uitoefening van deze ontkenning zelf te bevestigen. Want wat zou de uitdrukking van deze ontkenning betekenen wanneer deze niet gegrond is in de vrijheid van de wilsakt maar daarentegen door omstandigheden van buiten tot stand zou zijn gekomen? Dan zou deze uitdrukking geen betekenis en zin hebben. De abstracte vrije wil moet zich echter nog in concrete wilsdaden verwerkelijken. De vrije wil kan zich positief tot iets bepalen (“Dit is wat ik wil omdat ik daar de waarde van in zie.”) of zich positief van iets afwenden. Het gaat hier om een vrije zelfbepaling.

We moeten vrijheid niet verwarren met keuzevrijheid, de vrijheid om uit dit of dat te kiezen. Die keuzevrijheid veronderstelt de fundamentelere vrijheid om zich tot iets positief te bepalen. De mens kan wel gedwongen worden iets te doen of te laten of om uit een voorgelegde veelheid van opties te kiezen, maar hij kan niet gedwongen worden iets te willen of niet te willen. Dit is wat de persoonlijke integriteit uitmaakt. Mensen die het bestaan van de vrije wil ontkennen doen dat vaak omdat ze het gevoel hebben dat ze in al hun doen en laten door de omstandigheden en oorzaken buiten hun zelf om gedwongen worden. Dat gevoel drukt echter het besef uit dat het niet zo moet zijn, vanwege de wil die vrij wil zijn. Een andere reden is dat men een theoretisch determinisme aanhangt. Wetenschap en theorie kunnen echter niet bestaan zonder de vrije wil tot inzicht in de werkelijkheid te komen door stelling te nemen en door vrije keuzes te maken. De vrije wil kan zich niet realiseren in doelgerichte handelingen zonder inzicht in de noodzakelijke werkingen van de werkelijkheid.

Het recht in abstracte zin is het streven naar vrije zelfbepaling. In een samenleving moet de vrije wil haar concrete gestalte krijgen. Het recht kan niet bestaan zonder de zedelijkheid. De Nederlandse rechtstaat kan niet bestaan zonder de zedelijke intenties van de leden van de Nederlandse samenleving. Met het verdwijnen van de ‘grote verhalen’, met de ontkerkelijking en met de verwetenschappelijking van de samenleving en de technologisering van de arbeid en het primaat van het economisch in het leven van de westerse mens lijkt de zedelijkheid op drift geraakt. Velen zoeken stuurloos naar een nieuwe haven om aan kan leggen. De neo-liberale kabinetten Rutte wordt vaak verweten niet bij machte te zijn geweest in de ontstane zedelijke leegte te voorzien. De gemeenschap is uit elkaar gevallen en heeft het karakter gekregen van een door onverschilligheid beheerste veelheid van naar autonomie strevende individuen. Daarbij dienen we ons te realiseren dat de vrije wil in dienst waarvan het recht bestaat, door het gemeenschapsleven niet allereerst wordt beperkt, – een dergelijke opvatting verwart het streven naar zelfstandigheid met dat naar onafhankelijkheid – zonder het gemeenschapsleven kan van een vrije wil geen sprake zijn, ze neemt daar werkelijk deel aan. Alleen door samen te werken in een gemeenschap kan de vrije wil gerealiseerd worden.

De overheid heeft een taak in de zorg voor het recht op onder andere eigendom, arbeid en vrijheid van gedrag, daarvoor maakt zij regels en wetten die ze met gezag zijnde de concrete macht van het recht – al dan niet met geweld – wil en moet handhaven. De aanspraken die de individuele burgers maken op liefde, vriendschap, en vertrouwen zijn net zo belangrijk voor de burger als die op arbeid en de vrijheid van meningsuiting. Maar het heeft geen zin om hiervoor rechtsregels en wetten op te stellen. Het door velen gevoelde gebrek aan vertrouwen in de overheid of in de ander (vaak vanwege de vreemdheid van de cultuur van die ander) laat zich niet door regels oplossen. Daarvoor is een ‘cultuuromslag’ vereist.

Naast de materiële behoeften, waar de economie in engere zin over gaat zijn er de immateriële behoeften. Volgens Plato kan de Staat die in de behoeften van de mensen haar grond heeft, niet bestaan noch tot stand komen zonder het inzicht en het streven van de filosofie dat de behoeftigheid relativeert en overstijgt. De concrete behoeften van de mensen zijn cultureel en historisch bepaald. Het verwerkelijken van één Europa en één Wereld vereist dat we boven de door materialisme, technologie en neo-liberalisme gedreven partikuliere behoeften van de verschillende culturen uitstijgen. De natuur kent geen landsgrenzen. De klimaat- en milieuproblemen kunnen niet zonder een wereldwijde aanpak worden opgelost.

De mens is aan de aarde gebonden. Vluchten kan ons niet helpen. Op de maan groeit niets, geen boerenkool, geen spruiten, niets groeit er.

DIP is, ondanks de moeilijke tijden van crises, van mening dat we de morele plicht hebben optimistisch te zijn en te blijven streven naar de verwerkelijking van de vrijheid, gelijkheid en broederschap voor allen door allen via een democratische proces, waarbij uitdrukkelijk ook het gezag van de Staat dat zorg draagt voor handhaving van het recht, onder het recht valt.

De primaire taak van het Ministerie van R&GZ is de zorg voor de praktische uitvoerbaarheid van regels en wetten en het toezicht op de rechtvaardige handhaving daarvan waarbij het belang van de individuele burger wordt gewogen met de belangen van de samenleving en de Staat.

Het Ministerie voor R&GZ heeft verder de zorg voor het gezonde grensverkeer bij de communicatie tussen individuele burgers, burger en samenleving, en burger en Staat, als ook tussen het Nederlandse grondgebied en de buitenlanden. Het onderhoud van landweren (voorheen ‘defensie’) en zaken betreffende migratie vallen onder dit ministerie.

Het Ministerie van Sport & Geestelijk Welbevinden

Sport is de belangrijkste ontmoetingsplek van de burgers. De sport is ook een belangrijk platform voor de ontmoeting van de Staat der Nederlanden met haar buitenlanden. Hier rust de zorg voor het geestelijk welbevinden van de Staat en haar burgers. Alle sportaktiviteiten zijn uiteindelijk gericht op het succesvol en sportief optreden op De Internationale Podia. Dit Ministerie is ook verantwoordelijk voor Onderwijs en Opvoeding in de meest brede zin. Sport en spel zijn naast wiskunde/logica en taal de belangrijkste onderdelen van het opvoedende onderwijs. Zie ook de onderwijsparagraaf hierboven.

Het Ministerie van Algemene Zaken & Informatie

Het Ministerie van Algemene Zaken heeft de zorg voor de robotisering, de automatisering en de informatievoorziening ten behoeve van een optimale dienstverlening aan de burgers van de Staat. Ze waakt ervoor dat bedrijven en (overheids)instellingen hun interactie met de burger en klant niet uitbesteden aan de informatietechnologie. Het komt al te vaak voor dat de verantwoordelijken zich achter deze digitale interface verschuilen en zelf geen zeggenschap meer (zeggen te) hebben over de wijze waarop de communicatie met de burger/klant is georganiseerd. Dat moet maar eens afgelopen zijn.

Ten slotte: Oorlog en haar nadelen

Oorlog is de ultieme uitoefening van geweld door de staat tegenover andere staten. Geweld moet als staatsgeweld uiting zijn van het legitieme gezag, de concretisering van de macht van het recht dat de Staat dient. Nederland moet als vrije democratische rechtstaat zelf een beslissing nemen of ze wel of niet deelneemt aan een oorlog dan wel daaraan begint. De oorlog is de voortzetting van de politiek met andere middelen; met bommen en granaten en mensen als kanonnenvoer. De oorlog heeft veel nadelen en het is een ongezonde bezigheid. Maar als het dan toch moet omdat onze vrijheid bedreigd wordt, dan zullen we te allen tijde erbij de strijdende partijen op aandringen het eens te worden over het motief waarom er oorlog gevoerd wordt. Dat is toch het minste dat we van de ‘redelijke mens’ en een redelijke staat mogen vragen.

Een oorlog die een einde maakt aan de oorlog bestaat niet. We moeten blijven afwegen en bespreken of het doel dat de oorlog dient het leed dat er mee gepaard gaat waard is.

NO NATURE NO FOOD

The Capture

“Het objectiverende verstand verbreekt de fascinatie van de objectiviteit en moet concluderen dat de enige zekerheid is: Cogito sum.” (L. Fleischhacker)

Toen ik laatst een geluidsopname van mij hoorde, meende ik mijn zoon te horen. Je eigen stem klinkt vreemd. Je herkent je eigen stem niet wanneer die van buiten van een opname tot je komt. Ben ik dat? vraag ik. Ja, dat ben jij, kijk maar, zegt mijn vrouw. Ik kijk naar de video. Ik vertrouw haar. Haar woorden spreken de waarheid. Op haar kan ik bouwen.

Deze blog gaat over de vraag: Waar kunnen wij tegenwoordig nog zeker van zijn?

Van ons zelf? Maar wie is dat? In hoeverre maken we zelf uit wie we zijn?

The Capture: over de corrupte waarneming

We kijken ‘s avonds samen naar The Capture, een dramaserie.

The Capture met Shaun Emery en Hannah Roberts

In The Capture jaagt de ambitieuze rechercheur Rachel Carey (Holliday Grainger) op de oud-militair Shaun Emery (Callum Turner) die wordt verdacht van aanranding en ontvoering. Het misdrijf is gefilmd door bewakingscamera’s waarop te zien is hoe Emery, na een feestelijke avond in een kroeg zijn advocaat Hannah Roberts (Laura Haddock) aanrandt en meesleurt in zijn auto. De advocaat is daarna spoorloos verdwenen. Wij hebben, als kijkers, al kunnen zien hoe Shaun en Hannah na een innige omhelzing bij de bushalte afscheid van elkaar namen. We zien hoe Hannah in de bus stapt, nagezwaaid door Shaun. Geconfronteerd met de videobeelden van de bewakingscamera’s waarop de aanranding te zien is herkent Shaun zichzelf maar de twijfel slaat toe. Twijfel en woede maken zich van hem meester.

Emery zweert dat iemand hem erin luist en dat hij zijn advocaat geen kwaad heeft gedaan. Rechercheur Carey vindt dat moeilijk te geloven, De videobeelden zijn voor haar overtuigend bewijs. De oud-militair zou, gezien wat hij heeft meegemaakt op zijn missies in Afghanistan, best aan PTSS kunnen lijden waardoor hij zich niets meer herinnert van de aanranding. Maar dan maakt rechercheur Carey zelf iets mee waardoor haar kijk op de zaak dramatische verandert. Hoe betrouwbaar zijn die videobeelden eigenlijk? Wie van haar collega’s kan zij nog vertrouwen? Ze vermoedt een complot.

In de loop van de serie raakt de kijker meegesleurd in een verwarrend netwerk van rechercheurs, spionage, en contra-spionage, waarbij een heel team van regisseurs en video-technici blijkt te zijn ingezet om bijna real-time camerabeelden te manipuleren. Je weet niet goed wie nu bij de Goeden hoort en wie bij de Slechten. Als naïeve toeschouwers waren we aan deze indeling gewend. Maar is het leven nog wel zo simpel?

Wat in de tijd dat de film gemaakt werd (2019) nog grotendeels fantasie was, is tegenwoordig (2023) realiteit waar we bijna dagelijks mee worden geconfronteerd: gemanipuleerde camerabeelden, audio-opnames, door machines gegenereerde teksten en remixed videos. De werkelijkheid is niet meer wat het was. Via de media maken we kennis met niet meer van echt te onderscheiden, met behulp van Artificial Intelligence geconstrueerde, nepwerkelijkheden. Wat is nog echt en wat is fake? De rotsvaste bodem van de ware werkelijkheid waarin we geloofden is ons door de media en de technologie onder de voeten weggehaald. Het resultaat van de toepassing van de ooit zo onbetwijfelbare mathematische waarheden. Waar vindt ons denken nog houvast nu LLMs en ChatGPT teksten genereren die niet van originele door mensen geschreven teksten te onderscheiden zijn? Wie zitten er eigenlijk achter de berichten die we via de media tot ons nemen? Welke machten bepalen welke beelden wij voor de werkelijkheid krijgen voorgeschoteld?

We vertrouwden op de zekerheden van de mathematische wetenschap. De werkende techniek zagen we als bewijs dat die wetenschap de ware wetten van de natuur onthulde. Maar die techniek blijkt de waarheid net zo goed te kunnen verhullen. Omdat het een constructie van de mens blijkt te zijn. Waar kunnen we dan nog zeker van zijn? Wie garandeert nog de waarheid die we in de technologie meenden te vinden? De overheid? Maar, is die ook niet corrupt?

De Autonome Mens

“Der Staat ist die Wirklichkeit der sittlichen Idee” (G.W.F, Hegel, Grundlinien der Philosophie des Rechts, $ 257 Der Staat)

Velen ontberen de onmiddellijke zekerheden van het leven in hun eigen familiekring en cultuur. Ze zijn – al dan niet door omstandigheden buiten hun wil – op drift geraakt en op zoek naar nieuwe zekerheden en waarheden. Sommigen zoeken een nieuw bestaan in een ander land. Ze hopen dat daar de Staat als bewaker van wetten en regels hun een vaste bestaansbodem biedt. Een Staat waarop ze kunnen vertrouwen. Anderen keren zich teleurgesteld door het leven tegen iedere Staat, tegen ieder gezag. Ze vluchten als moderne mensen in hun eigen autonome denken weg van de instituten, los van de Staat met zijn wetten en regels. Hun geest is gevangen geraakt in de kleine cirkel van hun eigen autonome solipsistische ik.

‘Autonome’ burgers erkennen het gezag van de overheid niet’. Haro Kraak schreef er een artikel over in de Volkskrant. “Spoelt u uw wc door, mevrouw?” vroeg de deurwaarder van het gemeentelijk incassobureau, de GBTwente, toen de autonoom die weigerde waterschapsbelasting te betalen de deur voor hem opende. Maar deze autonome denkers is iedere redelijkheid vreemd. Liever nog zouden ze niet meer eten en niet meer naar de wc gaan dan dat ze erkennen niet alleen op de wereld te zijn en afhankelijk van anderen. Maar is de autonome denker wel zo autonoom als hij of zij denkt te zijn?

David Chalmer’s Zuivere Denker

In zijn APA 2023 voordracht getiteld Can Large Language Models Think? voert de philosopher of mind David Chalmers de figuur op van ‘De Zuivere Denker‘ (‘pure thinker’).

Uit: David Chalmers APA 2023 Presentatie

De Zuivere Denker is een (mogelijk niet menselijke) denker zonder zintuigen. Zintuiglijke waarneming is de Zuivere Denker dus vreemd, waardoor het van elk contact met de werkelijkheid buiten het denken zelf verstoken is. Althans voor zover we dat ons als mens kunnen voorstellen. Enige notie van ‘buiten’ in onderscheid van ‘binnen’ is de Zuivere Denker vreemd. Toch is Chalmers van mening dat de Zuivere Denker werkelijk bestaat.

In een recent essay in de Boston Review komt hij op de kwestie of de Zuivere Denker bestaat terug in verband met de vraag of LLMs bewustzijn hebben. Deze vraag wordt daar onmiddellijk vervangen door, cq. gekoppeld aan de vraag of in de toekomst LLM+-s bewustzijn zullen hebben. Dit is om duidelijk te maken dat het hem niet zozeer om de feitelijke actuele toestand van de techniek gaat, maar om de mogelijkheden die de technologie te bieden heeft. Daarmee zijn we in het fantasierijk van het autonome denken van de technologie, het denken dat onder andere zichzelf denkt, terechtgekomen.

Merk op dat Chalmers bewustzijn als een eigenschap van een zijnde en niet als zijnswijze ziet. Of een entiteit bewustzijn ‘heeft’ kan volgens Chalmers door experimenteel onderzoek worden bepaald. Verder maakt Chalmers onderscheid tussen cognitief bewustzijn en denken. Een onderscheid dat hij verder niet toelicht. Kennen zonder denken lijkt me ondenkbaar en omdat het denken gericht is op het kennen lijkt me dat beide in de werkelijkheid nooit zonder elkaar voor kunnen komen. Misschien wel in Chalmers denken, maar hoe werkelijk is dat denken dan?

Waarover kan een denker zonder sensoren, zonder enig contact met de buitenwereld, denken? Chalmers: over logica, over wiskunde, en over het denken zelf. De gedachte dat het wiskundig denken niet over de waarneembare werkelijkheid zou gaan is echter lastig te rijmen met het bestaan van machines en al helemaal niet met het bestaan van rekenmachines en kunstmatige intelligentie. Hoe is het immers denkbaar dat de wiskunde op alle gebieden van de werkelijkheid toepasbaar is, als het Zuivere Denken in staat is wiskunde te beoefenen zonder enige band met de zintuiglijke werkelijkheid? Zonder een samenhang van de mathematische objecten met de waarneembare wereld zou de wiskunde toch niet toepasbaar zijn.

Is de filosofie dan al die tijd, vier eeuwen na het ‘cogito sum’ (het ik denk dus ik ben) en de mathematische metafysica van Descartes, niets opgeschoten?

Is het niet zo dat door de act van de zelf-reflectie het denken niet alleen tot inzicht in zichzelf komt, maar dat deze act tevens aantoont dat het zelf-reflecterende Cartesiaanse subject zich onderscheidt van zijn externe wereld? Het mathematisch denken houdt de aan de werkelijkheid ontleende tekenstructuren die betekenisvolle aspecten van de waarneembare werkelijheid representeren voor zelf-genoegzame structuren, opgevat als quasi-substanties, om hun ideale structuren te begrijpen. Zonder de ingenieuze act van het construeren is er geen wiskunde, noch technologie. Zonder waarneembare tekens die als ‘rigid designators’ (Kripke) de wiskundige objecten identificeren is wiskundig redeneren niet mogelijk. Juist door het identificeren door middel van een teken krijgen de mathematische constructies hun quasi-object karakter.

Chalmer’s Zuivere Denker is een gedachte-experiment. In zo’n experiment wordt geabstraheerd van aspecten die in werkelijkheid niet eenvoudig te elimineren zijn. Galileï voerde gedachte-experimenten uit waarin hij abstraheerde van de weerstand die de lucht uitoefent op een vallende steen om zo de invloed van de zwaartekracht op de valsnelheid te bepalen en in een wiskundige formule uit te drukken. Wil Chalmers zijn gedachte-experiment omzetten in een echt experiment dan moet hij condities realiseren waarin de invloed van het aspect waarvan in het gedachte-experiment geabstraheerd is (hier de lichamelijkheid van de denker) verwaarloosbaar is. Het hangt volgens zijn filosofie immers van de empirische gegevens af of we kunnen concluderen of de zuivere denker in staat is te denken. Maar om waarneembaar te zijn moet het denken lichamelijk zijn. Hoe kan het verband tussen het zuivere denken en het denken in de realiteit getoetst worden als denken in de realiteit om waarneembaar en meetbaar te zijn (de eis die de empirische wetenschappelijke methode aan het echte experiment oplegt) lichamelijk moet zijn? Een dergelijk experiment is onmogelijk.

Ik denk, dus ik ben

Scepsis en twijfel zijn de vertrekpunten van de moderne metafysica”, schrijft Gert-Jan van der Heiden in zijn Metafysica – van orde naar ontvankelijkheid. Met Descartes keert de filosoof de blik naar binnen, naar het subject. En vindt daar het denkende ik zelf. De moderne filosofie probeert het autonome subject, wars van iedere vorm van autoriteit: van traditie, Kerk en Staat, van rites en gewoontes door gender en genen opgelegd, nieuwe grond onder de voeten te geven. De wiskunde geldt sindsdien voor velen als de wetenschap die onze kennis zekerheid moet bieden. Maar de natuur noch de wiskunde zelf bleek in de loop van de 19de eeuw het fundament te kunnen bieden voor haar waarheden. Pogingen de wiskunde zichzelf te laten funderen en haar waarheden uit het zuivere denken te produceren zijn op paradoxen (Russell, Gödel) uitgelopen. Het ‘bijprodukt’ van deze meta-mathematische exercities die van het denken rekenen maakt en van de woorden van onze taal formele (statistische) gegevens is de ‘denkende machine’. In deze machine ziet de moderne autonome mens zichzelf voor zich, als denkende machine, een slechts uitwendige objectivatie van zijn denken en taalgebruik. Ik spreek hier van ‘bijprodukt’ in de zelfde zin als het uurwerk het onbedoelde ‘bijprodukt’ was van de bouw van de mathematisch/kosmologische modellen die de regelmatige bewegingen van de planeten nabootsen. Het mobieltje is in de plaats gekomen van het horloge. (Met dank aan de historicus Douwe Draaisma die ons wees op het horloge als bijprodukt van het kosmologisch model.)


De uitwendige objectivatie van de mens als bewustzijn onderkennen is de uitdrukking van het feit dat het hier gaat om slechts een uitwendige (fysische) objectivatie, dat wil zeggen dat deze als zelfstandig zijnde slechts in de afhankelijkheid van deze relatie tot de mens kan worden begrepen. Zonder de relatie tot de mens is de (intelligente) machine geen machine. Het lijkt inderdaad een tegenstrijdigheid dat iets door een relatie (mens-machine) bepaald is en niettemin een zelfstandigheid heeft. Ook het teken heeft als teken een eigen zelfstandigheid (het is een waarneembaar object) maar is voor zijn waarde volledig afhankelijk van de betekenis die het heeft voor een subject voor wie het teken een teken is. De programmeerbare (rekenende) machine is een werkend teken.

De God van Descartes die het denken van de wiskunde een zekere basis moest geven hebben we inmiddels dood verklaard. De techniek is haar lijk. De werkloze theologen en de filosofen van de geest proberen het lijk nog nieuw leven (bewustzijn) in te blazen. Zonder succes. De strijd om de verantwoordelijkheid is begonnen. Laten we de robot toe tot onze ‘morele cirkel’, zoals de dieren, de zeeën en rivieren?

Wat zal de toekomst de filosofen van de geest brengen?

Wie of wat zal de autonome mens (“ik ben geen persoon, ik ben een mens”) nog weer een plek op aarde schenken waar hij weer als verantwoordelijk persoon deelneemt aan de strijd voor zijn eigen (of onze) waarheid?

Als de machine bewustzijn had dan zou deze net als de oud-militair Shaun Emery uit The Capture vechten voor zijn eigen waarheid. Een strijd op leven en dood.

Wat niet is kan ook niet komen.

Could a large language model be conscious? – A review

If the machine was a conscious being, it would fight for its own truth to the death.

Will we soon witness a robot that flees after causing a fatal accident because it is (apparently) afraid of being caught and sentenced to a long prison sentence?

A robot that satisfies this description is taken to be aware of the situation it finds itself in. Why would he be afraid? Why does he not want to be imprisoned?

The witness that comes with such a report will certainly answer that the robot doesn’t like being imprisoned. These robots are not only aware of the world, they are sentient beings as well. They cannot only imagine different worlds, they prefer some worlds over others. They value the world around them as well as their own being.

Do LLMs have consciousness? This is the question thoroughly analysed by David Chalmers in a recent essay in the Boston Review. He argues that “within the next decade, we may well have systems that are serious candidates for consciousness.”

What makes him believe so?

“What is or might be the evidence in favor of consciousness in a large language model, and what might be the evidence against it? That’s what I’ll be talking about here.”

The question if LLMs or robots have consciousness (are conscious beings) is a tough question. The question is not whether currently existing robots have consciousness, but whether the technology offers the possibility of making robots that have consciousness in the future. This means that we enter the fantasyworld of creative technological thinking. Thinking about this, we experience that the question touches the limits of thinking itself and calls it into question. We feel that the question brings up something that cannot be clearly stated in the language of the existing order.

This is why some say that thought can never be only argumentative, but must always be testifying and poetic. The problem tears thinking between mathematics and mysticism, between technology and fantasy.

But it’s not just a matter of language. It’s not a ‘language game’. It is a deadly serious issue who is responsible for the harm caused by our ‘autonomous’ intelligent instruments, cars, weapons, etc. Some people say that if we attribute consciousness to robots and consider them as being accountable we in fact protect the industry and the owners, the entities that are in fact responsible. It is a matter of power who decides in the end what language game we are playing. In the field of AI different life worlds, the world of producers, of the big companies, of the marketeers, of the politicians, of the ethicists, of the end users, meet. In each of these life worlds the members play their ‘language game’. The meeting we witness now is too serious a matter to be a game.

But these are not the issues Chalmers considers in his essay. He focuses on the question about consciousness. I believe we can’t talk about being consciousness without talking about morality, without talking about the powers that meet in the AI business, politics and ethics. Chalmers plays in this meeting the ‘language game’ of the scientific philosophers of mind.

Scientists not only rely on logic, but above all on observation. But what do they observe? Scientists want to measure. But how and what? And how do they report on what they observe? What you ‘see’ is very much dependent on the method you use and the language you speak. Are rocks aware of each other’s presence? Is that a weird question? They attract each other. They obey the laws of Newtonian mechanics. Can we speak here of a rock’s behavior depending on its awareness of the presence of the other rock? Or is that too anthropomorphic thinking/language? And what about the little plant that folds its leaves together at the slightest touch. Descartes was particularly interested in it because of its ‘emotional’ behavior. He wanted to show the mechanism behind this behavior. The outside world is after all one big mechanism. (Mimosa pudica, is the Latin name of this ‘sensitive plant’.)

It is because we can trust that the falling stone obeys the mathematical law of Newtonian mechanics that we can use the physical process as a computing device that computes the outcome value of the function determining its speed at any height given the initial height of the stone as input. We could say the stone is doing math. It is a primitive device. Analogue, indeed. But note that every electronic machine, every combination of digital logical circuits deep down basically is a continuous physical process. That’s what we find if we look deep enough inside our LLMs. This answers one of the questions Chalmers poses in his essay: what do we find if we look deep down into LLMs? Any chance that we find something we could call ‘consciousness’? Only bones (‘nur Knochen’), Hegel answered, when asked if we will find a goast when looking into our brains.

Morality

Why does it matter whether AI systems like social robots, autonomous cars and weapons are conscious (or have consciousness)?

“Consciousness also matters morally. Conscious systems have moral status. If fish are conscious, it matters how we treat them. They’re within the moral circle. If at some point AI systems become conscious, they’ll also be within the moral circle, and it will matter how we treat them. More generally, conscious AI will be a step on the path to human level artificial general intelligence. It will be a major step that we shouldn’t take unreflectively or unknowingly.”

“We already face many pressing ethical challenges about large language models. There are issues about fairness, about safety, about truthfulness, about justice, about accountability.” 

Can a robot feel responsible and can it be held accountable for what it does? For Kant being responsible for one’s actions is the property that distinguishes a person from a thing. If we do not consider someone to be responsible for what he does, we do not take him as a real person having a free will. The question is: is a robot a person or a thing? Some people see them as slaves. But not human slaves.

Chalmers does not approach the problem from this practical and moral side, but from the bottom up: the question of what is consciousness and what are the characteristics of a sentient or conscious being.

LLMs and social robotic systems generate text which is increasingly humanlike. “Many people say they see glimmerings of intelligence in these systems, and some people discern signs of consciousness.”

Do they see ‘glimmerings of intelligence’ in the falling stone that computes it’s velocity obeying the mathematics of Newtonian mechanics? Or in the sentient plant that folds it’s leaves when touched by an unknown intruder? I see intelligent language use in the text on the information panel that says “You are here” pointing at the spot on the city map that is supposed to correspond to the location in the real world where I am located when reading the text.

Chalmers is interested in much more complex instances of intelligent language use both in today’s LLMs and their successors. The idea is that consciousness requires complexity.

“These successors include what I’ll call LLM+ systems, or extended large language models. These extended models add further capacities to the pure text or language capacities of a language model. (…) Because human consciousness is multimodal and is deeply bound up with action, it is arguable that these extended systems are more promising than pure LLMs as candidates for humanlike consciousness.”

The reasoning parallels that of Turing in his famous “Can machines think?”. Turing proposed an imitation game to answer the question, assuming there is a difference between men and machine. The question he considers is what devices could play the role of the machine in his game. Also Turing was not concerned with the question of whether the state of the art digital machines (in 1953) can think. The question was whether it is conceivable that in the future machines can no longer be distinguished from humans while playing the game. It is therefore about the potential of the ideal machine, that he mathematically defined by his Turing machine. The model that plays a role in thinking about computability as the model of the honest die plays in statistical thinking. Turing’s future digital devices that may play the role of the machine in his game include of course current LLM based chat programs like ChatGPT. By the way: Turing did not discuss the question what entities could play the role of the human being in his imitation game. That would again lead him to discuss the difference between man and machine: how are they ‘generated’, ‘constructed’? For Turing a ‘human being’ is simply the product of a ‘natural’ process. Period. No technology is involved in the making of human beings.

Will LLM+s pass the Turing test? Is the Turing test a viable test for consciousness? There are serious doubts. The problem remains on what grounds do we decide who may play the role of men and the role of the machine in the Turing test.

What is consciousness?

“Consciousness and sentience, as I understand them, are subjective experience. A being is conscious or sentient if it has subjective experience, like the experience of seeing, of feeling, or of thinking. (…) In my colleague Thomas Nagel’s phrase, a being is conscious (or has subjective experience) if there’s something it’s like to be that being.”

To me this means that a being has consciousness if we can somehow identify ourselves with that being. Which means that a conscious being shows ‘behavior’ that makes sense, i.e. that you can understand as meaningful for the being. So consciousness is a relational thing.

It also means that a conscious being is in a sense ‘autonomous’, it moves by itself, it is not moved by forces from the outside. It shows some shadow of free will. ‘Autonomous’ doesn’t mean independent. So consciousness is a relational thing but the terms of the relation have some ‘autonomy’, some objectivity of their own.

“Importantly, consciousness is not the same as human-level intelligence. In some respects it’s a lower bar. For example, there’s a consensus among researchers that many non-human animals are conscious, like cats or mice or maybe fish. So the issue of whether LLMs can be conscious is not the same as the issue of whether they have human-level intelligence. Evolution got to consciousness before it got to human-level consciousness. It’s not out of the question that AI might as well.”

Consciousness is subjective experience according to Chalmers: “like the experience of seeing, of feeling, or of thinking”. What is missing here is that being conscious is always being conscious of ‘something’. Intentionality is the characteristic of the state of consciousness. We experience, we feel, see, something. And we think about something. Language, the human expression of thinking ‘as thinking’, reflects this intentional relation in its character of being meaningfull.

“I will assume that consciousness is real and not an illusion. That’s a substantive assumption. If you think that consciousness is an illusion, as some people do, things would go in a different direction.”

Chalmers way of approaching the problem is along the lines of old-fashioned classical metaphysics and some tacitly assumed ontology. On the one side there are persons that we consider conscious beings, and on the other side there are things, like stones and tables. They don’t have consciousness. And then there are (intelligent) machines, like robots and LLMs. How do they fit in this ontology?

No distinction is made between LLMs, which are models, and working algorithms like ChatGPT. With a machine we can interact, it has a real interface, with mathematical (statistical) models we can not physically interact. We can only think about them.

Chalmers approach is property-based instead of relational.

Chalmers offers an operational definition and is looking for distinguishing features X, properties that we can use to put things in the appropriate category: conscious or not conscious.

Some people criticize the property-based approach. According to David J. Gunkel and Mark Coeckelbergh, the problem of intelligent machines challenges ancient metaphysics and ontologies. They argue for a ‘deconstruction’ (Derrida) of the historical thought patterns that shape the debates on this subject. They don’t see engineering challenges to construct consciousness, in the first place, they see mainly philosophical, ethical and legal challenges instead.

A relational approach does not compare humans and machine as if they are separate existing entities, that are conceptually independent of each other. Without man a machune is not a machine. Machines are human constructs for human use. They are outside mathematical physical objectivations of the human mind. The result of self-reflection of human thinking. Mathematics had to reflect on itself, meta-mathematics is required before machines became langage machines and could be programmed. The relation between machine and men is comparable with the relation between a word as physical observable sign and the meaning it has for us, that is for the reader that recognizes the word. Meaning of a token is not something that can be reduced to some physical properties of the token. Meaning is in the use of words, not something that exists as meaning outside language use. Information technology is based on a correspondence between thinking processes and physical processes. 

“I should say there’s no standard operational definition of consciousness. Consciousness is subjective experience, not external performance. That’s one of the things that makes studying consciousness tricky. That said, evidence for consciousness is still possible. In humans, we rely on verbal reports. We use what other people say as a guide to their consciousness. In non-human animals, we use aspects of their behavior as a guide to consciousness.”

But, how can a verbal report be evidence for consciousness? And: how can ‘aspects of their behavior’ be a ‘guide to consciousness’ ? Isn’t it begging the question if you take these properties as features? Don’t you tacitly assume what you want to conclude? What is it that makes you see some fenomenon as intentional behavior of a conscious being and not just as a mechanical proces?

“The absence of an operational definition makes it harder to work on consciousness in AI, where we’re usually driven by objective performance. In AI, we do at least have some familiar tests like the Turing test, which many people take to be at least a sufficient condition for consciousness, though certainly not a necessary condition.”

I dare to disagree. The Turing test shows how far we are in simulating conversational behavior that we consider an indicator of consciousness.

Evidence for consciousness of LLMs: Chalmers property-approach

“If you think that large language models are conscious, then articulate and defend a feature X that serves as an indicator of consciousness in language models: that is, (i) some large language models have X, and (ii) if a system has X, then it is probably conscious.

There are a few potential candidates for X here.”

Chalmers considers four.

X = Self-reports

“These reports are at least interesting. We rely on verbal reports as a guide to consciousness in humans, so why not in AI systems as well?”   Chalmers concludes and I agree that reports do not provide a convincing argument for consciousness.

X = Seems-Conscious

“As a second candidate for X, there’s the fact that some language models seem sentient to some people. I don’t think that counts for too much. We know from developmental and social psychology, that people often attribute consciousness where it’s not present. As far back as the 1960s, users treated Joseph Weizenbaum’s simple dialog system, ELIZA, as if it were conscious.”

This is an interesting comment, Chalmers makes. ELIZA shows how easy it is too come up with a conversational algorithm that is convincing to it’s users (sometimes, for some time). LLMs are much more complex and they simulate not only a Rogerian psychotherapist, but if they work convincingly they work on precisely the same principle: functional language use.

X = Conversational Ability

“Language models display remarkable conversational abilities. Many current systems are optimized for dialogue, and often give the appearance of coherent thinking and reasoning. They’re especially good at giving reasons and explanations, a capacity often regarded as a hallmark of intelligence.

In his famous test, Alan Turing highlighted conversational ability as a hallmark of thinking.”

See above for my comment on the Turing test.

X = General Intelligence

“Among people who think about consciousness, domain-general use of information is often regarded as one of the central signs of consciousness. So the fact that we are seeing increasing generality in these language models may suggest a move in the direction of consciousness.” 

Chalmers concludes this part of the analysis.

Overall, I don’t think there’s strong evidence that current large language models are conscious. Still, their impressive general abilities give at least some limited reason to take the hypothesis seriously. That’s enough to lead us to considering the strongest reasons against consciousness in LLMs.

Arguments against consciousness.

What are the best reasons for thinking language models aren’t or can’t be conscious?

Chalmers sees this as the core of the discussion. “One person’s barrage of objections is another person’s research program. Overcoming the challenges could help show a path to consciousness in LLMs or LLM+s.

I’ll put my request for evidence against LLM consciousness in the same regimented form as before. If you think large language models aren’t conscious, articulate a feature X such that (i) these models lack X, (ii) if a system lacks X, it probably isn’t conscious, and give good reasons for (i) and (ii).”

X = Biology

“Consciousness requires carbon-based biology.”

“In earlier work, I’ve argued that these views involve a sort of biological chauvinism and should be rejected. In my view, silicon is just as apt as carbon as a substrate for consciousness. What matters is how neurons or silicon chips are hooked up to each other, not what they are made of.”

Indeed, functions and information processes can be implemented in whatever material substrates. What matters is structure and structural correspondence between the physical processes and certain cognitive processes as we model them.

X = Senses and Embodiment

A meaningfull text refers to something outside the text. What is that ‘something outside’ ? Some people think we are imprisoned in language, but when they express this thought they mean something with it. How are the symbols that LLMs generate grounded in something outside the text? Living beings have a number of senses that connects them with the world outside.

“Many people have observed that large language models have no sensory processing, so they can’t sense. Likewise they have no bodies, so they can’t perform bodily actions. That suggests, at the very least, that they have no sensory consciousness and no bodily consciousness.”

Note that Chalmers introduces here variants of consciousness, ‘sensory’ and ‘bodily’ consciousness. Later on we will also have ‘cognitive’ consciousness.

Thinking about sensory perception in technical systems we draw a line between what belongs to the system itself and what is outside the system. What kind of border line is this?

Computers are good in playing chess. They beat human world champions. But how good are they in playing blind chess? What’s the difference between a computer playing blind chess or chess? Thinking about this it seems like it matters through what kind of device information enters the machine. A blind chess player may not use his eyes or whatever device to see the actual state of the playboard at all times he pleases. He only has his memory to visualize internally and update the state of the game he is playing when a set is done. But for a technical device like a robot what differences does it make if we do not attach a video device? The only way to simulate the difference is by specifying the memory function.  

If a robot has a body where does the body of the robot ends? What is the border between the body and the outside world?

In “Can Large Language Models Think?” Chalmers argued that “in principle, a disembodied thinker with no senses could still have conscious thought, even if its consciousness was limited.” An AI system without senses, a “pure thinker” could reason about mathematics, about its own existence, and maybe even about the world. “The system might lack sensory consciousness and bodily consciousness, but it could still have a form of cognitive consciousness.”

Indeed, the computer that plays chess is actually playing a mathematical game with exact rules for manipulating symbols. For us it ‘reasons about the world’ of chess because for us the symbols it manipulates implemented in some physical process refer to the pieces on a chessboard.

Chalmer’s ‘pure thinker’ is “a (possibly nonhuman) thinker without sensory capacities”. For Chalmers it seems to be obvious that a pure thinker “can know a priori truths e.g. about logic, mathematics.”. However, without embodiment, without sensory perception, without a world thought and experienced as being outside the mind, there would be no mathematics. Itis not the content of the sensory perception that is the sensory basis of mathematical thought, but the immediate extensiveness of the perception. Reality obeys the principle of structurability which makes that everything has a quantitative moment, by which it is countable, measurable, structurable. It is by our embodiment that we experience direct physical contact with the world outside us. This experience is present in every sensory perception. We perceive this working by which the experience is physically possible as an effect on our body. Together with this effect we experience the extensiveness of this effect. Without this grounding of mathematical thought in sensory perception it is hard to understand the ubiquous applicability of mathematics.

“LLMs have a huge amount of training on text input which derives from sources in the world.” Chalmers argues “that this connection to the world serves as a sort of grounding. The computational linguist Ellie Pavlick and colleagues have research suggesting that text training sometimes produces representations of color and space that are isomorphic to those produced by sensory training.”

The question is for whom these ‘representations’ exist. Consciousness is always consciousness of something that exists somehow distinguished from the act or state of consciousness. It means at least that the conscious being is aware of this distinction, i.e. that there is something out there it is aware of.

It will be clear that the challenge of the embodiment feature is closely related to the following feature.

X = World Models and Self Models

“The computational linguists Emily Bender and Angelina McMillan-Major and the computer scientists Timnit Gebru and Margaret Mitchell have (in their famous Stochastic Parrots paper) that LLMs are “stochastic parrots.” The idea is roughly that like many talking parrots, LLMs are merely imitating language without understanding it. In a similar vein, others have suggested that LLMs are just doing statistical text processing. One underlying idea here is that language models are just modeling text and not modeling the world. 

This amounts to saying that LLMs do not know the facts. They do not know what is truth.

Chalmers comment is interesting. He observes that “there is much work on finding where and how facts are represented in language models.”

This comments suggests that Chalmers considers ‘facts’ as objective truths, or objects. Like theorems in mathematics. As if it can be decided by the engineers what the facts are. The issue of power that I mentioned before pops up here. What Chalmers seems to forget is the role that the user, the reader of the generated texts plays. It is the reader that gives meaning to the text.

AI has no problem in generating (creating, if you wish) huge amounts of videos, texts and music by remixing existing fragments. But it needs humans to evaluate its quality, to make sense of it. The proof of the pudding is in the eating. Not in the making.

As the producers of ChatGPT of OpenAI rightly state: it is the responsibility of the user to check the value of the texts generated by the machine. This is the very reason they give a warning not to use it uncritically in critical applications.

What is truth is not the result of an opinion poll. It is not by means of statistics that we decide what the facts are. To give an example from my personal experience. If Google includes articles written by my son (who happens to have the same name as I have) in my publication list, it doesn’t matter how many people using Google copy the faulty references, the truth differs from what LLMs and all Google adepts ‘believe’ it is. It is well known that ChatGPT isn’t very reliable in references to the literature. This is of course an instance of its ‘unreliable connection’ with the world in general.   

X = Unified Agency

“The final obstacle to consciousness in LLMs, and maybe the deepest, is the issue of unified agency. We all know these language models can take on many personas. As I put it in an article on GPT-3 when it first appeared in 2020, these models are like chameleons that can take the shape of many different agents. They often seem to lack stable goals and beliefs of their own over and above the goal of predicting text. In many ways, they don’t behave like unified agents. Many argue that consciousness requires a certain unity. If so, the disunity of LLMs may call their consciousness into question.”

A person is a social entity, a unity of mind and body. A human being doesn’t only have a body, it is a body. The type of relation between mind and body is at stake.

The identity of a machine is a mathematical identity implemented in a physical world. The machine is a working mathematical token. There are many tools and machines of the same type. They share the same mathematical identity, but they differ in matter. Like two pennies, or two screwdrivers. Technical instruments exists as more of the same kind. They are not unique. We assign identity to the social robot, give it a name as we do with our pats, the way we assign identifiers or unique service numbers to citizens.   

Chalmers concludes this part with:

For all of these objections except perhaps biology, it looks like the objection is temporary rather than permanent.

The AI engineer says: “Tell me what you miss in current AI systems and I tell you how to build it in.”.

The idea is that by this process of adding more and more features AI will eventually reach a stage where we can say that we managed to realize an artificial conscious being.

It witnesses the typical mathematical stance that the engineer takes. The idea is a mathematical entity that exist as a limit of a real proces. As if we could produce mathematical circles from physical matter in a circle fabrique.

Chalmers conclusion

In drawing a general conclusion Chalmers is clearly walking on eggs.

“You shouldn’t take the numbers too seriously (that would be specious precision), but the general moral is that given mainstream assumptions about consciousness, it’s reasonable to have a low credence that current paradigmatic LLMs such as the GPT systems are conscious.

It seems entirely possible that within the next decade, we’ll have robust systems with senses, embodiment, world models and self models, recurrent processing, global workspace, and unified goals. 

It also wouldn’t be unreasonable to have at least a 50 percent credence that if we develop sophisticated systems with all of these properties, they will be conscious.“

He mentions four foundational challenges in building conscious LLMs.

  1. Evidence: Develop benchmarks for consciousness.
  2. Theory: Develop better scientific and philosophical theories of consciousness.
  3. Interpretability: Understand what’s happening inside an LLM.
  4. Ethics: Should we build conscious AI?

Beside these ‘foundational challenges’ Chalmers mentions a couple of engineering challenges, such as: Build rich perception-language-action models in virtual worlds.

And if these challenges are not enough for conscious AI, his final challenge is to come up with missing features.

The final question is then:

“Suppose that in the next decade or two, we meet all the engineering challenges in a single system. Will we then have a conscious AI system?”

Indeed, not everyone will agree that we do. But, Chalmers is optimistic about what engineering can offer: if someone disagrees, we can ask once again: what is the X that is missing? And could that X be built into an AI system?”

“My conclusion is that within the next decade, even if we don’t have human-level artificial general intelligence, we may well have systems that are serious candidates for consciousness.” (Chalmers)

My ‘conclusion’ would be that Chalmers’ conclusion will recur after each decade in the future. I believe so because Artificial Intelligence is an Idea, an ideal if you wish, that technology tries to realize and that big AI-enterprises tries to sell on the market as being the ideal that we have to strive for. An idea that will remain an ideal until we will have other ideals we strive for. That will not be before we have answered the question what it is that we strive for.

If the machine had consciousness, it would fight for its own truth to the death.

Histoire se répète.

When the indian inhabitants in North America saw for the first time a steam boat coming down the Mississippi river, they thought it was a living creature having a soul.

When Descartes and Lamettrie came up with their mechanical ‘bête machine’ and the theory of l’homme machine’ it lasted a few centuries before the heated debates about the difference between men and machine faded out and men became just men again and a machine just a machine. With the LLMs and the talking social robots the same debate recurs. It won’t take long before also this heated discussion about conscious machines will cool down and a machine will again be just a machine and a human being a human being. The difference between the situation now and the situation in the 17th and 18th centuries is that AI is nowadays promoted by powerfull commercial enterprises that control the thinking of the masses addicted to information.

The attemtps to make us believe that machines (LLMs) are (potential) conscious beings that are able to know the world and that we can hold responsible for what they do are supportive to the powerfull forces that keep us addicted to the information they produce. Addicted to an religious ideal image of man that the future of AI would bring us.

As long as we are free men we will never accept that machines are taken responsible for what they ‘do’. As we also do not take any God responsible for what happens in the world.

Death of an Author

In his post “The Future of Writing Is a Lot Like Hip-Hop” in The Atlantic of 9 may 2023 Stephen Marche reports his findings during his cooperation with ChatGPT in writing their novel Death of an Author. In that report he comments on how users ask ChatGPT things. “Quite quickly, I figured out that if you want an AI to imitate Raymond Chandler, the last thing you should do is ask it to write like Raymond Chandler.” Why not? Because “Raymond Chandler, after all, was not trying to write like Raymond Chandler.”

I believe this refers to the core insight why AI is not human. It behaves like humans. At least AI tries to behave like them. But humans do not try to behave like human beings. They even do not behave ‘like human beings’.

I mean that we make a path while walking. The path is the result, the history of this act. The path is the walking abstract from the real act of walking. The real act of following a path always involves and presupposes the original act of making a path.

What we can learn from Marche’ report is that AI is not so much of a machine but more of a tool. A tool requires for its succesfull use handcrafship and a lot of experience from the human user. There is not one path, there are many you have to choose from.

Notes and references

A 2020 survey of professional philosophers, around 3 percent accepted or leaned toward the view that current AI systems are conscious, with 82 percent rejecting or leaning against the view and 10 percent neutral. Around 39 percent accepted or leaned toward the view that future AI systems will be conscious, with 27 percent rejecting or leaning against the view and 29 percent neutral. (Around 5 percent rejected the questions in various ways, e.g. saying that there is no fact of the matter or that the question is too unclear to answer).

David Bourget and David Chalmers (2023). Philosophers on Philosophy :the 2020 PhilPapers Survey, Philosopher’s Imprint, January 2023, https://philpapers.org/archive/BOUPOP-3.pdf

David J. Chalmers (2023). Could a large language model be conscious? Within the next decade, we may well have systems that are serious candidates for consciousness. Boston Review, 9 Augustus 2023.

Mark Coeckelbergh (2012), Growing moral Relations: critique of moral status ascription. Palgrave MacMillan, 2012.

Mark Coeckelbergh (2014). The Moral Standing of Machines: Towards a Relational and Non-Cartesian Moral Hermeneutics. Philos. Technol. (2014) 27:61–77.

David Gunkel (2018). The Other Question: Can and Should Robots have Rights? Ethics Inf Technol 20, 87–99 (2018).

David J. Gunkel (2023). Person, thing, robot. A Moral and Legal Ontology for the 21st Century and Beyond. The MIT press, forthcoming, September 2023