Deepfake: de overtuigingskracht van de verboden reproductie

Net zo goed als we er zeker van zijn dat het regent wanneer we zien en horen dat het regent, zo zijn we ervan overtuigd dat het Obama zelf is die spreekt als we hem in een video zien en horen spreken. Dit is een vorm van “geloven dat” waar we niet bewust toe besluiten, maar dat als het ware automatisch tot stand komt. We realiseren ons helemaal niet dat we op grond van onze zintuiglijke waarneming (ik zie dat het regent) onmiddellijk springen naar een concluderend oordeel: “Het regent.” of “Obama zegt ….”. Volgens de Britse filosoof Bernard Williams is er bij een dergelijk empirisch geloven (’empirical belief’) sprake van een oorzakelijk verband: je gelooft dat iets zus en zo het geval is omdat het zus en zo is. De filosoof David Hume meende dat ons inzicht in een oorzakelijk verband berust op gewenning. De ervaring leert ons ook dat we ons kunnen vergissen. Het gevolg, de waarneming, wijst niet met zekerheid naar de bron. Natuurlijk wisten we allang dat de voorstelling van iets (de afbeelding van een pijp door René Magritte bijvoorbeeld) niet de werkelijkheid (de pijp) zelf is. Maar soms is het beeld zo realistisch dat het niet van echt te onderscheiden is.

Réproduction interdite -verboden af te beelden (René Magritte, 1937)

We weten bij het zien van videobeelden dat het om opnames gaat en dat er een tijdverschil is tussen de opname en het moment van bekijken. Dat kan wel eens tot verwarring leiden, maar we mochten ervan uitgaan dat degene die we op de beelden herkenden werkelijk gezegd had wat de opname ons presenteerde. Dat is inmiddels achterhaalt. Nu is er Deepfake, AI technologie die zelfs onze zekerheid van de ervaring met een bepaald persoon een video-gesprek te voeren ondermijnt. Met deepfake technologie kunnen opa en oma zelfs na hun dood nog een verhaaltje voor lezen aan de kleinkinderen. Om maar eens een bedenkelijke toepassing te noemen.

Wat voor elke techniek geldt geldt ook voor deepfake technologie; dat je het voor heel veel uiteenlopende praktische toepassingen kunt gebruiken. Zowel moreel dubieuze als gezonde toepassingen. Naast de ethische kwestie is het de vraag wat deze Kunstmatige Intelligentie (AI) technologie betekent voor ons zelfbeeld en ons mensbeeld.

Deepfake

Deepfake staat voor “deep learning fake”, computer software die audio en video opnames van bijvoorbeeld Obama of Trump kan verwerken en kan manipuleren zodat wanneer je het resultaat afspeelt niet te zien is dat het niet om een echte opname gaat. Met behulp van technologie kunnen we videobeelden maken die de suggestie wekken dat iemand dingen zegt die hij nooit gezegd heeft. Aan de volgende uitdaging wordt al gewerkt: technologie voor het real-time genereren van audio en video zodat de ‘gebruiker’ de ervaring heeft met iemand een gesprek te voeren.

Wetenschappers, ontwerpers en kunstenaars hebben verschillende motieven waarom ze deze technologie ontwikkelen. Zelden om anderen te misleiden; of het moet humoristisch bedoeld zijn. Afgezien van het kunstzinnige aspect en de uitdaging om iets te maken dat niet meer van echt te onderscheiden is, zijn al verschillende toepassingen bedacht.

Bijvoorbeeld, Lyrebird, een Canadese startup, werkt in samenwerking met de ALS foundation aan Project Revoice, waarin AI technologie voor spraakgeneratie wordt gebruikt voor het creëren van gepersonaliseerde synthetische stemmen voor mensen die aan de spierziekte ALS lijden en die het vermogen te spreken dreigen te verliezen. Andere medische toepassingen richten zich op eHealth applicaties.

Zowel wat betreft de onderliggende technieken als wat betreft de mogelijke toepassingen is er veel overeenkomst tussen deepfake technologie en de technologie van virtual humans (avatars) en humanoide robots. Bij beide gaat het om het simuleren en manipuleren van menselijk gedrag. We zijn allang vertrouwd met machines die standaard dingen zeggen, zoals “How can I help you?”. Het verschil is dat bij deepfake echt beeld- en geluid materiaal gebruikt wordt. Synthetic media is de paraplu-term voor alle vormen van gemaakte en gemanipuleerde audio- en video materiaal. De technische ontwikkeling van synthetic media gaat razendsnel.

Wie zo’n 20 jaar geleden het MIRAlab in Genève betrad kon bij binnenkomst een paar foto’s van zich laten maken. Een uurtje later kon een onderzoekassistent je een zeer realistische 3D animatie video van je kop laten zien. Ik vond dat toen behoorlijk indrukwekkend.

Het MIRALab werd in 1989 opgericht door Nadia Magnenat Thalmann. In Montreal, Canada, richtte ze zich met haar man Daniel Thalmann op computersimulatie van personen. In 1987 verscheen hun animatiefilm Rendez-vous in Montréal met grafische 3D computeranimaties van Marilyn Monroe en Humpfrey Bogard. Terug in Genève leidt ze een team van researchers op het gebied van virtual humans en sociale robotica. Nadia deed hoofd- en gezichts-uitdrukkingen, Daniel deed de rest van het lichaam. Het verhaal ging dat hals en nek een dilemma vormden. Was het deel van het hoofd of van de romp? Grensconflicten zijn typische problemen van analytische wetenschap en technologie.

De Japanner Hiroshi Ishiguro bouwt zeer realistische androïden die op hemzelf of een ander echt persoon lijken omdat hij wil weten wat presence betekent. Volgens het adagium “je snapt het pas als je het zelf kunt maken” wil hij namaak mensen maken die je het gevoel geven als je er bij in de buurt bent dat je niet alleen bent, zoals dat met echte mensen is. De primatoloog Frans de Waal doet in de “Griezelvallei”, verslag van zijn bezoek aan het instituut van de Japanse onderzoeker waar hij kennis maakt met het fenomeen “uncanny valley”. De Waal is verrast door de echtheid van de beleving die door het ‘gedrag’ van de robots wordt gecreëerd. We denken automatisch op grond van bijvoorbeeld gesimuleerde levensechte oog- en hoofdbewegingen dat de humanoïde zich iets afvraagt. Maar een robot is puur buitenkant. Ze hebben geen ‘zelf’ zoals apen en mensen. “Apen lijken op ons via homologie, afstamming; robots via analogie.”

Hiroshi Ishiguro en zijn geminoide robot

Sprekende virtuele mensen (avatars of embodied conversational agents) worden onder andere toegepast in e-health toepassingen. Een virtuele coach of therapeut vervangt de echte mens om deze te ontlasten. Het voordeel is dat virtuele dokters altijd aanwezig zijn en dat je zoveel kan maken als je wilt. Bovendien kun je zelf bepalen, binnen de technische mogelijkheden, hoe ze eruit zien, hoe ze zich gedragen en wat ze moeten zeggen.

Welke factoren bepalen de overtuigingskracht van een bericht op de ontvanger? Daar is veel onderzoek naar gedaan. Met name op het gebied van de medische en para-medische communicatie: adviezen in het kader van lifestyle-coaching, voeding, sport en bewegen. Een recent literatuuronderzoek werd uitgevoerd door Silke ter Stal en haar collega’s. Meestal gaat het om laboratoriumonderzoek waarbij de proefpersonen eerst een aantal karakters beoordelen op hun betrouwbaarheid puur op uiterlijke kenmerken. Vervolgens worden deze karakters gebruikt om verschillende berichten te presenteren. Het doel is tot wetenschappelijk onderbouwde richtlijnen te komen voor het ontwerpen van virtuele converserende karakters voor eHealth toepassingen. Realisme van gebaren en expressies van het kunstmatige agent is één van de factoren die onderzocht zijn. Een realistisch karakter is niet altijd beter dan een cartoonachtig karakter. Wanneer door gebrekkige onderliggende grafische of audiotechniek een realistisch karakter net niet realistisch is kan het effect op de kwaliteit van de interactie tussen gebruiker en het karakter fnuikend zijn.

Wie ervaring heeft met online videogesprekken weet dat we uiterst gevoelig zijn voor een verschil in timing van beeld en geluid. Het is behoorlijk irritant wanneer het geluid een seconde achterloopt bij het beeld. Het synchroon afspelen van de gegenereerde spraak met de gegenereerde mond- en lipbewegingen is één van de lastigste onderdelen van het maken van realistische talking heads (synthetische sprekende gezichten). Het gaat daarbij niet alleen om de matching van fonemen (de klankeenheden) met de visemen (de zichtbare mondstanden) maar ook om de meebewegingen van het gelaat, de oogbewegingen en de rest van het lichaam. Ook hier is het lastig een grens te trekken welk onderdeel van het lichaam nog meedoet aan het spreken. Met behulp van “lerende” algoritmes is het mogelijk op basis van video en audiomateriaal van een spreker de specifieke kenmerkende expressies van de spreker tijdens het spreken te identificeren.

Persbureau Reuters maakte onlangs in samenwerking met AI startup Synthesia gesynthetiseerde video nieuwsrapportages, gebruikmakend van video opnames van een presentator en deepfake technologie. Het persbureau kan nu gebruik makend van de analyses van een presentator zoveel varianten van gesynthetiseerde voetbalreportages maken als ze maar wil. Zo kunnen ze nieuwsrapportages maken die aangepast zijn op een specifieke doelgroep. Het gaat vooralsnog om een prototype voor de generatie van voetbalreportages, een tamelijk onschuldig genre.

Het automatisch genereren van voetbalreportages op basis van exacte wedstrijdgegevens is traditioneel een geliefd toepassing van Natural Language Generation (NLG), het onderdeel van AI dat zich houdt met het machinaal genereren van teksten. Ook werd daarbij al gekeken naar het afstemmen van de verslaggeving op specifieke supportersgroepen (Chris van der Lee et al. 2017). De op het gebied van NLG opgedane kennis kan nu gebruikt worden in combinatie met deepfake technologie.

Onderzocht moet worden hoe het publiek hier tegenover staat en wat de ethische implicaties zijn. Wat dat laatste betreft benadrukt Reuter dat het niet om ‘fake news’ gaat: het doel is rapportages te maken over echte gebeurtenissen. De vraag is echter wie bepaalt wat echt gebeurd is, wanneer de media bepalen welk bericht daarover door welke verslaggever aan de consument wordt gepresenteerd. Voor de ontvanger is immers datgene wat echt gebeurt is datgene wat de media als ‘echt gebeurd’ presenteert. Welke mogelijkheid heeft de consument van nieuwsmedia anders om te bepalen of iets echt gebeurd is als hij er niet zelf bij is geweest?

Welke waarde we aan een opinie schenken hangt niet alleen af van de inhoud van de opinie, maar ook van degene die de mening brengt. Met de nieuwste AI technologie kunnen we elk bericht door willekeurig welke persoon laten presenteren. Gepersonaliseerde voorlichting en adviezen op het gebied van de gezondheidszorg kunnen we laten presenteren door iemand die door de consument als betrouwbaar overkomt.

Is het wel in het voordeel van de consument wanneer de media op grond van een profiel bepaalt welke presentator het voor de consument geselecteerde nieuws presenteert? Wil de voetbalsupporter van Ajax een ander wedstrijdverslag van Ajax-PSV horen dan de supporter van PSV ? En hoe zit dat met rapportages van politiek gevoelige evenementen? Wat zijn de gevolgen wanneer de krantenlezer of tv-kijker het nieuws op een persoonlijke wijze gepresenteerd krijgt?

Informatie wint aan geloofwaardigheid wanneer deze door verschillende karakters vanuit verschillende gezichtspunten wordt gepresenteerd (zie het werk van Elisabeth André en Ngyen). In een recent afgesloten EU project Council of Coaches werd onderzoek gedaan naar het gebruik van een meerdere coaches die elk vanuit hun eigen expertise de gebruiker adviseren. Ze kunnen ook op elkaar reageren en elkaars ondersteunen of bekritiseren. Dat zou de betrokkenheid van de client/gebruiker kunnen verhogen en daardoor meer effect kunnen hebben op zijn gedrag. Met behulp van de nieuwste ‘deep fake’ technologie kunnen we de virtuele karakters vervangen door ‘levende’ karakters. Afhankelijk van het domein ( politiek, medisch, sport ) en het profiel van de consument, kunnen karakters gekozen worden die bekend zijn in dat domein. Video- en audio-materiaal van bekende influencers en BNers kunnen zo worden ge(mis-)bruikt om het publiek van een bepaalde mening te overtuigen.

De uitdaging waar de technologie voor staat is producten te maken die zo perfect zijn dat we deze op grond van onze zintuiglijke waarneming voor authentiek houden. Naarmate we iemand beter kennen zal het moeilijker zijn ons niet-zintuiglijke gevoel voor echtheid te misleiden met gemanipuleerde beelden. Een deepfake variant van de Turing game zou kunnen aantonen hoe lastig het is met deepfake technologie ons te misleiden, zeker als het om een bekend persoon gaat.

Ethische kwesties

De vrees is dat we aan het begin staan van een infocalyps, een situatie waarin iedereen gemakkelijk beschikt over technologische middelen voor het manipuleren van perceptie en het vervalsen van de werkelijkheid.

De Ethics Guidelines for Trustworthy AI geauthoriseerd door de European Commission’s High-Level Expert Group on Artificial Intelligence (AIHLEG 2019) bevat onder ander het principe overgenomen uit de medische ethiek dat AI geen schade mag toebrengen aan personen, dat het de menselijke waardigheid en de autonomie van personen niet mag aantasten en dat het goed moet zijn voor de mensheid (‘humanity’ als mens-zijn).

Met deepfake kun je mensen, bedrijven en de samenleving gewild of ongewild beschadigen. In een recent artikel in Crime Science (2020) beoordelen experts deepfake als de meest ernstige vorm van criminele toepassing van AI.

Mag je gebruik maken van audio- en/of video opnames van iemand en deze als het ware dingen laten zeggen die hij of zij nooit gezegd heeft? Het zal de geloofwaardigheid van deze persoon aantasten wanneer deze zich leent voor het produceren van deepfake. Heb je opa’s toestemming nodig voor je na zijn dood hem nog verhaaltjes voor laat lezen aan je kinderen, door gebruik te maken van zijn stem?

Er zijn ongetwijfeld toepassingen die sommigen toelaatbaar achten vanwege het doel dat ze dienen. Zo kan deepfake gebruikt worden bij de online opsporing van misdadigers, zoals dat eerder al met avatars gebeurde.

Met het bestaan van deepfake kan de authenticiteit van elke video-opname die je onwelgevallig is in twijfel worden getrokken. Dit staat bekend als “the liar’s dividend”.

Afgezien van de morele kwestie of bij bepaalde toepassingen van deze technologie het middel het doel heiligt, is er de vraag wat het bestaan van deze technologie op zichzelf doet met onze kijk op de mens en de samenleving. James Brusseau (2020) ziet dit als de belangrijkste ethische kwestie als het gaat om evaluatie van AI technology.

More than any solution, engagement is the goal of an AI ethics evaluation, which means illumination of what is at stake in terms of lived human experience.”

Deepfake technologie wijst ons op het noodzakelijk uitwendige karakter van onze expressies, van taal, gebaren en houdingen, en op het feit dat we daarmee door anderen geïdentificeerd worden en dat we onszelf daarmee weer identificeren. Wij zijn zoals wij voor anderen zijn. Video- en audio opnames van mij zijn niet alleen van mij, maar ze tonen ook wie ik ben. Manipulatie en misbruik van die opnames raakt mijn beeld en daarmee mijn persoon. Is er een recht op zelfbeeld? Zolang er beelden zijn zijn er beeldenstormen. Ze zijn niet gericht op het beeld maar op de afgebeelde en degenen voor wie die beelden nog iets betekenen.

Frans de Waal noemde de levensechte robots van Hiroshi Ishiguro puur buitenkant. Nadat de kunstmatig denkende machines ons er op hebben gewezen dat denken meer is dan wat we door machines in de sfeer van de uitwendigheid kunnen laten doen, maakt deepfake ons ervan bewust dat ook onze waarneembare expressies een uitwendige karakter hebben waarmee we ons niet volledig kunnen identificeren hoezeer we ons ook in die uitwendige beelden herkend willen worden. Zo kan deepfake, net als iedere vorm van kunst en techniek, ons helpen bewust te worden wat het betekent om mens te zijn en hoe we ons tot de uitwendige sfeer van de synthetische media moeten verhouden.

Bronnen

James Brusseau, What a Philosopher Learned at an AI Ethics Evaluation. In: AI Ethics Journal 2020, 1(1)-4, December 2020.

M. Caldwell, J. T. A. Andrews, T. Tanay, L. D. Griffin (2020). AI-enabled future crime. Crime Science, 2020; 9 (1).

Simon Chandler (2020). Why Deepfakes Are A Net Positive For Humanity. In: Forbes, 09-03-2020.

Simon Chandler (2020). Reuters Uses AI To Prototype First Ever Automated Video Reports, In: Forbes: 07-02-2020

Elisabeth André, Rist, T., van Mulken, S., Klesen, M., Baldes, S. (2000): The automated design of believable dialogues for animated presentation teams. In: Cassell, J., Prevost, S., Sullivan, J., Churchill, E. (eds.) Embodied Conversational Agents, pp. 220-255. MIT Press, Cambridge (2000) 

Nguyen, H., Masthoff, J., Edwards, P. (2007): Persuasive effects of embodied conversational agent teams. In: Proceedings of the 12th International Conference on Human-Computer Interaction, Beijing, China, 2007.

Silke ter Stal, Lean Leonie Kramer, Monique Tabak, Harm op den Akker en Hermie Hermens (2020). Design Features of Embodied Conversational Agents in eHealth: a Literature Review. Int. J. Hum. Comput. Stud., 138, 2020.

Chris van der Lee, Emiel Krahmer en Sander Wubben (2017). Pass: A dutch data-to-text system for soccer, targeted towards specific audiences. In Proc. INLG’17, pp. 95–104, 2017.

Williams, Bernard (1970). Deciding to believe. In: Problems of the self: philosophical papers. Cambridge University Press, 1973.

Ongekend onrecht…als uw machtige arm het wil

Op de cover van het rapport “Ongekend onrecht” van de parlementaire ondervragingscommissie Kinderopvangtoeslag staat een afbeelding van een raderwerk. Het is meer nog dan de titel een treffende illustratie van waar het in deze zaak omdraait: de machinerie van de overheidsdienst waarin duizenden mensen bekneld raakten. Vanwege blindheid voor datgene waar het de overheid om te doen zou moeten zijn, het belang van de burger. In plaats van haar rechten te beschermen werden deze met voeten getreden. “Een keihard oordeel” was het algemeen commentaar op het werk van de commissie.

Het rapport van de commissie POK van 17-12-2020

Duizenden burgers zijn door de mangel gehaald van de toeslagenmachine van de Belastingdienst. Ze zijn als fraudeurs bestempeld door de overheid en zonder vorm van proces of zelfs maar de mogelijkheid zich te verweren bestraft door de afdeling Toeslagen. Grote bedragen moesten ze betalen, tot vele duizenden euros. Honderden gezinnen zijn in diepe financiële en psychische ellende gestort.

De commissie heeft een reconstructie gemaakt van de affaire met als doel een scherp beeld te schetsen van hoe dit heeft kunnen gebeuren. Maar hoe nu verder? Het frustrerende is dat ouders al jaren wachten op hun geld. Slechts een klein deel van de getroffen burgers hebben een deel van hun geld terugontvangen. Waarom moet het zo lang duren? Je zou toch denken dat je met een paar SQL queries de nodige gegevens uit de database van de dienst moeten kunnen trekken. Maar zo simpel is het kennelijk niet.

De ICT-systemen van de Belastingdienst zijn al vele jaren een doorn in het oog van de Algemene Rekenkamer. Het is niet alleen een onvoorstelbaar onvermogen van de Nederlands kennisindustrie, programmeerkunst en een gebrek aan goed ICT-management dat hier zichtbaar wordt, maar ook een falende overheid die een veel te complex en onuitvoerbaar systeem van regels- en wetten aan de diensten oplegt.

Maar wat hier vooral zichtbaar wordt is hoe de individuele burger in wat voor rol dan ook onderwerpen wordt aan een systeem. Deze wordt een abstracte entiteit in een door ons zelf ontworpen machinerie, het resultaat van een ‘rationele levensvoering’ die op alle gebieden van ons leven de overhand heeft. “Ik ben niet de waarde van een wiskundige variabele” zei de wiskundige en filosoof Hilary Putnam om te ontkomen aan de neiging van de moderne wetenschap de persoon te reduceren tot een element van een datastructuur. Maar de persoon is voor de Belastingdienst, voor de IND, voor de AIVD, niet meer dan een nummer, een waarde van een of andere variabele in hun computersystemen. Wie is er verantwoordelijk voor deze manier van doen waarvan talloze ouders in de ellende zijn gestort?

Ouders wachten niet alleen op geld. Ze willen genoegdoening. Toen ze naar de openbare verhoren van de dames en heren DGs, de hoge ambtenaren en de staatssecretarissen en ministers keken en de mensen in beeld zagen aan wie ze de ellende te danken hadden, hebben ze ongetwijfeld gedacht: aan hem of haar heb ik mijn ellende te danken. Maar over schuld doet de commissie geen uitspraak. Dat is niet haar taak. Ze heeft een reconstructie gemaakt. Iedereen is verantwoordelijk zo klinkt het. En dus niemand.

Hoe nu verder? Waar is de rechter die een uitspraak doet en de schuldigen een straf oplegt? Waar is de rechter die de ministers en staatssecretarissen als straf hun “dikke BMW” en hun villa of grachtenpand afneemt en bij wijze van taakstraf veroordeelt tot vijf jaar vrijwilligerswerk bij De Voedselbank. Waar is de rechter die de hogere ambtenaren bij de Belastingdienst veroordeelt tot het inleveren van 1 % van hun salaris of pensioen-inkomen iedere dag dat het nog duurt voordat alle slachtoffers hun geld hebben terugontvangen en vijf jaar prullenbakken legen na kantoortijd?

Maar zo zal het niet gaan. Misschien wordt er een minister of staatssecretaris de laan uitgestuurd. Of trekt hij of zij zelf de conclusie dat ie het beste maar op kan stappen. Wat helpt het? De politicus zal, een kat met zeven levens, wel ergens anders weer een dikbetaalde baan krijgen, als burgemeester of commissaris. En al die anderen dan? Die medeschuldig zijn. Moeten die niet aangepakt worden?

Natuurlijk wil je als burger, als slachtoffer genoegdoening en die bestaat voor een deel uit het straffen van de schuldige. We hebben hier echter niet te maken met personen. We hebben hier niet te maken met individuen die uit eigen belang of vanwege een psychische kwaal een misdaad bedrijven. We hebben hier te maken met een mechanisme, een machinerie. Met agenten die functioneren als geprogrammeerde onderdelen van een informatieverwerkend systeem, een infosfeer.

Het rapport geeft aan waarom een voorstel voor een zogenoemde hardheidsclausule, waarmee afgeweken kon worden van de standaardregels, werd afgewezen.

“Het argument daarvoor komt er op neer dat Belastingdienst/Toeslagen, vanwege de grote hoeveelheid uit te keren toeslagen, als een machine moet gaan werken. Uitzonderingen zorgen voor zand in de raderen.”

Wie met een machine werkt, dat weet iedereen die daar ervaring mee heeft, die is zelf een machine. De machine, het systeem, schrijft voor wanneer in welke vorm invoer moet worden gegeven. Wie met een machine werkt die weet wanneer hij er even over nadenkt en even niet naar het beeldscherm tuurt, dat voor de machine alleen maar informatie bestaat, cijfertjes en spreadsheets waarin mensen objecten zijn, gereduceerd tot instanties van categorieën.

Dat we ons leven zo inrichten en dat we deze technologie zo gebruiken heeft een economisch motief: het werkt efficiënter om algemene regels op te stellen volgens welke burgers die in een bepaalde welgedefinieerde categorie vallen op dezelfde manier behandeld worden. De belastingambtenaar gaat niet aan de keukentafel zitten met zijn client die hij moet dienen.

Wat ‘de ambtenaar’ is voor de burger is de burger voor de ambtenaar: een abstracte entiteit, een radertje in een machine, een nummer in een gegevensbestand. Dat gegevensbestand blijkt niet alleen onderdeel te zijn van een slecht functionerend systeem. Het systeem maakt ook nog eens gebruik van een moreel verwerpelijke classificatie waarin mensen op dubieuze gronden worden ingedeeld. Vergelijkbaar met wat de veiligheidsdiensten en de politie doet bij het gebruik van predictive policing werden individuen door de dienst Toeslagen op grond van een aantal kenmerken als ‘verdacht’ aangemerkt. En gestraft. Mensen worden elementen van een statistische referentieklasse, de uitkomst van machine learning op basis van big data, en als zodanig beoordeeld en behandeld.

Het “gelijke monniken gelijke kappen”, staat hoog in ons morele vaandel. We willen iedereen zoveel mogelijk op dezelfde manier behandelen. Er is dus niet alleen een economisch motief voor mechanisering, maar ook een ethisch motief. Het probleem is echter: wat is gelijkheid als het om individuele personen gaat? En wie is verplicht om door zijn beeldscherm heen naar de echte persoon achter de data te kijken?

Het zijn niet de wiskundige modellen, waarin objecten als elementen van een zelfde klasse of verzameling worden gemodelleerd, maar het is de gewetenloze toepassing van de wiskundige modellen waarin de burger gereduceerd wordt tot een wiskundig object in een wiskundig model die verantwoordelijk is voor de gevolgen voor de burgers die slachtoffer zijn van de toeslagenaffaire.

Vanuit het standpunt van het model en de toepassing ervan in de machinerie van de Belastingdienst worden de slachtoffers als “uitzonderingen” beschouwd. Vanuit het standpunt van de werkelijkheid zijn alle individuen “uitzondering” in die zin dat geen van hen te identificeren is als datastructuur in het wiskundige model. Daarom zouden we inderdaad wat “meer zand in de raderen van de machine” moeten gooien.

Gelijkheid of gelijkwaardigheid

Gelijkwaardigheid is een vaak opgevoerd ethisch principe. Het motiveert de gelijke behandeling van individuen. Dat is echter niet altijd rechtvaardig. Daarom wordt de verzameling van individuen waar het over gaat vaak ingedeeld in categorieën. Voor het indelen van een individu in een bepaalde categorie worden inclusie- en exclusie-criteria geformuleerd. Wetenschappers komen zo tot steeds complexere modellen en protocollen, want er zijn vele mogelijke eigenschappen op grond waarvan mensen van elkaar kunnen verschillen: nationaliteit, huidskleur, postcode, geslacht, etc., etc.

In het in onze cultuur heersende wiskundige denken worden de individuen elementen van een verzameling. Hun unieke persoonsnummer wordt een identifier in een computersysteem. Het proces van mathematiseren bestaat zo uit twee mentale operaties: het generaliseren van particularia (concrete individuen, personen) tot abstracte elementen van verzamelingen en het objectiveren van deze abstracties tot wiskundige objecten, waarmee vervolgens ‘gerekend’ kan worden in een informatie-verwerkend systeem. De term informatie verwijst naar de twee kanten van de objecten: het zijn entiteiten die enerzijds voorkomen in een mathematische structuur (denk aan een record, een tabel, een spreadsheet, een vector met attribuut-waarde-paren) anderzijds naar een inhoud die daarmee wordt vastgelegd. Informatie is altijd over iets of iemand. Wanneer de ethiek gelijkheidwaardigheid vertaalt in mathematische gelijkheid dan reduceert ze personen tot abstracte voorwerpen. “I am not a value of a variable!”, zei Hilary Putnam. Het is de ethiek die tegen de stroom van abstractie, mathematische objectivering en informatisering in voortdurend zich moet richten op de waarde van het unieke individu waarvan de uniekheid, de ongelijkheid met alle anderen, in deze maalstroom ten gronde dreigt te gaan.

De rechter die pal staat voor de rechten van de individuele burger moet zich laten richten door deze ethische houding: tegen de stroom van algemene wetten en regels bemiddelen voor de particuliere zaak.

“Het oefenen met de waarheid”

(Naschrift 21 juni 2021)

Een paar maanden na het verschijnen van het POK rapport Ongekend Onrecht is het derde kabinet Rutte gevallen over de toeslagenaffaire en nu enkele maanden verder lijkt het erop dat verschillende geïnterviewden door de POK het niet zo nauw hebben genomen met de waarheid. De kamer stelt een onderzoek in: is er sprake van meineed?

Het ‘memo-Palmen’ is een interne stuk, afkomstig uit 2017, waarin juriste Sandra Palmen stelt dat de Belastingdienst ‘laakbaar’ heeft gehandeld in de fraudejacht op toeslagenouders en hen dient te compenseren. Daar werd niets, of weinig, mee gedaan. Het memo raakte zoek en kwam pas in 2019 intern boven water en pas een jaar later in de openbaarheid.

Volgens Renske Leijten (SP, lid van de POK) had het memo-Palmen gemeld moeten worden, “en deze mail had ook bij de stukken aan de POK commissie moeten zitten in 2019.” De Tweede Kamer denkt zelfs dat de twee hoogste ambtenaren van de Belastingdienst en het ministerie van Financiën wisten dat het memo-Palmen over de toeslagenaffaire is achtergehouden, maar zij ontkenden dit in hun verhoren onder ede voor de Parlementaire Ondervragingscommissie Kinderopvangtoeslag (POK). Enkele Tweede Kamerleden spreken daarom van vermoedens van meineed.

Ministerie koopt coaching sessies om ondervraagden voor te bereiden op interviews met de POK.

“Uit de documenten bij het Wob-besluit van 23 maart 2021 blijkt dat vanaf 7 oktober tot en met 4 december 2020 achttien getuigen voor hun verhoor door de Parlementaire Ondervragingscommissie Kinderopvangtoeslag (POK) uitvoerig zijn gecoacht, al of niet met live camerasessies.”

Het ministerie bestelde een coaching programma à raison van een dikke 30 duizend euro, “want aan het oefenen met de waarheid bleek flink behoefte te bestaan: twaalf sessies met (oud-) bewindslieden Eric Wiebes, Frans Weekers, Menno Snel en Wopke Hoekstra, en 7 (oud-)ambtenaren. Ook de landsadvocaat was van de partij, van wie tot nu toe niet bekend was dat hij als getuige is gehoord.” (VK, 21 juni 2021)

Zou de reactie “daar heb ik geen actieve herinnering aan“, zoals onder andere door Rutte herhaaldelijk gebezigd, ook door coaching experts en spindoctors zijn ingegeven? Hoe vaak kan iemand zeggen zich zaken niet meer te herinneren voordat hij of zij zich daarmee incapabel verklaard voor zijn taak?

Bij de Albert Heijn

U brengt me op een idee” zei de vrouw terwijl ze haar winkelwagentje naast de mijne voor het schap met tomaten in blik parkeerde, geduldig wachtend totdat ik mijn twee blikjes in mijn karretje had gelegd en haar de ruimte had gegeven.

Hoe reageer je als iemand je iets ziet doen en opmerkt “U brengt me op een idee”?

Mijn reactie was in dit geval niet negatief omdat ik er geen kwaad in zag. Bovendien leek deze mevrouw mij best wel aardig. Ze bestond uit een vage grimas half verborgen achter een mondkapje gepaard aan een bijna onhoorbaar onbetekenend gemompel.

Maar wat was dat idee waar ik haar op had gebracht? En in hoeverre was ik verantwoordelijk voor deze daad? Was het wel een daad van mij, zoals ze suggereerde: “U brengt mij …”. Wàt doe ik? Had ik de vrouw niet moeten vragen: welk idee bedoelt u?

Want stel je voor.

Stel je voor dat ik haar op het idee had gebracht met de ingeblikte tomaten pasta puttanesca te gaan maken om dat haar zoon, vakkenvuller bij de wereldwijde winkelketen, vanavond voor te schotelen. Een gerecht waarvan ze wist dat hij het verafschuwde. Dat hij bij opdienen van dit gerecht onmiddellijk zijn biezen pakt, de eerste de beste bus neemt, zich aanmeldt bij het vreemdelingenleger om uitgezonden te worden naar Afghanistan. Daar wordt haar zoon bij de eerste de beste ‘opruimingsactie’ gepakt door de Taliban die hem als onderpand inzet en Albert Heijn om twee miljoen dollar losgeld vraagt onder bedreiging hem van het leven te beroven. Als de supermarkt vervolgens weigert te betalen – wat is het leven van een vakkenvuller waard? – wordt haar zoon nog dezelfde dag onthoofd. De video wordt als bewijs opgestuurd naar zijn vader die er een boek over schrijft getiteld Waarom? omdat dát de vraag is waar hij mee zit. Niet toevallig het boek dat ik aan het lezen was toen mijn vrouw me vroeg nog even naar de Albert Heijn te gaan om een paar blikjes tomaten te kopen voor de pasta puttanesca.

Voor het geval dat ik nog eens bij Albert Heijn boodschappen doe – of om mijn part bij de Lidl – en ik breng daarbij iemand op een idee: laten we alvast één ding afspreken: Ik heb het niet gedaan. Ik ben onschuldig. Ik sta niet in voor de gevolgen.

Waarom Het Koekemannetje tot het Nederlands Cultureel Erfgoed behoort

In de serie Een Gouden Boekje – de serie waarin ook het bekende verhaal Wim is weg verscheen – is het verhaal over Het Koekemannetje wel het meest gevraagd door onze kleinkinderen. En niet alleen bij onze kleinkinderen is Het Koekemannetje geliefd. Ook ouders en grootouders spreekt het verhaal aan. Waarom is dat zo? Ik heb me vaak afgevraagd wat dit verhaal eigenlijk betekent. Want dat het niet zomaar een verhaaltje is, dat was me al snel duidelijk. Maar waar gaat het over?

De betekenis van dit verhaal schoot me plots te binnen toen ik in Our Mathematical Universe van Max Tegmark zat te lezen over het fenomeen Singulariteit. Dat is een toestand die optreedt wanneer er superintelligente computers bestaan die veel slimmer zijn dan wij mensen. De uitvinder en futuroloog Ray Kurzweil voorspelde dat de technologie in 2035 zover gevorderd is. Dat zou fijn zijn want dan hoeven we niet lang meer te wachten voordat de ICT-problemen bij onze overheidsinstanties opgelost zijn. Die superintelligente computers kunnen daar vast wel een oplossing voor bedenken. Kortom ik sta nogal sceptisch tegenover dit grootse idee.

Nu ik weet waar het verhaaltje over gaat vind ik Het Koekemannetje een Heel Belangrijk Verhaal en ik pleit ervoor Het Koekemannetje op te nemen in de lijst van ons Nationaal Cultureel Erfgoed, naast Jan Salie en het koekhappen, zodat onze regering ervoor moet zorgen dat ieder kind het ieder jaar een keer voorgelezen krijgt. Opdat we de wijze les van dit verhaal nooit zullen vergeten.

Voor wie het verhaaltje niet kent volgt hier eerst een samenvatting. Daarna leg ik uit waar het eigenlijk over gaat. Ik leg vervolgens uit wat Max’ Grote Idee behelst. Deze sectie geeft een samenvatting van Tegmark’s ‘bewijs’ dat “onze wereld” de wereld van de programmeerbare wiskundige machines is. Deze sectie kan de lezer die niet geïnteresseerd is in de moderne fysica en in Max’ bewijs overslaan. De relatie met mijn voorstel is immers tamelijk toevallig. Ten slotte zal ik uitleggen waarom Het Koekemannetje tot ons cultureel erfgoed behoort.

Het Verhaal

Het verhaal gaat zo – ik geef een korte samenvatting. Een oud vrouwtje bakt elke dag een koekemannetje voor haar man die daar gek op is. Op een dag, als het baksel ligt af te koelen in de keuken en het vrouwtje haar tuintje wiedt, begint het koekemannetje aan een eigen leven. Hij staat op, springt van de keukentafel en rent het huisje uit, de weg af, de wijde wereld in. Het vrouwtje ziet hem voorbij rennen en gaat achter hem aan. Stop! stop! roept ze. Maar het koekemannetje rent en rent en roept “je kan me toch niet pakken, ik ben de koekeman!”

Ze komen al rennend langs het oude mannetje die er ook achter aan gaat. Ze passeren een vriendelijke koe en een bruine beer en ook die rennen achter het koekemannetje aan roepend: stop! stop! Maar het koekemannetje rent en rent en herhaalt “je kan me toch niet pakken, ik ben de koekeman!” Dan komt het koekemannetje bij de rivier en daar zit de slimme vos. Die nodigt het koekemannetje uit op zijn rug om hem zo naar de overkant te zwemmen.

Als de vos met het koekemannetje op zijn rug naar de overkant zwemt laat de vos zich zakken, het koekemannetje wil niet nat worden en springt op. De vos vangt hem op in zijn grote bek en eet het koekemannetje in één hap op. “En dat is wat er met alle koekemannetjes moet gebeuren.” Zo eindigt dit spannende verhaal van het koekemannetje. Maar waar gaat het over?

Waar het over gaat

Het koekemannetje staat voor een Belangrijk Idee, dat ontspruit in het brein van een Groot Denker. Een idee dat een eigen leven gaat leiden en dat anderen aanspreekt die het idee achtervolgen. De vos staat voor de ontmoeting van het Belangrijke Idee met de harde werkelijkheid, waarin het idee wordt geconfronteerd met de vergankelijkheid waar alle Belangrijke Ideeën thuis horen.

Soms moet je eerst een ander boek lezen voor je snapt waar Het Koekemannetje over gaat

Max Tegmarks werkelijkheid

In Our Mathematical Universe geeft de fysicus, cosmoloog en oprichter van het Future of Life Institute Max Tegmark antwoord op de prangende vraag “Hoe komt het dat de wiskunde zo goed onze werkelijkheid beschrijft?” Zijn antwoord is kort gezegd: ons universum, ons heelal inclusief ons zelf, is een wiskundige structuur. Wie het niet met zijn stelling eens is, zoals ik, (klopt de verhulde aanname in de vraag wel?) en er de tijd voor neemt om zijn 400 pagina’s lange bewijs door te ploegen, die zegt wellicht: Max zou best eens gelijk kunnen hebben. De kritische vraag is: wat bedoelt hij met “ons Universum”? Wiens Universum? Het blijkt het Universum van de fysica te zijn, en dan nog van een heel bepaalde opvatting binnen de fysica, die zowel de cosmologie als de quantummechanica omvat.

Het kenmerk van de moderne wetenschap, het kenmerk van alle kennis van de moderne mens, sinds het einde van het gezag van de Kerk, is dat deze hypothetisch van karakter is. Al onze kennis is van de vorm “als dit en dat dan is het zus en zo”. Tegmark poneert twee hypotheses.

De eerste is de Externe Realiteit Hypothese (ERH): Er bestaat een externe fysische werkelijkheid onafhankelijk van ons mensen.

De meeste fysici zijn het volgens Tegmark hier wel mee eens. Behalve wellicht solipsisten en de aanhangers van de Copenhagen interpretatie van de quantummechanica. Een niet te verwaarlozen groep overigens.

Wat is een ‘externe’ werkelijkheid? Hoe ziet een werkelijkheid eruit die niet door mensen gezien wordt? Het is een vreemde vraag. Zoiets als “Wat is het geluid van één klappende hand?” maar dan net even anders. Het is deze vraag die nogal wat stof deed opwaaien toen Erwin Schrödinger met zijn kwantumvergelijkingen kwam. Die had hij bedacht toen hij, geveld door een tuberculoseaanval, in een sanatorium in de Zwitserse bergen lag. Wat moet je anders doen. Deze wiskundige vergelijkingen (ze staan in zijn grafsteen gebeiteld) beschrijven de kwantumtoestand van een systeem. De grote vraag was: hoe moeten we deze interpreteren? Waar gaat dit over? De Copenhagen interpretatie komt erop neer dat je zegt: vaagheid en onzekerheid zijn een kenmerk van de werkelijkheid zelf. De dingen zijn vaag en er is onzekerheid. Een deeltje bevindt zich niet op één bepaalde positie maar op meerdere een beetje. Het zijn eigenlijk wolkjes. Zoals de wolkjes om de temperatuurgrafiek waarmee de weerman ons zijn voorspelling voor het weer voor de komende week laat zien.

Maar geldt dat dan ook niet voor de toestand van dingen die we in ons dagelijkse ervaringswereld observeren, zoals een stoel of Schrödingers kat? Die bestaan, net als Schrödinger zelf, immers volgens de fysici uit kwantumdeeltjes. Maar die kat is dood of levend. Niet een beetje dood en een beetje levend tegelijk. De tegenstanders zeggen: vaagheid en onzekerheid wordt door ons mensen gemaakt. Dat komt door onze waarneming. Als we afzien van observaties dan zien we een werkelijkheid die geen onzekerheden kent. Tegmark huldigt deze visie. Hij is aanhanger van de Veel Werelden Interpretatie van de kwantummechanica. Alle mogelijke fysische toestanden bestaan werkelijk. Het zijn de vele mogelijke voorspellingen van een theorie. De toestand van de wereld van de observaties is één van deze mogelijke werelden. Alles tezamen genomen vormen deze een gigantisch complexe mathematische structuur, een Hilbert ruimte, waarin ieders leven een pad is langs een trajectorie, een baan door Einsteins tijdruimte, een ruimte waarin tijd een dimensie is zoals hoogte, breedte en lengte. De fysici en alle andere mensen moeten in deze immense ruimte ergens te identificeren zijn als Self-Aware Substructures (SAS).

De tweede hypothese is de Wiskundig Universum Hypothese (WUH): Onze externe fysische realiteit is een wiskundige structuur.

Het bewijs van WUH volgt in twee stappen uit de aanname ERH.

De eerste stap is dat een volledige beschrijving van de ‘externe’ werkelijkheid (iets waar de fysici naar streven, een Theorie van Alles) ook voor aliens en supercomputers, wezens die niet begrijpen zoals wij mensen begrijpen, een volledige beschrijving moet zijn. Anders gezegd: iedere vorm van taalgebruik in zo’n beschrijving dat refereert aan de typisch menselijke bestaansvorm, ‘human bagage’ noemt Tegmark dat, moet uitgesloten zijn van de beschrijving van de externe werkelijkheid. Namen als ‘proton’, ‘neutron’, ‘waterstof’, en ‘helium’ zijn door ons verzonnen namen die verwijzen naar composities van oplossingen van Schrödinger vergelijkingen voor een basissysteem bestaande uit een zeer klein aantal (max 5) quarks, waarbij een quark een golffunctie is, een wiskundig object! In zijn boek laat Tegmark zien hoe ver de fysici al zijn in het mathematiseren van de werkelijkheid. Alles, de kosmische ruimte, de sub-atomaire deeltjeswereld en alles wat daaruit is opgebouwd lost in de laboratoria van hun brein op in wiskundige formules.

De tweede stap is dat er geen onderscheid gemaakt wordt tussen de beschrijving van een wiskundig object en dat object zelf. De beschrijving van de externe realiteit is simpelweg deze realiteit.

In het algemeen is een wiskundig object een structuur, een verzameling met elementen waartussen relaties bestaan. Tegmark illustreert aan de hand van een paar voorbeelden hoe je van alles een wiskundig model kan maken en dat je de menselijke termen, zoals bord, stuk, niet nodig hebt om dit model, deze structuur, te beschrijven. Je kunt alles met 0-en en 1-en coderen in grote tabellen. Hij geeft als voorbeeld het schaakspel. Daarvan kun je veel beschrijvingen geven maar deze zijn allemaal equivalent (homomorf) . De unieke wiskundige structuur zelf is de equivalentieklasse van al deze mathematische beschrijvingen. Een simpeler voorbeeld dat wellicht meer aanspreekt is het rationaal getal. De fysicus Roger Penrose vertelt in The Road to Reality over zijn tante die ondanks het feit dat ze best slim was, niet in staat was om met breuken te rekenen. Ze leed aan een vorm van dyscalculitis. Ze begreep niet hoe je het wegstrepen (cancellation) werkt: dat je voor 6/8 ook 3/4 kan schrijven en hoe je breuken kan optellen als ze niet dezelfde noemer hebben. Het helpt echt niet als je zo iemand uitlegt dat een rationaal getal de equivalentieklasse is van een verzameling van paren van getallen: { (3,4),(6,8),(12,24),…} .

De externe wereld van fysici zoals Tegmark staat mijlenver af van die van ons gewone mensen. Net zo als de tekening van een driehoek ‘ver afstaat van’ de wereld van de driehoek zelf. Daar zit eigenlijk geen afstand tussen. Het zijn onoverbrugbare werelden. De figuur verwijst naar het object, zoals het cijfer 5 verwijst naar het getal 5 en de term 6/8 verwijst naar het rationale getal dat we ook met 0,75 kunnen aanduiden. Tegmark maakt nogal een grote stap wanneer hij zegt dat vanwege het feit dat er zoveel verschillende cijfersystemen zijn waarmee je de getallen kunt aanduiden en kunt rekenen je kunt concluderen dat er buiten die cijfers niets anders is dan een verzameling van cijfers die hetzelfde aanduiden.

Hij kent het probleem dat Hilbert in 1900 formuleerde: kunnen we alle wiskundige kennis in een wiskundige taal vastleggen? Wiskundigen hebben aangetoond dat de wiskunde zichzelf niet kan funderen. Er zijn onberekenbare functies. Maar hoe zit het met de berekenbare wiskundige functies? Is de wereld van de fysici misschien de wereld van alle berekenbare functies? Zijn niet alleen die modellen die met behulp van de computer door te rekenen zijn valide wetenschappelijke resultaten in de fysica? De intelligente rekenmachine is de ideale werkelijkheid van de fysica, van de mathematische wetenschap.

Bestaan getallen ook in een wereld als er geen mensen zijn? Bestond de Stelling van Pythagoras al voordat deze werd ontdekt of is hij door de mens gemaakt? Is 1 en 1 ook 2 als er niemand is voor wie dit zo is en die dit beweert? Is de ruimte begrend?

Wie maakt zich nou druk om dit soort vragen?

Zodra de vraag in je opkomt of je beeld van de werkelijkheid wel klopt met de echte werkelijkheid ontstaat er een onzekerheidsrelatie. De wetenschap bestaat uit verhalen die de zo ontstane onzekerheden moeten verdrijven. Sommige van die verhalen worden Grote Verhalen: Artificial Intelligence, Singulariteit, een Virusvrije Wereld. Ze spreken ons aan, we worden aanhangers en we rennen er achter aan om ze te verwerkelijken. Het zijn de grote verhalen die samen onze cultuur maken.

Het Koekemannetje Cultureel erfgoed?

Cultuur is een vanzelfsprekendheidsmachine. De term is van de medisch antropoloog Sjaak van der Geest die in zijn inaugurele rede “Hoe gaat ‘t?” voor de antropologie de schone taak zag tegenwicht te bieden tegen het etnocentrisme, omdat dit cultuurgoed meestal inhoudt dat “onze cultuur” beter is dan andere vreemde culturen. Dat onze rituelen en verhalen waardevoller zijn dan die van andere culturen. Je neemt iets op in een Nationaal Museum omdat je de vanzelfsprekendheden van je cultuur niet meer als vanzelfsprekend ervaart. Zo is het ook wanneer je een taal of dialect op een nationale culturele erfgoedlijst plaatst. Het is de dood in de pot, de bevestiging van de teloorgang van de taal of het dialect. Moeten we dan Het Koekemannetje wel op de Culturele Erfgoedlijst plaatsen? Zou dat niet het einde van Het Koekemannetje betekenen?

Maar misschien is dat wel juist wat er met alle koekemannetjes moet gebeuren!

Over ondoorschijnende contexten

De geest zit niet in elkaar” (L.E. Fleischhacker)

Sommige mensen hebben de onweerstaanbare behoefte alles uit elkaar te halen.

Je kent dat wel. Je fiets, een lamp, de grasmaaier of de zonnetracker is kapot. Je denkt laat ik eens kijken wat er loos is en of ik dit kan repareren. Na een poosje analyseren en klooien blijkt het kapotte onderdeel zodanig in elkaar te zitten dat als je het uit elkaar haalt je het niet meer in elkaar krijgt. Omdat een metalen of plastic lipje afbreekt of zijn veerkracht verliest of omdat het in elkaar geklonken is zodat alleen grof geweld het uit elkaar kan halen. De fabrikant heeft de onderdelen niet in elkaar gezet om ze weer uit elkaar te halen. Is het ding kapot dan zit er niets anders op dan een hele nieuwe te kopen. Soms denk ik wel eens dat “ze” het er om doen. Onze wegwerpmaatschappij.

Maar hier gaat het niet om de problemen die we tegen komen als we dingen uit elkaar willen halen die in elkaar zitten, zoals een fiets of een maaimachine. Hier gaat het over de problemen die optreden als we dingen uit elkaar willen halen die niet in elkaar zitten. Zijn die er dan? Vroeg iemand. Dat is een goeie vraag en daarover gaat dit stukje.

Er zijn twee domeinen die zich opdringen. Het lichaam en de taal.

Wat het eerste betreft. Wie een nieuwe knie, heup, of borst heeft of een ander onderdeel van zijn lichaam heeft laten vervangen die weet dat dit geen triviale reparatie is. Ik ben geen medicus maar ik denk dat deze het me me eens zal zijn dat het lichaam nu eenmaal geen machine is. Omdat het lichaam wel iets van een machine heeft kunnen we ons er toe aan zetten het als een machine te behandelen. Maar we lopen steeds tegen problemen aan die ons wijzen op het feit dat het lichaam niet in elkaar zit zoals een machine in elkaar zit. Een orgaan, zoals een nier of long is onderdeel van een organisme, geen onderdeel van een machine. We zien dat ook bij het toedienen van medicijnen. Deze hebben meestal ‘bijwerkingen’. Onbedoelde neveneffecten. Dat is kenmerkend wanneer een organisch geheel wordt behandeld alsof het een machine is. Bij het lichaam is sprake van een andere deel geheel verhouding dan in de techniek. ‘Onbedoelde neveneffecten’ komen we ook tegen in de vorm van natuurprocessen, zoals luchtvervuiling, plastic soep, klimaatverandering, die het gevolg zijn van ons ingrijpen in de natuur om ons het leven aangenamer te maken.

Een tweede domein waar dit het geval is is het taaldomein. Ook daar lopen we voortdurend tegen problemen aan die te maken hebben met het feit dat we zaken benaderen alsof ze in elkaar zitten terwijl dat hoogst problematisch is. We doen dat op twee manieren.

De eerste manier. We proberen de betekenis van een taaluiting te bepalen terwijl we deze taaluiting uit zijn context halen. We citeren mensen en confronteren ze met uitlatingen die in verschillende contexten heel verschillende geïnterpreteerd kunnen worden.

De tweede manier. We proberen de betekenis van een taaluiting te bepalen door deze te analyseren en de betekenis op te bouwen uit die van de onderdelen. Alsof het om een rekensom gaat. Bij een rekensom kun je de onderdelen eerst apart uitrekenen en vervolgens die van het geheel uit de resultaten van de onderdelen. Bijvoorbeeld als je 2*(3+5) moet uitrekenen dan kun je eerst 3+5 uitrekenen. Vervolgens vervang je 3+5 door 8 zodat je 2*8 krijgt. Dit leert iedereen op school. Je kunt een onderdeel, zeg x, van een formule, zeg x+y, vervangen door een andere, zeg 8, wanneer deze dezelfde waarde heeft als het onderdeel, dus als x=8. Dat dit mag is vanwege de geldigheid van het principe van compositionaliteit. Dat zegt dat je in uitdrukkingen delen mag vervangen door delen die hetzelfde betekenen (dezelfde waarde hebben) zonder de betekenis (waarde) van het geheel te veranderen. Het vervangen doet niets met de context waarin het vervangen wordt. Zoals je in een machine een radertje door een ander radertje kan vervangen als het maar hetzelfde aantal tanden heeft en net zo groot is. Het is dus niet toevallig dat machines zo goed kunnen rekenen. Maar kunnen ze ook met onze gewone taal omgaan en uitrekenen wat de uitdrukkingen van onze taal betekenen?

Het Principe van Compositionaliteit is aan het eind van de 19de eeuw geformuleerd door de wiskundige en logicus Gottlob Frege (1848-1925). Hij werkte aan een betekenistheorie voor beweringen.

Een voorbeeld: als de bewering “Jan gaat naar school” waar is, en Jan is de broer van Piet dan is de bewering “De broer van Piet gaat naar school” ook waar. Je kunt het onderdeel “Jan” vervangen door het onderdeel “de broer van Piet” omdat deze dezelfde verwijzing hebben.

Er zijn echter constructies waarin dit niet opgaat.

U wist dat de broer van Piet naar school ging? Nee, ik zei dat ik wist dat Jan naar school ging, maar ik wist toen niet dat dat de broer van Piet was.

In een debat zegt een kamerlid tegen de Minister U beweert dat U over deze zaak geen kennis had. Minister: Ja. Kamerlid: Maar U hebt dit memo over deze zaak zelf ondertekend. Minister: Maar ik wist toen niet dat dit memo daarover ging. Overigens is dat geen memo maar een kattebelletje.

Intensionele zinsconstructies zoals deze creëren ondoorschijnende contexten.

Is dat erg? vraag je je misschien af. Ja, dat is het, want we willen dat contexten transparant zijn. Het probleem is dat we vaak niet door hebben dat er sprake is van ondoorschijnende contexten. Daardoor ontstaan veel misverstanden.

Hoe groot is de kans dat het aantal chemische elementen groter is dan 100?

Hoe groot is de kans dat 112 groter is dan 100?

Omdat het aantal chemische elementen gelijk is aan 112 zou je kunnen denken dat de vorige twee zinnen hetzelfde betekenen. Waarom is dat niet zo? Omdat de context die door de zinsconstructie gemaakt is niet ‘doorschijnend’ is.

Zinsconstructies die ondoorschijnende contexten creëren komen vaker voor dan u denkt. (Dit is er één. Dat had u waarschijnlijk wel gezien.)

Bij de volgende paren zinnen hangt de interpretatie van dezelfde onderdelen sterk af van de totale context.

Een lid van het OMT wordt altijd bedreigd. Een circel heeft altijd een omtrek.

Iedereen kan winnen. Iedereen kan een drankje krijgen.

Je kunt woorden en zinnen niet zo maar uit hun verband halen zonder de waarheid, wat er werkelijk gezegd is, geweld aan te doen. Frege had dat ook wel door. Hij onderscheidde directe rede en indirecte rede. In “Jan zegt dat …” kun je wat op de plek van de … staat niet vervangen door iets anders. Logisch semantici sporeken soms van modaliteit de dicto en modaliteit de re. Komt de noodzaak of mogelijkheid toe aan het zeggen (de kenner) of aan het gezegde, de zaak zelf (het gekende)?

Er is een getal dat noodzakelijk groter is dan zeven.

Het is noodzakelijk dat er een getal is dat groter is dan zeven.

De onderstaande twee beweringen kunnen allebei waar zijn.

Iedereen kan winnen. Er kan maar één winnen.

Machines snappen dat niet. Omdat ze in elkaar zitten. Ze moeten de taal ‘letterlijk’ nemen want ze hebben geen benul van een wereld buiten de taal. De wereld waarnaar de taal verwijst.

Sommige dingen zitten nu eenmaal niet in elkaar. Zoals de geest. De geest zit niet in elkaar. Het lijkt me goed om ons dat af en toe te realiseren wanneer we aan het analyseren gaan de zaak weer uit elkaar gaan halen en conclusies trekken op grond van uitspraken die uit hun ‘ondoorschijnende’ context zijn gehaald.

De betekenis van een uiting is een geheel dat niet analyseerbaar is. De onderdelen van de uiting moeten niet opgevat worden als bouwstenen waaruit de betekenis wordt opgebouwd. Dit kan het best geïllustreerd worden aan de hand van een plaatje zoals de beroemde haas-eende-kop van Jastrow.

De haas-eende-kop van Jastrow

In de figuur zien we een eende-kop dan wel een haze-kop. Een deel van de tekening is noch een deel van de eende-kop noch een deel van de haze-kop. Als deel is het een lijnstukje waaraan we als geïsoleerde figuur geen betekenis kunnen geven. Dat is niet zo vanwege de ‘dubbelzinnigheid’ van de tekening. Ook een eenzinnige figuur heeft een betekenis die een geheel is dat niet gezien moet worden als het resultaat van een samenstel van betekenissen van de onderdelen van de figuur. Alsof het bij het interpreteren van een figuur om het berekenen van de waarde van een rekenkundige expressie zou gaan.

Mind the gap: grensovergangen en – conflicten tussen mens en techniek

De grens tussen mens en techniek is veel minder scherp dan velen geneigd zijn te denken.” (Peter-Paul Verbeek in: De Grens van de Mens, 2011)

Inleiding: twee benaderingen van techniek

De (ethische) stelling die ik hier inneem is dat de techniek haar waarde vindt in de betekenis die deze voor de mens heeft. Dat lijkt misschien een open deur. Toch krijg ik wel eens de indruk dat alles in de wereld om de ontwikkeling van nieuwe technologie gaat. Alsof die een eigen waarde heeft. Wat zegt de filosoof hierover?

Ik ben met twee nogal verschillende benaderingen van de techniekfilosofie in aanraking gekomen. Die houden er verschillende opvattingen van techniek op na.

Met de eerste kwam ik in aanraking tijdens mijn studie wiskunde en informatica aan de toen nog Technische Hogeschool Twente. Filosofie van de wiskunde en de informatica vulde een groot deel van mijn studie. Ik was daarmee in aanraking gekomen via mijn leermeester Louk Fleischhacker, filosoof met als achtergrond logica en wiskunde. Hij werkte op het Mathematisch Centrum waar hij promotieonderzoek deed bij Curry op het gebied van de combinatorische logica. Toen die vertrok volgde Louk zijn interesse voor de wijsbegeerte. Ik verdiepte me in het gedachtegoed van Louk’s leermeester, de Amsterdamse filosoof Jan Hollak. “Hegel, Marx en de Cybernetica” was het eerste artikel dat ik van Hollak las. Ik snapte er helemaal niets van. Maar ik had wel het gevoel dat er iets van waarde in zat. Wat had de cybernetica van Norbert Wiener met de filosofieën van Hegel en Marx te maken? Ik las Hollaks inaugurele rede “Van Causa sui tot Automatie”, over het moderne Godsbegrip, de relatie met het causaliteitsbegrip. Zelfreflectie, het denken dat zichzelf probeert te begrijpen, en zichzelf veroorzakende processen, automaten, daar ging het over. Alle twijfelachtige wetenschap die het gevolg was van de Cartesiaanse methode, het gevolg van een universeel twijfelexperiment.

Mijn belangrijkste motief was dat ik, wiskunde- en informaticastudent, wilde begrijpen hoe een computer werkt. U zou kunnen denken dat je daarover toch genoeg leert bij het volgen van een informatica-studie. Dat is een begrijpelijke gedachte, maar die colleges gaven niet het antwoord op de vraag die ik had: hoe werkt de computer nou eigenlijk? Je kunt heel veel technische uitleggen lezen over hoe de computer werkt (zie bijvoorbeeld hoe de filosoof D.C. Dennett uitlegt hoe de register machine ‘werkt’). Maar ze raken niet de kern van mijn vraag. Men zegt dat de computer kan rekenen, dat machines kunnen denken. Maar hoe dan? Is dat misschien alleen ‘bij wijze van spreken’ zo? Maar waarom zo spreken?

Ik volgde colleges bij Maarten Coolen in Amsterdam die toen bezig was te promoveren bij Theo de Boer. In “De Machine Voorbij” geeft hij zijn interpretatie van de (historische) ontwikkeling van de techniek, waarvan de programmeerbare machine, de zelfregulerende automatie, de (voorlopige?) eindfase is. Voor Maarten Coolen was Hollaks filosofie van de ontwikkeling van de technische idee een belangrijke inspiratiebron. Een kernprobleem is de vraag naar de verantwoordelijkheid voor een technologie die steeds autonomer wordt en die een eigen dynamiek lijkt te hebben. De complexiteit maakt dat niemand meer voor de ontwikkeling van nieuwe technologie verantwoordelijk kan zijn omdat niemand volledig snapt hoe het werkt en waar het toe leidt. Hoe autonoom is die moderne mens eigenlijk die zich tot uitdrukking brengt in de zichzelf programmerende machine? Louk en ik keken vooral naar de relatie tussen de ‘zelfreflectie’ van de wiskunde zoals die zich in de metamathematica in het begin van de 20ste eeuw voltrok (met Frege, Russell en Wittgenstein als ‘grote’ denkers) en de programmeerbare machine. Louk promoveerde bij Hollak op een proefschrift getiteld “Over de grenzen van de kwantiteit”. Wat voor grens? Waartussen?

De geest heeft de neiging zich in ruimtelijke termen, zoals ‘grens’, uit de drukken. Dat kan erg misleidend zijn.

Met de tweede benadering van de techniek kwam ik in aanraking via het werk van Peter-Paul Verbeek. Het is een benadering die veel dichter bij het ontwerp en de effecten van concrete technische projecten en dingen staat. Ihde’s mediatie theorie en Latours mens-beeld nemen een belangrijke plaats in in het denken van Verbeek. Ik noem deze de ethische benadering omdat in deze filosofie de ‘morele’ kant van de techniek een centrale plaats inneemt. Wat doet dit ding met de mens en hoe verandert deze techniek de wijze waarop de mens de werkelijkheid ziet?

De ethische vraag hoe te handelen wordt in zekere zin mede door de techniek beantwoord. Dat doet ze door vorm te geven aan de manier waarop we dingen interpreteren en door nieuwe mogelijkheden van handelen te creëren. Verbeek wijst er in diverse van zijn boeken en artikelen op dat de technische dingen vanwege hun bemiddelende rol in het menselijk handelen in zekere zin zelfs een ‘moreel actorschap’ toegekend kan worden. (zie bijvoorbeeld zijn “Moraliteit voorbij de mens”).

De tweede benadering is een heel andere dan de eerste. Heidegger zegt in Die Frage nach der Technik dat het wezen van de techniek iets anders is dan techniek (“Die Technik ist nicht das gleiche wie das Wesen der Technik”.) Je zou kunnen zeggen dat de eerste benadering zich meer richt op het wezen van techniek, de technische idee, terwijl de tweede kijkt naar wat de verschillende technieken doen. Toch gaan beide over moderne zaken als informatica en media. De filosofie van Hollak sluit meer aan bij de grondslagenproblematiek in de wiskunde, bij de automatisering, de onderwerpen van mijn studie.

Na mijn studie werkte ik in de onderzoekgroep Human Media Interaction aan interfaces tussen mens en machine. Ik leerde de machine onze taal spreken, zodat mensen in hun eigen taal met de machine kunnen communiceren. Ik leerde machines om uit teksten informatie te halen over eigenschappen van de schrijvers ervan. Je leert machines via de taal de werkelijkheid kennen. Ik werkte aan persuasieve technologie, coaching systemen die mensen helpen om hun bloedsuiker en/of gewicht op peil te houden. Aan avatars die de rol van een verdachte in een politieverhoor kunnen spelen. Tegenwoordig kan iedereen appjes op zijn mobieltje zetten die deze functies uitvoeren. Het onderzoek van Verbeek naar de verschillende vormen van mediatie sluit direct aan bij dit soort mens-machine-interaktie-projecten.

Waar in het denken van Hollak en zijn leerlingen (Maarten, Louk) komen de ethische vragen met betrekking tot de technologie aan de orde? Het is een kwestie die voor mij lange tijd onduidelijk was. Ethiek lijkt helemaal geen thema in die antropologische benadering van techniek. Dit is slechts schijn. Een schijn die veroorzaakt wordt door het feit dat het juist voortdurend gaat om de menswaardigheid van de techniek, om wat de mens van zichzelf in de techniek uitdrukt en in hoeverre hij daarin slaagt. In de poging zichzelf te begrijpen en aan zichzelf te werken brengt de mens tot uitdrukking wat menswaardig is. De filosofie is bij uitstek het domein waar gepoogd wordt dit zelfbegrip tot uitdrukking te brengen.

In “The moral roots of conceptual confusion in Artificial Intelligence research”
zegt Niklas Toivakainen: “My main claim in this paper will be that the project of AI — as the project of any human endeavor — is itself inextricably a moral matter.” Hij vindt de moraliteit in de methode en het denken van de AI zelf. Ik denk dat in de techniekfilosofie van Hollak c.s. de impliciet morele kant van de technologie tot uiting komt.

Verbeek zoekt naar “de grens van de mens” en hoopt deze te vinden in de verschillende relaties die de mens met de dingen heeft. We zien, zegt hij, een toenemende mate van versmelting van mens en techniek. Het roept de vraag op wat er bedoeld wordt met ‘de grens tussen mens en techniek’. Ik zal proberen aan de hand van een tweetal grensconflicten dit te verhelderen. Daarna keren we terug naar de menswaardigheid van de techniek. We zullen zien dat de menswaardigheid het centrale thema is van zowel de antropologische als van de ethische benadering van de technologie.

Grensconflicten

De mens heeft de neiging zich in ruimtelijke termen uit te drukken: afstand, grens, diepte, hoger, lager, binnen en buiten, uiten, wijzen, aanwijzen en nog veel meer. Wellicht hebben we hier te maken met een karaktertrek van de moderne geest. Een karaktertrek die tot nogal wat grensperikelen aanleiding geeft. Een kritische analyse van deze eigenschap lijkt me zinvol, zo niet nuttig, om inzicht te krijgen in de werking van de geest. Maar hoe doe je dat? Hoe analyseer je de geest?

De aanname is dat het taalgebruik een kijkje biedt in wat er in de geest omgaat. De filosofie houdt zich bij uitstek bezig met de geest en de wijze waarop deze zich uit. Zij moet het van de taal hebben. De geest uit zich in haar activiteiten en creaties. We richten ons hier op de technologie als creatief domein van de menselijke geest en de wijze waarop de filosofie daarover reflecteert. Ik bekijk twee technische domeinen van de geest waar grensperikelen zich voordoen. Deze betreffen de morele grenzen van de technologie. Het eerste domein is het speelveld van de genetische technologie ter ‘verbetering’ van de mens. Het tweede domein is dat van de ontwikkeling van sociale robots. Bij beide gaat het in zekere zin om het maken van een betere mens.

Eerste grensconflict: over de grens van de mens

Ter gelegenheid van zijn aanvaarding van het ambt van hoogleraar Filosofie van Mens en Techniek aan de Universiteit Twente sprak op 15 oktober 2009 Peter-Paul Verbeek zijn inaugurele rede uit vanaf de kansel van de kerk op het oude marktplein in Enschede. De plek past bij deze techniekfilosoof en ethicus die liever op het marktplein en op festivals zijn boodschap aan het volk verkondigt dan in de stoffige torens en muffe collegezalen van de universiteit aan een elitair gezelschap.

Het doel van de filosofie van Peter-Paul Verbeek is uiterst praktisch. Ze moet de basis vormen voor een ethiek die zich inzet om “op een goede en verantwoorde wijze vorm te geven aan de verwevenheid van mens en techniek.” (p.112). Ethiek moet niet van buiten af grenzen opleggen aan de techniek, maar ‘begeleider’ zijn en zoeken naar manieren om technieken te ontwikkelen die bijdragen aan ‘het goede leven’. Verbeek is dan ook regelmatig in design-labs te vinden. Hij neemt zitting in werkgroepen met ingenieurs en medici die aan nieuwe technologie werken, zoals onlangs nog in een nationaal project voor het maken van een Corona app. De bijdrage van de ethicus bestaat uit het onderzoeken van de mogelijke effecten die nieuwe technologie op het leven van mensen heeft. Hoe draagt deze techniek bij aan ‘het goede leven’? Wat doet deze techniek met de mens en de samenleving?

Zijn ethische legitimering van de technologie is gebaseerd op een mensopvatting die sterk door technologie wordt bepaald. Nu heeft de historische stand van de techniek vaak metaforen geleverd voor het karakteriseren van de mens. Zo was hij ooit pottenbakker, horlogemaker of programmeur. Het mensbeeld dat Verbeek schetst – en daarin schaart hij zich bij andere filosofen, is de mens als grensverleggend wezen. En dat houdt tevens in dat hij de grenzen van zichzelf, als subject verlegd. De menselijke geest is ‘zelfconstitutie’ (p.134). De mens is wezenlijk zelfmakende mens. De metafoor die gebruikt wordt om de mens te karakteriseren wordt door Verbeek dus niet ontleend aan een bepaalde vorm van techniek, maar aan een wezenlijk kenmerk van de technologie als zodanig, namelijk haar grensverleggende karakter. De mens is techniek en technoloog. Hij werkt aan zijn toekomst waarin het leven beter is dan nu.

Verbeek laat zich vooral inspireren door de nieuwste medische en biogenetische technieken. Deze leveren sterke staaltjes van de ‘verwevenheid van mens en techniek’. Descartes zag de medische kennis al als het belangrijkste product van zijn nieuwe filosofische methode: de mens als rationeel denkend subject dat meester is over de natuur. Het bestrijden van ziektes, het verlengen van de levensduur, wellicht het volledig uitbannen van het verouderen zijn de taken die hij voorstelt om aan te werken. Recombinant DNA-technologie, ‘pre-implantatiediagnostiek’, het telen van nieuwe soorten, het zelf ter hand nemen van het ontwerp van de mens, het ligt in het verlengde van Descartes visionaire blik op de mogelijkheden van de nieuwe mens.

De ironie wil dat Descartes door de nieuwe “technetici” als één van de belangrijkste grondleggers gezien wordt van een metafysica die subject en object, mens en machine in twee domeinen van elkaar scheidt. Tegenover het denkend subject verschijnt het res extensa, de zielloze en willoze uitgebreidheid, waarin het gezonde verstand zich uit kan drukken. Het grensbegrip duidt zowel op een verdeling binnen de uitgebreidheid als op de verdeeldheid van denken en wereld.

Deze metafysica is volgens hen de basis van een humanisme, dat de autonome mens plaatst tegenover de wereld, een mensbeeld dat o.a. door Heidegger is bekritiseerd. Een goede verstaander van de technologie ziet dat deze scheiding in werkelijkheid niet bestaat. Vanuit het oude denken moeten we dus zeggen dat de grens tussen subject en object, tussen mens en techniek vervaagt of zelfs is opgeheven.

Verbeeks houdt een pleidooi voor een nieuwe ethiek. Maar tegen welke club richt hij zich eigenlijk? Want wie zal nog ontkennen dat de mens zichzelf vorm geeft? Het ligt vrij subtiel. Het pleidooi richt zich tegen diegenen die dit zelfontwerp willen sturen; niet door de ontwikkeling van nieuwe technologie te ‘begeleiden’, door aan de ontwerptafel te gaan zitten, maar ‘van buiten af’, door vanaf de kant te roepen waar de morele grenzen van het speelveld dreigen te worden overschreden.

Waarop baseren deze stuurlui zich? Waar komen hun morele grenzen vandaan? Verbeek wijst in zijn boek op het feit dat er helemaal geen debat is over ethische kwesties. Er is een veelheid van meningen en men accepteert elkaars mening. Dat komt omdat de regels van de stuurlui gebaseerd zijn op zaken die je nou eenmaal geloofd. Daar valt niet over te praten. Over ethiek valt net zo min te twisten als over goede smaak. Ondertussen gaat de technische geest door in het exploreren van haar mogelijkheden. De religieuze mens verwijst naar de menselijke waardigheid die in het geding zou zijn. Verbeek noemt Habermas als voorbeeld van zo’n ‘externalistische’ ethicus, een kantlijner. En waar beroept deze zich op?

Op het autonomiebeginsel! De mens zou door de nieuwste technologie in zijn autonomie worden bedreigd. Maar dan toch zeker wel door die mens zelf. We willen en mogen wel programmeren, maar niet geprogrammeerd worden. Maar wanneer de werkelijkheid van de mens bestaat uit zelfprogrammering dan kan het één niet zonder het ander voorkomen. Ze zijn twee kanten van dezelfde technologie. Wie een technisch instrument maakt maakt ook een handleiding hoe er mee om te gaan. De programmeerbare machine veronderstelt en realiseert de mens als programmerend. We moeten er voor waken dat er een scheiding ontstaat tussen programmeurs en geprogrammeerden. Alsof die er nog niet is! De oplossing zou dus bestaan uit het democratiseren van de technologie. De gebruikers beslissen mee aan de ontwerptafels. Technetici stellen daarbij vragen als “wat doen pillen die ons minder somber maken met onze authenticiteit?” of “wat gebeurt er met de kwaliteit van ons bestaan” als nieuwe medische technologie net zo vanzelfsprekend is als een kunstgebit?”. Of ze werpen zich op als opstellers van regels voor het programmeren van het mensenpark. Of in dat park behalve mensen ook robots rondlopen voor wie dezelfde regels moeten gelden? Daarover gaat het tweede grensconflict.

Ondertussen zit de filosoof met een probleem. Hij probeert de grenzen die hij zelf denkend maakt weer op te heffen. Verbeek ziet de grens tussen mens en techniek vervagen. Ik dacht terwijl ik onderzoek deed op het gebied van de Kunstmatige Intelligentie dat ik bezig was te begrijpen waarin de mens zich van de techniek onderscheidt. De programmeerbare machine is immers, had ik geleerd, de uitwendige objectivatie van het humanistisch mensbeeld, de rationele mens (men leze de inaugurele rede van Jan Hollak, Van Causa sui tot Automatie, 1967). Hoe verder de techniek zich ontwikkelt hoe beter het onderscheid zichtbaar kan worden.

De automatie toont, voor wie het wil zien, dat het moderne mensbeeld, de idee van de autonome mens, niet voldoet. De automatie toont dat de mens daar voorbij is; dat hij meer is dan wat hij van zichzelf in technologie tot uitdrukking brengt.

In eerste instantie dacht ik dat die twee benaderingen van de techniek tot opvattingen leiden over de relatie tussen mens en techniek die met elkaar in strijd zijn. Dat is niet het geval.

“Philosophie der Techniek”

In zijn “Philosophie der Techniek” doet de filosoof P. de Bruin een poging het bijzondere karakter van de menselijke techniek te beschrijven. Ook dieren kennen techniek. Of het nou aan de bijzondere samenstelling van het menselijk genoom ligt of niet, feit is dat het technische instrument of een methode van werken door de mens uitgedacht, niet gebonden is aan een concrete situatie, waarin deze door iemand is bedacht of toegepast is, zoals bij het dier, maar zelfstandigheid heeft. “De mens is het enige dier dat aan zijn instrument zelfstandigheid geeft: dat zijn instrument als weergave van zijn concept beschouwt; dat middelen maakt voor algemeen gebruik; dat instrumenten vervaardigt om er instrumenten mee te fabriceren, die eerst langs een omweg, soms langs vele omwegen tot directe dienst aan de mens terugkeren of die alleen maar gebruikt worden om er kennis mee te vermeerderen. Daarin ligt het onderscheidend kenmerk en niet in de fabricatie van doelmatige instrumenten, in de combinatie van natuurkrachten om een gesteld doel te bereiken, b.v. een hoog hangende vrucht.” Anders dan het dier heeft de mens een van de behoeftebevrediging bevrijde verstandelijke voorstelling. De Bruin wijst op het wetenschappelijk karakter van de menselijke techniek. Experimentele wetenschap en techniek zijn twee kanten van een zelfde geestesleven. Zonder vrij denken geen experiment en geen techniek.

“De techniek is derhalve de beheersing van de werking der natuur in een nieuwe algemene vorm door het verstand uitgedacht of gevonden.” De “eerste eigenschap” van de menselijke techniek is volgens De Bruin de eindeloze herhaalbaarheid. Dit is uiteraard slechts in principe zo. Dat wil zeggen afgezien van de slijtage en de eindigheid van de bouwstoffen, die door toepassing van de techniek worden verbruikt. Heidegger heeft gewezen op het feit dat de technologie de aarde als Bestand ziet, als bron van grondstoffen.

De technische vinding is niet alleen uitvoerbaar of bruikbaar voor de uitvinder ervan. Net als een stelling in de wiskunde is ze geldig voor iedereen zodra deze een keer bewezen door iemand bewezen en meegedeeld is. Op dezelfde manier is een geslaagd experiment een bewijs van de werking van een techniek. Ook de leerbaarheid deelt de techniek met de wiskunde, die bij uitstek mathesis is, leerbaar.

“De handelingen van de mens zijn technisch, juist voor zover zij berekenbaar zijn.” Het is dan ook niet toevallig dat de ontwikkeling van de techniek geleid heeft tot de techniek van de rekenende programmeerbare machines. Dat deze machines ook taalmachines zijn, dat wil zeggen op taal reageren en zich in taal uiten is geen toeval. Het is het gevolg van het feit dat de taal de lichamelijke uiting van de denkende geest is.

De zelfstandigheid van de menselijke techniek heeft twee aspecten. Eerstens werkt deze volgens een door het verstand gevonden algemeen geldend concept. Ten tweede heeft het technische ding de zelfstandige werking van de natuur, die “op algemeenheid is aangelegd”. De natuur werkt volgens algemene wetten. Niet alleen de hamer, ook de logische schakeling werkt als natuurkracht. Maar de functie die het uitoefent ontleent het aan het ontwerp, aan de creatieve berekende en door middel van experimenten geteste combinatie van werkingen van de natuur.

De zelfstandigheid van het technisch instrument is volgens De Bruin op twee wijzen beperkt. De natuur verzet zich tegen de haar opgelegde vorm door verslijt. Ten tweede: “de zelfstandigheid is steeds afhankelijk van de medewerking der mensen.” (p.446).

De gebruiker van het instrument moet zich steeds meer aanpassen naarmate deze zelfstandiger wordt. De mens leeft synchroon met de tijd van de machine. Dat geldt niet alleen voor de klassieke machines, de materiële productieprocessen (denk aan de lopende band), maar ook, en meer en meer, voor de informatie- en communicatietechnieken. Niet alleen in de sfeer van de arbeid, maar ook in de privé-sfeer wordt de moderne mens door social-media en massa-media geleefd.

Het is de economische toepassing van techniek die niet alleen dreigt de menselijke arbeid te mechaniseren tot een mensonwaardig functioneren, maar ook de burger dreigt te ontwaarden tot een stuurloze consument. Dit gaat zover dat dit de identiteit van het individu raakt. Zijn consumentgedrag bepaalt wie hij is.

De Bruin wijst op de veelgemaakte fout techniek te verwarren met het economisch gebruik van techniek. “De technische handeling is niet minder ingenieus, vernuftig, in één woord technisch, wanneer zij zich ten doel stelt een zo zwak mogelijke verlichting te verkrijgen.” Dit doet denken aan het werk van de kunstenaar Gerrit van Bakel die machines maakte die zo langzaam mogelijk voortbewogen.

“Men mag een begrip niet begrenzen door dingen die er buiten staan. De techniek heeft maar één grens: het natuurlijke en formeel-logisch onmogelijke.” (p. 461)

In zijn ”De Structuur van het Economisch Arbeidsbegrip” doet de Bruin een poging het begrip arbeid te analyseren en te definiëren. Hierin gaat hij expliciet in op het probleem van de vage grenzen tussen fenomenen in de werkelijkheid. Over het begrip grens zegt hij: “vloeibare grenzen en vastomlijnde begrippen zijn niet elkaars tegengestelde maar elkaars complementen.” Het onderkennen van grensvervaging veronderstelt een inzicht in het begripsonderscheid. De vaste kern van het begrip techniek, de technische idee is dat het een verstandsvorm is die op een uitwendige wijze wordt gerealiseerd. Die uitwendigheid en die verstandsvorm horen bij elkaar. Als verstandelijk denken drukt de geest zich uit in ruimtelijke termen. Het is de sfeer van de kwantiteit, waar de mens technische de natuur aangrijpt om deze te veranderen. De filosofie probeert de onderscheiden bepalingen, subject en object, weer op te heffen in een poging het verstand met de werkelijkheid te verzoenen. De techniek probeert de grens tussen subject en object tussen geest en natuur op te heffen maar ze blijft als robot tegen over de maker staan.

De onmiddellijke lichamelijkheid waarin de techniek is ingebed is de innige band die de mens van nature met de natuur heeft. De lichamelijke mens is als lichamelijk geen ‘tegenover’ van subject en object: het lichaam is beide, ‘le çorps-sujet’ (Merleau-Ponty). “In de meest fundamentele en steeds aanwezige ervaring van ons eigen bestaan is de coëxistentie met onze wereld ondoordacht aanwezig en wel primair geconstitueerd door onze lichamelijkheid”. (F.J.J. Buytendijk, Prolegomena van een antropologische fysiologie, p.30). Taal en techniek delen als intelligente uitwendige objectivaties van de geest in de lichamelijke eenheid van subject en object, van geest en materie. Maar het zijn wel uitwendige objectivaties, het subject is er niet als subject in aanwezig. De machine imiteert slechts een beeld van subjectiviteit. Wanneer A.G. van Melsen zegt dat het kennen niet geheel buiten de sfeer van het stoffelijke ligt, dat water “weet” wat het moet doen als het verwarmd wordt, dat natrium “weet” hoe te reageren met chloor, dan is dat weliswaar een metafoor maar toch drukt het ook een zeker eigenschap van de stof uit namelijk een functioneel weten dat net als bij de mens het handelen bepaalt. (Van Melsen, Natuurwetenschap en Techniek). In de techniek gebruiken we dit “weten”, deze intelligentie van de natuur op slimme wijze.

Het besef van de uitwendigheid van de techniek is de bron van de ethiek. Weliswaar is de mens techniek maar het gaat niet om de techniek. Het gaat om de waardigheid van de mens die zich erin uitdrukt. De mens moet het van de uitdrukking hebben maar gaat er niet in op. Dat is de gemeenschappelijke ethische kern van beide benaderingen in de techniekfilosofie. De mens moet aan techniek werken maar er ook buiten staan en het beschouwen met de vraag is dit waar ik mezelf in vindt?

Dit is allemaal erg abstract. Concreet bestaat de mens als individu, als persoon met een eigen lichaam en karakter. De medische technologie sleutelt aan de individuele mens; niet aan de arbeid, de machines in de fabrieken, maar aan de persoon door middel van zijn lichamelijkheid. Of het nu om een nieuwe knie ter ‘verbetering’ van het loopvermogen gaat of om ‘verbetering’ van de psychische vermogens.

Wanneer Verbeek het over de morele kant van de techniek heeft dan doelt hij op de concrete techniek in haar relatie tot het gebruik. Daar ligt de verwarring tussen techniek en economie op de loer. Voor Verbeek is de techniek nooit neutraal. Voor de Bruin zit de waarde van de techniek in de algemene bruikbaarheid. De techniek moet dienstbaar zijn aan de mens. Het behoort tot het wezen van de techniek berekenbaar en herhaalbaar te zijn. Maar wil techniek techniek blijven dan moet de mens grenzen opleggen aan de mechanisering waartoe ze uit zich zelf geneigd is. “De techniek is niet mogelijk zonder een leidend verstand dat nog vrij over zichzelf beschikt.” (p.449). De controle door de mens is van dezelfde aard als de wijze waarop we over ons lichaam beschikken en er tevens voor zorgen.

Men zegt: mensen gaan op robots lijken en omgekeerd gaan robots op mensen lijken. Maar voor wie? Dan toch in elk geval voor diegene voor wie dat lijkt. Maar die weet dan toch van het verschil. Dat de gelijkenis slechts uitwendig is.

De uitwendige kant van de lichamelijkheid speelt ook een centrale rol in de technologie van de sociale robots. Dat zijn robots die onze taal spreken (dingen met taal doen) en andere sociale gebaren maken die emoties opwekken bij de mensen die er door aangesproken worden.

Tweede grensconflict: moeten robots rechten hebben?

Een andere arena waar ethiek en techniek in de clinch liggen is waar technische dingen als ‘autonome’ machines worden opgevat. Daar willen de nieuwe technetici het morele van het subject de grens overhevelen naar het domein van de technische objecten die ook subjecten zijn, want “zelf beslissingen nemen”. De titel “Moralizing Technology” van een boek van Verbeek nodigt de vraag uit waar het over gaat: is de techniek object of subject van het moraliseren? Morele actor zijn betekent het vermogen hebben vrij te kiezen in bepaalde situaties. Wanneer de vraag aan de orde komt of machines wel vrij zijn om te kiezen, relativeren de technetici de vrijheid van het menselijk subject. De mens is ook door technieken bepaalt. Maakt de mens niet altijd gebruik van techniek en bepalen de technische mogelijkheden niet voor welke beslissingen de mens in zijn leven komt te staan? Zo vervaagt ook hier de grens tussen mens en techniek. Ik denk overigens dat in deze hele discussie vrijheid en keuzevrijheid worden verward. De mens is niet vrij omdat hij in bepaalde situaties keuzes kan maken, maar omdat hij inziet wat hij wel en niet wil. Hij kan ook weigeren voor een bepaalde keuze gesteld te worden. Hij kan zelf bepalen wat de alternatieven zijn. Voor wie werkelijk vrij is is er vaak maar één mogelijkheid.

David Gunkel (2017) spreekt van de “ontologische status” van de technische artefacten. De broodrooster en de nietmaschine hebben dezelfde ‘ontologische status’ als een sociale robot. Toch is er een verschil in ‘sociale status’ en daarmee van hun ‘morele status’.

Kate Darling (2012) schrijft, “our robots are nowhere close to the intelligence and complexity of humans or animals, nor will they reach this stage in the near future. And yet, while it seems far-fetched for a robot’s legal status to differ from that of a toaster, there is already a notable difference in how we interact with certain types of robotic objects.”

We hebben de neiging tot antropomorfiseren, zegt Darling, We projecteren onze eigen cognitieve vermogens, emoties en motieven op onze technische artefacten, sociale robots en androides, terwijl deze vermogens niet eigen zijn aan deze mechanismen.

“Social robots play off of this tendency by mimicking cues that we automatically associate with certain states of mind or feelings.” (Darling)

“But it is this emotional reaction that necessitates new forms of obligation in the face of social robots” (Gunkel, 2017). Sociale robots worden niet alleen gezien als morele actoren, subjecten die morele acties uitvoeren, maar ook als morele subjecten zoals huisdieren.

“Given that many people already feel strongly about state-of-the-art social robot ‘abuse,’ it may soon become more widely perceived as out of line with our social values to treat robotic companions in a way that we would not treat our pets” (Darling 2012).

Moeten we sociale robots niet beschermen tegen misbruik en vernieling door het uitbreiden van wetgeving? Of is bestaande wetgeving voldoende? De waarde die de robot heeft is immers gerelateerd aan de waarde die deze heeft voor de eigenaar ervan. Wat dat betreft is er geen verschil met het beschermen van een broodrooster tegen vernieling. Willen we de broodrooster zelf via juridische middelen beschermen tegen vernieling of misbruik door de eigenaar? We beschermen op die manier ook dieren en natuurgebieden vanwege de waarde die ze zelf hebben. Niet vanwege de economische waarde voor de mens.

Verschillende onderzoeken hebben laten zien dat mensen op een emotionele manier op sociale robots reageren ook al weten ze dat het om technische artefacten gaat. Ook mensen die in zekere zin weten hoe de robot werkt zeggen empathie te hebben alsof het om een huisdier gaat. We moeten de vaak nogal suggestieve onderzoeksverslagen wel met de nodige korreltjes zout nemen. Het gaat om laboratorium-onderzoek waarvan de ecologische validiteit vaak betwijfelbaar is. Bovendien is het taalgebruik wanneer we over robots praten nogal suggestief. We spreken van een ‘intelligente’ robot die ‘zelf beslissingen neemt’ also we daarmee hetzelfde zouden bedoelen als wanneer we dit van een mens zeggen. Het gaat hier echter om een ander taalgebruik. Intelligente machines zijn niet in dezelfde zin intelligent als intelligente mensen. En als we zeggen dat een robot een beslissing neemt dan is dat echt iets anders dan wanneer we dat van een mens zeggen. Darling spreekt van “projectie”. We zeggen dat iets buiten ons doet wat wij eigenlijk zelf doen. Maar kunnen we niet doen wat de machine doet zonder de machine. Een breimachine breit anders dan een mens. Een wasmachine wast anders dan een mens. Dus is het geen projectie. Het vermogen van het technische ding is een uitwendige objectivatie van het menselijke vermogen zijn rationele wil op een doelmatige wijze aan de natuur op te leggen door aan de natuurkrachten te gehoorzamen. Het gaat om een samenspel tussen mens en natuur. Een samenspel dat in het verlengde ligt van zijn lichamelijke vermogens en die nooit helemaal buiten spel komen te staan. Hoe intelligent en autonoom de machine ook voor ons lijkt te werken altijd is er fysische interaktie nodig tussen mens en machine. De gebruiker moet de machine in een bepaalde toestand brengen, een toestand die de gebruiker deelt met de machine.

Machines zijn niet slechts instrumenten. Zegt men. Ze voeren ‘autonoom’ acties uit, Ze ‘nemen beslissingen’. En daarvoor zijn ze ook ontworpen. Maar zijn ze dan ook verantwoordelijk voor hun acties? De hamer is niet verantwoordelijk voor de mogelijke schade die veroorzaakt kan worden door iemand die dit instrument hanteert. Maar hoe zit dat met de zelflerende machine, zoals de chatbot Tay van Microsoft? Deze zelflerende Twitterbot heeft Microsoft het schaamrood op de kaken bezorgd. De chattende robot ‘TayTweets’ veranderde binnen 24 uur in een Holocaust-ontkennende nazi met racistische teksten als ‘Hitler had gelijk ik haat Joden’.

“Machine learning systems like AlphaGo and Tay introduce complications into the instrumentalist way of assigning and dealing with responsibility. They might not be moral agents in their own right (not yet at least), but their design and operation effectively challenge the standard instrumentalist theory and open up fissures in the way responsibility comes to be decided, assigned, and formulated. (Gunkel, 2017).

Ik maak bezwaar tegen de tegenstelling mens machine. De mens heeft ook iets machine-achtigs. Het rekenende denken is machinaal denken. De automatische rituele handelingen zijn mechanisch, onnadenkend uitgevoerd. Wie leest of luistert laat zich door de woorden programmeren. We reageren automatisch op bepaalde signalen uit de omgeving, zonder erbij na te denken, alsof we zo geprogrammeerd zijn. De sprekende geldautomaat maakt gebruik van dit automatisme wanneer deze ‘zegt’ “voer uw pas in”. We reageren daarop alsof er iemand is die ons dit vraagt te doen. De machine heeft het taalgebruik van ons overgenomen. En het werkt zodra het in de juiste situatie gebruikt wordt. Hier werkt de zelfstandigheid van de talige uitdrukking.

Het pad dat we hebben aangelegd nodigt ons uit om te begaan. Is het pad daarom verantwoordelijk voor ons gaan? Rekken we de betekenis van moraliteit en verantwoordelijkheid niet te veel op wanneer we deze toepassen op dingen; op niet-lichamelijke entiteiten?

De lichamelijke eenheid van subject en object

Verwevenheid, versmelting en mediatie zijn termen die Verbeek gebruikt om de relatie tussen mens en techniek te karakteriseren. Techniek medieert ons waarnemen, kennen en handelen. Dat kan alleen maar bij de gratie van onze lichamelijkheid waarin de grens tussen subject en object tussen geest en materie, tussen mens en techniek al is opgeheven. Door onze lichamelijkheid zijn we altijd al buiten en één met de natuur. We zien en zijn zichtbaar tegelijk. We delen de toetsen en de taal met ons toetsenbord. Door onze lichamelijkheid zijn we aanwezig voor de ander en drukken we – of we dat willen of niet – uit wie we zijn en hoe we tegenover die ander en de situatie staan. In de lichamelijkheid vinden we de oorsprong van de taal als uitdrukkingsmiddel en communicatiemiddel. De mens heeft beheersing over de onmiddellijke symbolische ‘senso-motorische uitdrukkingsbewegingen’ (Jan Peters, Metaphysica, 133c) waardoor deze worden tot in vrijheid gestelde tekens waarmee hij zich tot de ander kan wenden. De tegenstelling tussen de taligheid en de lichamelijkheid van het mens-zijn die Peter Sloterdijk in een reactie op Heidegger’s Brief over het Humanisme opperde lijkt dus nogal oppervlakkig.

De mens heeft altijd aan zichzelf gewerkt om zich te verbeteren. “Om mens te worden”, zeggen sommige filosofen. Door sociale technieken, alfabetisering en opvoeding, door biotechnieken, het verbeteren van voedsel en leef-omstandigheden. Zouden we wellicht de mens kunnen verbeteren door te sleutelen aan zijn lichaam, waardoor ook de geestelijke vermogens van de mens en daarmee zijn gedrag kan worden verbeterd? Nu het menselijk genoom in kaart is gebracht kunnen we gaan kijken welke genen verantwoordelijk zijn voor welke lichamelijke en psychische ongewenste afwijkingen. Human enhancement technologie als toepassing van het genomics onderzoek ligt in het verschiet. Tegenstanders wijzen op de menselijke waardigheid. Poliopatienten en armoezaaiers hebben gewoon pech. Laat de natuur en het toeval zijn werk doen. In de ogen van de religieuze mens zijn het “de uitverkoren kinderen van God” die onze steun en aalmoes verdienen. Kunnen we straks de genen in ons genoom identificeren, die verantwoordelijk zijn voor onze intelligentie, voor de menselijke waardigheid, voor Francis Fukuyama’s factor X “the one essential human quality underneath that is worthy of a certain minimal level of respect”?

Descartes scheidde subject en object, en bedacht de rationele methode van het verstandelijk denken als techniek om de kloof over te steken en tot ware kennis te komen. Objectief is datgene wat verantwoord wordt door de methode, dat wat verschijnt voor en door het instrument. De wetenschap moet objectief zijn, dat wil zeggen dat haar resultaten gepresenteerd moeten worden als resultaat van een bepaalde methode. Voor Descartes was de wiskundig methode de ideale methode om tot kennis te komen. Veel wetenschappers delen die opvatting. Kennis die nog niet in de vorm van wiskundige en programmeerbare rekenmodellen kan worden gepresenteerd is nog niet echt wetenschappelijke kennis.

“Onder methode nu versta ik de zekere en gemakkelijke regels die zo zijn dat wie er exact aan voldaan heeft, niets onwaars ooit voor waar houdt. Zo iemand komt zonder enige nutteloze vermoeienis van het denken, maar door de wetenschap stapsgewijs voortdurend te vermeerderen, tot de ware kennis van al die dingen
waartoe hij in staat zal zijn.” (Descartes, Oeuvres de Descartes, vertaling Th. Oudemans, Echte Filosofie, p. 77).

Waartoe de moderne mens in staat is dat heeft de geschiedenis ons afdoende laten zien. We moeten aan ons zelf blijven werken, maar het wordt tijd de methodes en technieken eens kritisch te bekijken op hun menswaardigheid. De stand van de techniek dwingt ons daartoe. Daarbij lijkt het me goed ons te realiseren dat problemen van de techniek geen technische problemen zijn en dus niet door middel van dezelfde methodes en denkwijzen opgelost kunnen worden als die waardoor ze zijn ontstaan. De uitdaging is een manier te vinden die de techniek overleeft.

Bronnen

Darling, K. (2012). Extending legal protection to social robots. Will projecting emotions onto objects lead to an extension of limited legal rights to robotic companions? IEEE Spectrum.

Gunkel, D. J. (2012). The machine question: Critical perspectives on AI, robots and ethics. Cambridge, MA: MIT Press

Gunkel, D.J. (2017). Mind the Gap: Responsible Robotics and the Problem of Responsibility. Ethics and Information Technology, 2017.

Verbeek, P.-P. (2008). De grens van de mens. Over de relatie tussen mens en techniek. In: Technologie en mensbeeld. Annalen van het Thijmgenootschap, jrg. 96, dl. 3, 2008.

Verbeek, P.-P. (2011). De grens van de mens. Over techniek, ethiek en de menselijke natuur. Lemniscaat, 2011.