“De centrale vraag is: wat willen we van de mens maken?” (Peter-Paul Verbeek, 2011)
“We live in an orderly moral world, or so we believe most of the time.” (Mark Coeckelbergh, 2012)
Is het goed dat een appel wanneer deze rijp is uit de boom valt?
Is het goed dat een kat muizen vangt?
Is het goed dat de mens muizen vangt?
Kan een muizenval kwaad doen?
Dit stukje gaat over de kwestie of intelligente machines morele agenten zijn. Dat wil zeggen of kwalificaties als ‘goed of kwaad doen’ toepasbaar is op wat ze doen.
Een morele agent is een zelfstandig handelende entiteit die bij zijn handelen streeft het goede te doen en het slechte na te laten. Zo’n agent zouden we intelligent, verstandig willen noemen. Kan iemand verstandig handelen en tegelijk niet het goed willen? Maar is intelligent niet hetzelfde als verstandig? Als dat zo is zouden intelligente agenten omdat ze verstandig zijn altijd moreel zijn. Tenminste als verstandig zijn moreel zijn inhoudt.
Moraliteit is een feit, een kenmerk van de natuur, zoals de behoefte aan voedsel. Dit feit demonstreert dat de natuur, en de mens in het bijzonder, meer is dan een informatie-verwerkend systeem.
Zoals de pyramide meer is dan de stenen waaruit deze door de mens is opgebouwd. Dat wat het meer is, de betekenis ervan, de ziel die erin huist, dat is de pyramide in relatie tot de mens als waardesubject. Wanneer we dat vergeten en afzien van deze vorm, door en voor de mens te zijn wat het is, heeft het ding een zelfstandigheid als pyramide die naast die van de mens staat en er van gescheiden is. Zo is het met alle artefacten, ook met de intelligente morele machines. Zonder de relatie met de mens is de machine niet meer dan een fysisch proces, of zelfs dat niet, want ook dat is al een manier waarop we in de natuurwetenschap de werkelijkheid soms opvatten: als proces.
Wie in kunstmatige intelligentie gelooft, in de vorm van intelligente ‘autonome’ machines, die denkt dat de beelden die we van de werkelijkheid creëren tevens tot diezelfde werkelijkheid behoren. De idee dat AI bestaat berust dus op een verwarring van model met werkelijkheid. En die verwarring is door ons makers in zekere zin bedoelt. De werking berust op de identificatie voor ons als gebruiker van model en werkelijkheid.
Mijn professionele achtergrond is de onderzoekwereld van de Human Machine Interaction ook wel Human Media Interaction. Daar onderzoeken en maken we methodes en technieken om intelligente (sprekende) en ‘begrijpende’ machines te maken. We maakten ‘companion robots’ voor oudere mensen. Ik ken de verschillende ‘stances’ (D.C. Dennett) die je tegenover een artefact kan aannemen. Sommige ouderen voerden een ‘gesprek’ met een robot konijn, zoals de secretaresse van Weizenbaum tot zijn verbazing een gesprek voerde met zijn Rodgeriaanse computerprogramma! Techniek werkt voor zover en zolang je er op vertrouwen kan dat het werkt en dat het bedoelt wat het zegt. Techniek berust op kennis van een betekenisvolle interactie tussen mens en situatie, waarin het als instrument bemiddelt. De situatie waarin het instrument gebruikt wordt moet overeenkomen met hoe deze door de maker bedacht is. De situatie en het instrument moeten geschikt zijn voor het gebruik. Anders werkt de techniek niet, zoals bedoeld. Dit zien we bijvoorbeeld bij een informatiebord aan de kant van de weg, waarop een plattegrond met een pijl die een punt aanwijst en daarbij de woorden “U bevindt zich hier.” Dit werkt voorzover de lezer zich in werkelijkheid op de plek bevindt die overeenkomst met de punt op de kaart. Het bord moet daarvoor staan op deze bepaalde plek. Zo moet de situatie waarin een instrument gebruikt wordt overeenkomen met die zoals van te voren bedacht door de ontwerper. Het maken van een technisch instrument houdt dan ook altijd in het medeontwerp van het gebruik en de situatie waarin het instrument gebruikt wordt. Dat gebruik kent zoals ieder menselijk handelen ook morele, ethische aspecten. De vraag is in wat voor situatie brengen we de gebruiker met dit technische middel? Welke vrijheden van handelen heeft deze nog?
In de filosofie leer je enerzijds afstand te nemen anderzijds juist jezelf als denkend en bewust subject van het denken waarin de werkelijkheid verschijnt mee te denken. Je leert aan (zelf)reflectie te doen. Dat is een lastig proces. Kennen is een relatie en relatie denken is lastig. Je vergeet dat je wat je ziet niet alleen inhoudelijk neemt zoals het is maar ook naar de vorm waarin je het opvat. Maar zonder die vaardigheid is het niet mogelijk de moderne techniek te begrijpen. Je kunt de programmeerbare machine geen recht doen door deze als een (complexe) klassieke machine te begrijpen. Net zo min als je de woorden recht doet door ze (alleen) als klanken te zien met een complexe structuur. Met een robot gaan we anders om dan met een stoommachine. met woorden anders dan met klanken.
Uiteindelijk gaat het natuurlijk niet om wat men denkt of zegt over het al dan niet morele ‘agent’ of ‘patiënt’ zijn van technische artefacten. Het gaat veel meer om hoe we met anderen, met de natuur en met de dingen omgaan. Daar werkt uiteindelijk de moraliteit.
Of, zoals de politicus Marx zijn kritiek op de filosoof Hegel verwoordde:
“Die Philosophen haben bisher die Welt nur verschieden interpretiert, es kommt aber darauf an, sie zu veränderen.” (K.Marx, Elfde ‘These über Feuerbach’)
Je moet wel eerst een tijd gedacht hebben dat je intelligente machines kunt maken, voordat je tot het inzicht komt dat zoiets een ideaal-beeld is en zal blijven zolang je er naar blijft streven. Het werken aan het inzicht in wat dit streven inhoudt is de enige therapie om ervan verlost te raken.
Het Morele en Legale Systeem
Kijk daar rijdt een tractor zo maar over een kind. Zo maar? Het kind stak zo maar over. Zo maar? En wat is dat, dat grote gebouw? Dat is de rechtbank. Daar wordt recht gesproken door een rechter. Als een agent niet volgens de ongeschreven regels acteert dan kan deze voor de rechter worden gedaagd. De rechter bepaalt of de persoon aansprakelijk is. De boer kan zeggen dat het de schuld is van de tractor, de tractor-fabriek dat het de schuld is van de software. De software-maker dat het de schuld is van de programmeur.
De rechter begrijpt het, maar hij heeft er geen begrip voor. Hij vindt het onacceptabel.
De rechter stelt de schuldvraag aan een agent. Dat moet volgens de regels een rechtspersoon zijn. Zoiets heeft een identiteit, een bestaan in de tijd. Het heeft een eigennaam, waarmee hij door anderen aangesproken wordt.
Mensen voelen zich (soms) verantwoordelijk. Dat hoort bij een persoon met een identiteit. Verantwoordelijk als schuld, voor wat ze gedaan of niet gedaan hebben in het verleden en verantwoordelijk als zorg. Ze zorgen ervoor dat ze doen wat ze beloofd hebben. Verantwoordelijkheid is wat de activiteiten van de personen bindt. Het is het cement van de samenleving. Of moet je zeggen dat de individuen door het cement pas worden wat ze zijn? Dat ze door het samenleven worden geboren. In biologische zin is dat toch zeker het geval. Waarin is het kind anders dan de boer waarvan het een kind is?
De rechter moet de rechtspersoon die gedaagd is weer op het rechte pad brengen, soms uitsluiten van de samenleving: de straf. Dit gekrioel wordt beheerst door emoties, door vreugde en verdriet.
De Uitwendigheid
“Juist in een tijd waarin de mens zich voortdurend dreigt te verliezen in zijn uitwendige gestalten, is de filosofie in de verleiding ook te proberen hem juist vanuit die gestalten te begrijpen. Dat is iets ander dan: die gestalten als zelfveruitwendigingen van de mens te begrijpen.”.
Dit schreef Louk Fleischhacker in de syllabus Wijsbegeerte van het Wiskundig Denken n.a.v. het college in het studiejaar 1975/76. Toen ik vele jaren later deze tekst nog eens las schreef ik in de kantlijn de namen Dennett en Floridi. Ik meende dat deze twee moderne filosofen van de techniek zich aan deze ‘fout’ schuldig maakten: denken vanuit het mathematische. Wat Floridi betreft: zijn methode van Levels of Abstraction die geïnspireerd is door de methodiek van het Objectgeörienteerde programmeren en het ontwerpen van technische systemen leidt al gauw tot deze gedachte. Nu, nadat ik nog eens wat meer van hem heb gelezen, betwijfel ik of Floridi zich aan deze fout schuldig maakt. Een onderzoek.
Onbetrokkenheid en uitwendigheid: het morele dilemma van de triage
Kenmerkend voor de sfeer van de uitwendigheid waarin het mathematische, technische denken zich afspeelt is de onbetrokkenheid. Aaan de hand van een recent voorbeeld probeer ik dit te verduidelijken.
Vanwege de heersende Corona pandemie en het dreigend tekort aan IC-bedden werd de ziekenhuizen gevraagd met een Nationaal Triage-Protocol te komen voor als de situatie kritiek wordt (‘code zwart’).
“Het vaststellen van selectiecriteria is complex, en vergt lastige ethische afwegingen. Tijdens een crisis is er minder tijd voor deliberatie en weloverwogen keuzen. Een goede voorbereiding mede op basis van ethische afwegingen is dus van groot belang. Daarom is het belangrijk om een protocol klaar te hebben liggen waarin ethische afwegingen voor rechtvaardige selectie van patiënten expliciet worden genoemd.” (Centrum voor Ethiek en Gezondheid).
Triage in de zin van afwegen wat voor deze individuele patient de beste zorg is en of een opname op een IC-afdeling nog zinvol is dat doen artsen al lang. “Maar wat we nog nooit hebben gedaan, is switchen van het belang van de individuele patiënt naar het belang van de bevolking.” zegt Rik Gerritsen, intensivist van het Medisch Centrum Leeuwarden in een interview in de Volkskrant (16-06-2020).
Of een COVID-19 patiënt ergens in het land wel of niet opgenomen wordt mag niet afhangen van de toevallige beschikbaarheid van een IC-bed ter plaatse of de regionaal geldende regels. Dat wordt als onrechtvaardig gezien. Het komt erop neer dat intensivisten en artsen die palliatieve zorg verlenen aan patiënten op boven-regionale, nationale, schaal moeten beslissen welke patiënt wanneer in aanmerking komt voor opname op een IC afdeling. Medici en ethici hebben samen zo’n protocol opgesteld. De keuze is allereerst gebaseerd op medische gronden. Pas wanneer er dan nog geen keuze gemaakt kan worden wordt volgens het protocol een leeftijdscriterium toegepast.
Elk ziekenhuis moet een triagist aanstellen die het beheer heeft over de nodige gegevens voor het uitvoeren van het protocol. Deze worden in een nationaal administratie-systeem opgeslagen. Daarin wordt ook bijgehouden waar IC-bedden beschikbaar zijn. Ook reeds opgenomen patiënten worden meegenomen in de afweging. Elke dag wordt dan op basis van de gegevens besloten wie in aanmerking komt voor opname en wie niet. Een boeiend ICT project dat aan een aantal stringente eisen mbt efficiëntie, robuustheid en transparantie zal moeten voldoen. Maar daar gaat het hier niet om. Hier gaat het om de ethische kant.
De als triagist aangestelde dokter mag nooit een behandelrelatie met één van de te verkiezen patiënten hebben. Zo staat in het protocol. Waarom niet? “Anders zal zij altijd voor haar patient kiezen, juist vanwege die behandelrelatie“. Maar: “Als arts zul je en moet je ook altijd voor je eigen patient ‘strijden'”. Zo vertrouwde Sabine Netters, van het centrum voor palliatieve zorg in Zwolle mij toe.
In Gerede twijfel: over de rol van medische ethiek in Nederland (1993) schrijft de wetenschapsfilosoof Gerard de Vries:
“De taak van de ethicus is: “Inzicht geven in gevoelens, het laten zien van de conflicten en tragedies en het getuigenis afleggen van de verscheurdheid die artsen, ouders, verpleegkundigen en vrienden doormaken.”
Dit zijn dus precies die aspecten aan de relaties die de patiënt heeft en die zijn identiteit uitmaken waarvan in het protocol voor de toekenning van IC-bedden in tijden van Code Zwart niet alleen wordt afgezien, maar waarvan ook uitdrukkelijk wordt gesteld dat er van moet worden afgezien. De triagist die bemiddelt tussen de patiënten van het ziekenhuis en het informatiesysteem van het landelijk platform mag niet persoonlijk betrokken zijn bij de patiënten om wie het gaat.
Die “eigen patiënt” waarbij de behandelend arts persoonlijk betrokken is, staat in schril contrast met het ‘informatie-pakketje’ in het nationale computersysteem dat de intensivist volgens de standaard van het triage protocol over deze patiënt heeft ingevoerd en op grond waarvan het systeem berekent of de zorg aan deze patiënt zal moeten worden gestopt of niet. Overigens moet vermeld worden dat er voorafgaand aan ‘Code Zwart’ en aan het inwerking treden van het triage-protocol al heel wat vooraf is gegaan voor de meeste patiënten. Waarbij het vaak nog maar de vraag is of de patiënt dit behandel-traject nog wel in wil.
Afgezien daarvan. We zien hier hoe de wil een ‘rechtvaardige’ beslissing te nemen die die aspecten in een gegeven situatie die we als ‘toevallig’ en ongewenst zien moet uitsluiten leidt tot een situatie waarin de ‘betrokkenheid’ bij ‘de eigen patiënt’ zo’n rechtvaardig besluit in de weg staat. En tevens hoe dit conflict ervaren wordt zodra het er op aankomt en door de intensivist aan de behandelend arts het besluit: de uitkomst van het toepassen van het protocol op de gegevens meegedeeld moet worden. Betrokkenheid bij de eigen patient wordt als negatief gezien, in zoverre het betrokkenheid bij de samenleving verhindert. Maar die samenleving bestaat toch uit de individuen die er aan deel hebben!
De intensivist wordt gevraagd niet alleen te denken aan zijn “eigen patient” zoals Gerritsen van het MCL stelde maar een protocol op te stellen voor alle potentiële patiënten. Dit vraagt een andere vorm van betrokkenheid van de intensivist. Hij of zij moet de lastige afweging maken tussen de betrokkenheid bij het algemeen belang en bij het belang van de ‘eigen’ patiënt. Hij moet afstand doen van een deel van zijn eigenheid.
Morele besluiten moeten altijd gemaakt worden in een dergelijke conflictsituatie, waarbij goed en kwaad tegen elkaar moeten worden afgewogen. De vraag is welke rol de instelling van het triage-protocol hierin speelt. Wat voor neveneffecten heeft het op de zorg en vooral op de zo wezenlijke ‘betrokkenheid’ van de zorgverlener bij de ‘eigen patiënt’? Is deze informatisering van de besluitvorming, welke distantie, abstractie en onbetrokkenheid inhoudt, op zich zelf al niet onrechtvaardig?
Hoe het ook zij, de technische ontwikkeling heeft intelligente artificiële systemen opgeleverd die steeds ‘autonomer’ besluiten nemen. Het Nationale Triagesysteem is een voorbeeld. Zelfsturende auto’s, zelf-sturende onbemande gevechtsvliegtuigen zijn andere voorbeelden. Het zijn systemen die in situaties terecht komen waarin ze zelf moeten besluiten wat te doen. Dat de mens uit de loop (het reactieve systeem) wordt gehaald is omdat deze de reaktiesnelheid van het systeem nadelig beïnvloedt: er moet zeer snel beslist worden of de drone een bom laat vallen of niet. Zonder een snel functionerend computernetwerk zou het Nationale Triage-Protocol ondenkbaar zijn.
Zijn dit morele agenten (zoals de mens een morele agent is)? Maar wat betekent dit eigenlijk?
Computer Ethics
In de context van Computer Ethics is het van belang na te denken over de moraliteit van ‘intelligente’ systemen vanwege het feit dat we ze zien als handelende agenten. Wanneer is een systeem een agent en wanneer een morele agent? Floridi en Sanders hebben een poging gedaan deze vragen te verhelderen. Ze zijn geïnspireerd door formele methodes uit de wereld van het (object-geörienteerd) programmeren.
Hun methode heeft veel invloed op het denken over moraliteit van technische dingen.
Is dit een bevredigende aanpak? In hoeverre getuigt hun aanpak van wat Fleischhacker noemt “de verleiding te proberen de mens vanuit de uitwendige gestalten te begrijpen”. Kunnen we ‘moraliteit’ wel definiëren vanuit een ‘onbetrokken’, ‘uitwendig’ standpunt?
Veelzinnigheid van ‘moreel’
De term ‘onbetrokken’ is veelzinnig en kan zowel verwijzen naar een sociaal-psychologische houding als naar een filosofische categorie. Fleischhacker doelt op het laatste wanneer hij dit in verband brengt met de ‘sfeer van de uitwendigheid’. Het verwijst naar de Cartesiaanse scheiding tussen het kennend subject (cogito) en de werkelijkheid die als pure uitgebreidheid (res extensa) wordt opgevat.
Het onderscheid tussen de twee onderscheiden betekenissen van ‘betrokkenheid’ is van belang. We maken hetzelfde soort onderscheid ook wanneer we enerzijds a-sociaal gedrag tegenover sociaal gedrag zetten terwijl we anderzijds erkennen dat asociaal gedrag ook sociaal gedrag is. Dat kan alleen in zoverre we met ‘sociaal gedrag’ twee verschillende dingen bedoelen. Het zelfde geldt voor de paren ‘moreel’ en ‘amoreel’: amoreel gedrag is ook moreel gedrag, maar niet in dezelfde zin als waarin het gedrag is dat niet aan de morele normen voldoet. Moraliteit is een aspect vanuit een perspectief op de werkelijkheid.
Het mathematisch perspectief, de denkhouding van de wiskundige, staat orthogonaal op dat van de moraliteit. Ze is a-moreel in die formele zin dat moraliteit niet aan de orde is. Maar daarom is in die zin deze houding tevens inhoudelijk immoreel.
In het vervolg zullen we zien dat dit onderscheid van belang is voor de interpretatie van het voorstel van Floridi en Sanders.
Wat zijn Levels of Abstraction?
In het artikel “On the morality of artificial agents” presenteren Luciano Floridi en J.W. Sanders (J&S) een totale revisie van het begrip ‘morele agent’ (in de zin van moreel agentschap) zodanig dat artificiële agenten (AA), zoals machines, robots en dergelijke daar ook onder kunnen vallen.
Artificiële agenten zijn entiteiten die in morele situaties betrokken (‘involved’) kunnen zijn en die daarin morele acties uitvoeren; acties die in morele zin goed of slecht kunnen zijn. ‘De techniekfilosoof Verbeek spreekt van ‘moralizing technology’, een aardige dubbelzinnige term die precies de vraag oproept die hij aan de orde wil stellen: is techniek nu het object of het subject van het moraliseren?
De discussie over moraliteit van artefacten, als subject, komt vaak terecht bij de vraag of het ding een vrije wil heeft, of het bewustzijn en intentionaliteit heeft, of het verantwoordelijkheid kan nemen en eventueel of het strafbaar is, dat wil zeggen of het gestraft kan worden in het geval het onrecht doet aan anderen of nalatig is.
“Morality is usually predicted on responsibility.”
Floridi en Sanders beogen dit soort lastige vragen te omzeilen door een methode te geven voor het specificeren van ‘mind-less morality’. Ze openen daarmee volgens hen voor de ‘intelligente’ systemen (AI) de ruimte tussen aansprakelijk zijn en verantwoordelijk zijn. Een intelligente robot kan volgens hen best aansprakelijk zijn ook al is er van verantwoordelijkheid geen sprake.
Cruciaal in hun uitgesproken technische aanpak is de Method of Abstraction voor het analyseren van de Level of Abstraction (LoA, het abstractie-niveau) waarop de agent wordt gezien.
Of een entiteit een agent is en of het een morele agent is hangt af van de LoA waarop het gedrag wordt geanalyseerd.
Agenten en dus ook morele agenten zijn bepaalde transitiesystemen.
Een transitiesysteem is een systeem dat zich op ieder moment in een bepaalde discrete toestand bevindt. Veranderen is veranderen van toestand. Dat gebeurt volgens de op dat moment geldende transitieregels van het systeem. Een act (handeling) is een inwerking op de omgeving.
Het systeem als construct dat zich in een toestand bevindt is de manier waarop de moderne technische wetenschap verandering modelleert. De oorzaak van de veranderingen is iets van buiten. De regels beschrijven de toestandsovergangen. Een onderscheid tussen eigen oorzaak (van binnen uit) of van buiten kan niet zinvol gemaakt worden. Er worden dan deelsystemen onderscheiden die op elkaar in werken. Wat deze delen tot een geheel maakt; dat is van buiten af bepaald.
Als criteria voor agentschap gelden: interactiviteit (‘reageren op een stimulus door van toestand te veranderen), autonomie (het vermogen van toestand te veranderen zonder stimulus) en aanpasbaarheid (het vermogen de regels van het systeem te veranderen).
Het LoA bepaalt de interface van het systeem met de omgeving. Het bestaat uit een verzameling van ‘observables’. Een ‘observable’ is een getypeerde variabele, een entiteit die verschillende waarden kan aannemen van een bepaald type. (In object-georienteerde programmeertalen zoals Java, is een object van de klasse Observable een object dat aan zijn geadministreerde Observers een signaal kan sturen wanneer de toestand ervan veranderd is.)
Gegeven een bepaald LoA wordt nu een morele agent als moreel goed beschouwd wanneer al zijn acties moreel goed zijn. Een actie heet moreel van aard (“morally qualifiable”) als het iets kan veroorzaken dat in morele zin goed of slecht is.
Een actie is moreel goed als de observeerbare variabelen geen van alle een gestelde morele grenswaarde overstijgen. Een agent is moreel slecht (evil) als een actie ervan moreel niet goed is.
Merk op dat de betekenis van moraliteit wordt voorondersteld. Zoals de wiskundige kansrekening niet het kansbegrip definieert maar er een formele definitie van geeft, zo wordt hier moreel zijn gedefinieerd zonder het begrip zelf te verhelderen.
Dat is kennelijk ook niet de bedoeling van de auteurs.
De LoA van de Turing Game
Ter illustratie van het concept Level of Abstraction wordt de Turing Game aangehaald. Met dit spel beoogde Alan M. Turing de vraag of een machine intelligent ‘is’ zodanig precies te specificeren dat deze beantwoord kan worden. De term is namelijk zo vaag dat er heilloze discussies ontstaan waar je toch nooit uitkomt. Het spel heeft de vorm van een dialoog tussen een mens en een systeem via een interface (kanaal). De mens mag alle mogelijke vragen stellen en moet dan raden of hij met een mens of met een machine een dialoog heeft gevoerd. De gesprekspartner van de mens, die natuurlijk achter een scherm zit en alleen via een toetsenbord communiceert mag de menselijk speler misleiden. Wanneer de mens niet in staat is de juiste keuze te maken dan kan hij kennelijk de machine intelligentie niet van de menselijke intelligentie onderscheiden. De conclusie is dan dat de machine intelligent genoemd kan worden.
Op analoge wijze wordt door Floridi en Sanders als het ware een morele variant van de Turing Game voorgesteld om te bepalen of een agent een morele agent is.
Het voordeel van de Method of Abstraction is volgens de auteurs dat er een helder onderscheid gemaakt wordt tussen accountability (aansprakelijkheid) voor een morele actie en verantwoordelijkheid. Agents kunnen aansprakelijk zijn terwijl ze niet verantwoordelijk hoeven te zijn. De moeizame discussie over de kwestie of artificiële agenten (AAs) verantwoordelijk gehouden kunnen worden wordt zo omzeild.
Als op een bepaald LoA er geen verschil bestaat tussen Jan en een aardbeving, dan wordt gezegd dat de LoA te abstract is voor het maken van dit onderscheid. Waarom? Omdat, zo zeggen de auteurs, “Earthquakes, however, can hardly count as moral agents.” (p. 9).
Dit is opmerkelijk. Kennelijk wordt inzicht in het onderscheid tussen een morele agent en een niet-morele agent al voorondersteld! Het is kennelijk vanzelfsprekend dat de lezer de opvatting van de auteurs dat aardbevingen geen morele agenten zijn met hen deelt ! Maar op grond waarvan? Ook de grenswaardes van de observables op grond waarvan besloten wordt of een actie moreel goed of slecht is moeten door de mens vastgelegd worden. Op grond waarvan? Voor de bijzondere klasse van morele agents die uit mensen bestaat geldt volgens F&S dat deze (nog) niet volledig als transitiesysteem door de wetenschap gemodelleerd kan worden. (p. 20). De grenswaardes zijn volgens F&S in het algemeen slechts “partially quantifiable and usually determined by consensus”.
Of een gebruiker een software systeem als morele agent opvat hangt volgens F&S af van de LoA. Een goede illustratie is het verschil in de wijze waarop een programmeur zijn computer beschouwt als deze het test en hoe de eindgebruiker die een applicatie of een robot heeft gebruikt dit beschouwt.
D.C. Dennett onderscheidt drie mogelijke houdingen ( ‘stances’ ) die we tegenover een ding kunnen aannemen van waaruit we een fenomeen, een gebeuren verklaren. In de physical stance zien we de activiteit als een wetmatig verklaarbaar fysisch proces. In de intentional stance daarentegen als een bedoelde handeling. In de design stance wordt een fenomeen gezien als te verklaren uit het ontwerp dat er aan ten grondslag ligt.
In de houding die de gebruiker tegenover de sprekende automaat aanneemt beschouwt hij deze als een agent die hem iets vraagt (“Insert your security code”) of advies geeft (“Take left at the crossing”). Hoewel de gebruiker weet dat deze systemen geen mensen zijn nemen ze het gedrag alsof ze dat zijn. Het concept van de sprekende machine ‘werkt’ omdat en voor zover de gebruiker dit ‘gedrag’ herkent als zinvol in de gegeven situatie. Voor de gebruiker is de machine een black box. Voor de reparateur van de sprekende robot is het ding geen intentionele machine, maar een programma dat eventueel gecorrigeerd moet worden. In termen van de analyse van F&S bekijken gebruiker en programmeur de agent volgens een andere LoA.
Onderzoek heeft aangetoond dat mensen de neiging hebben computers als ‘social agents’ te benaderen. Ze gaan er zo mee om. Wat niet wegneemt dat wanneer je ze expliciet vraagt of ze dit ook zijn, ze het ontkennen. Het is precies het doel waarmee deze systemen gemaakt zijn. Zo werken ze, alsof het sociale agenten zijn, zoals mensen. Daarin zit precies hun bruikbaarheid. Maar die is natuurlijk begrensd door de stand van de techniek. En door de verbeeldingskracht van de mens die ermee omgaat.
F&S zien het als een voordeel van hun methode dat ze kunnen spreken van een morele agent zonder dat deze een intentionele toestand hoeft te hebben. Moraliteit wordt aan observeerbare kwaliteiten gemeten. Hun aanpak veronderstelt dat we op één of andere manier al weten wat een actie moreel goed of slecht maakt. Wat dat is daarover zeggen F&S niets.
Hun analytische op de methode van de computerprogrammeur gebaseerd methode kan dus bezwaarlijk als filosofie worden beschouwd. Mocht men dat toch pretenderen dan is het op zijn best een filosofie van het uitwendige karakter dat lijdt aan de daarvoor typische ‘onbetrokkenheid’. In dat geval hebben Floridi en Sanders niet aan de verleiding waar Fleischhacker ons op wees kunnen weerstaan, de verleiding de werkelijkheid vanuit het gezichtspunt van de uitwendigheid te begrijpen.
Het zal inmiddels wel duidelijk zijn waarom dit niet werkt.
Morele kwesties zijn levenskwesties. Anders dan een technische systeem kan een levend organisme niet als een transitie-systeem worden beschouwd zonder juist van het leven te abstraheren. Een systeem heeft een grens die van buiten af gesteld is. Kenmerkend voor de levende organismes is juist het gegeven dat de grens niet van buiten maar door het organisme zelf wordt bepaald.
Morele agenten en morele patiënten (agency vs patiency)
Agents “can be conceived of as moral patients (as entities that can be acted upon for good or evil) and also as moral agents (as entities that can perform actions, again for good or evil).”
Met het onderscheid tussen aansprakelijkheid en verantwoordelijkheid dat F&S maken gaat gepaard een onderscheid tussen moral agency en moral patiency. Als een agent moreel verantwoordelijk is dan kan deze aangesproken worden en eventueel worden gestraft. Dat heeft voor robots geen zin, maar voor mensen vinden we dat meestal wel zinvol. Zo’n morele agent is dus ook altijd een moral patient.
Misvattingen
In “Some misunderstandings about the moral significance of technology” merkt Peter-Paul Verbeek op dat de bewering dat een technisch artefact betrokken is in moreel agentschap (‘involved in moral agency’) verkeerd wordt verstaan alsof zo’n technisch artefact dan ook op zich zelf een morele agent zou zijn.” (Verbeek, 2014)
Is het nu zo dat Floridi en Sanders specificeren wat een morele agent op zichzelf is? En creëren ze daarmee op zijn minst niet het misverstand waarvoor Verbeek waarschuwt? In de visie van Verbeek die gebaseerd is op ‘mediation theory’ is een techniek een mediator die min of meer de relatie tussen mens en zijn wereld bepaalt. Mens en instrument vormen samen een ‘hybride entiteit’. De verrekijker, de bril, de radiotelescoop, de microscoop, de echoscopie, de televisie, ze zijn niet slechts middelen om beter te kijken, maar ze veranderen het kijken zelf en de relatie van de mens tot de wereld die bekeken wordt. Het nog ongeboren kind dat door echoscopie al in detail aanwezig wordt gemaakt, maakt het mogelijk ver voor de geboorte het kind diagnostisch te onderzoeken op afwijkingen. De techniek maakt dingen mogelijk die eerder niet aan de orde waren. Ze breidt onze vermogens uit. Daarmee creëert ze nieuwe morele situaties. Moraliteit is in die zin een ‘co-productie’ van mens en techniek. Moraliteit bepaalt wat we mogen.
Morele status als relatie denken
Ook Mark Coeckelbergh (2012,2014) wijst op het feit dat een technisch artefact, zoals een robot, een relatie tot de mens is. Die relatie kan op verschillende manieren worden uitgedrukt en ervaren. We verhouden ons tot het artefact als ‘gebruiker’ (bij het hanteren van gereedschap), als slaaf of onderdeel van een machine, als controleur van het werk dat de robot verricht, als programmeur of als compagnon. Sommige mensen, kinderen en ouderen zien de robot in de vorm van een konijn of zeehondje als een vriendje of als iets waarvoor ze moeten zorgen.
De vraag is niet welke morele status we toedichten aan deze technische artefacten op grond van een aantal filosofische criteria, volgens welke het ding een aantal eigenschappen moet hebben. Zoals over een vrije wil beschikken, autonoom zijn, tot interactie in staat zijn, kunnen leren, etc.
Floridi en Sanders gaan nog uit van dit standaard idee over moraliteit. Ook al proberen ze via een ‘conceptual trick’ een oplossing te vinden voor de vaagheid van deze filosofische criteria. Hun poging agency te definiëren middels een transitiesysteem berust op een verwarring van het systeem en de beschrijving ervan. F&S proberen zelf-reflexiviteit op een mathematische wijze tot uitdrukking te brengen. De identificatie van het systeem als een toestanden-automaat met de beschrijving van zijn werking, dat is van wat het in wezen is, zijn functionaliteit: een verzameling van toestandsovergangsregels is inderdaad een ‘conceptual trick’. De variabele die gebruikt wordt om een eigenschap van het systeem wiskundig te beschrijven is nu eenmaal niet een eigenschap van het systeem dat er door gemodelleerd wordt.
Het is een verwarring die we vaak tegenkomen in het denken over intelligente systemen. Alsof het beeld van de werkelijkheid restloos deel uitmaakt van die werkelijkheid zelf. De Belgische kunstenaar Magritte heeft als geen ander in zijn werken op deze verwarring gewezen. Zie bijvoorbeeld zijn ‘la condition humaine’
Ik meen dat Floridi’s metafysische “Esse est informati” uitdrukking is van een dergelijke verwarring. Alsof het zijn zichzelf uitspreekt met dat het zich toont. Een identificatie van Wittgenstein’s ‘zeigen’ en ‘sagen’.
Het probleem met deze wijze van denken over informatie is dat er een onderscheid gemaakt wordt tussen informatie en ware informatie, waarbij het eerste als niet ware informatie niet meer als informatie kan worden opgevat. Floridi en ook Mingers meenden tot deze opvatting te moeten komen als oplossing van de Bar-Hillel-Carnap paradox. Deze berust echter op dezelfde verwarring als die welke schuilt in de poging van F&S om een moreel agent als transitiesysteem met specifieke kenmerken te karakteriseren. Het model wordt als onderdeel van de werkelijkheid gezien. Formele modale kennis, geloof en informatie-logica’s gaan uit van een niet-interactief kennis-concept. Alsof kennis iets is dat buiten de interactie tussen mensen en wereld bestaat. Alsof informatie buiten de sfeer van de intersubjectiviteit en communicatie kan bestaan en gedacht kan worden. Er wordt over ‘ware’ kennis en over ‘ware’ informatie gesproken alsof iemand of iets de waarheid in pacht heeft, ook al wordt erkend dat het nooit een bepaald individu kan zijn.
De verwarring vindt wellicht haar oorsprong in de materiële voorstelling van de machine die als onderdeel haar eigen programma bevat.
De foto gemaakt in museum De Twentse Welle toont een weefmachine. Het programma voor het weefpatroon wordt ingevoerd door middel van het printboek met gaatjes. Dit programma beschrijft echter niet de weefmachine zelf. Het beschrijft niet hoe feitelijk het fysische mechaniek ervoor zorgt dat wat wij als ‘instructies’ zien worden ‘uitgevoerd’. (Ik gebruik hier aanhalingstekens om aan te geven dat het om de vorm gaat die het voor ons als maker van het systeem heeft. D.C. Dennett zou hier zijn terminologische ‘soort van’-operator gebruiken.)
“Should we give moral standing to machines?“
Coeckelbergh (2012, 2014) doet afstand van de standaardmethode volgens welke over deze vraag nagedacht wordt.
“Changing moral thinking means changing a form of life—including its linguistic, social, and technological dimensions. Robots are already part of our form of life, and this should be taken into account if we embrace the project of paradigmatic change in moral thinking. If I am right about the conditions of possibility of moral change, then whether or not such a project succeeds is itself dependent on how our relations with robots will change.” (Coeckelberg, 2014)
In welke zin robots al “parts of our life” zijn dat is weer dezelfde vraag. Dat moraliteit niet in de eerste plaats een theoretische constructie is maar iets dat we moeten uitoefenen in het leven dat we leven, daarmee zullen we toch moeten leven.
Identiteit
Aansprakelijkheid en verantwoordelijkheid veronderstellen identiteit. Een persoon kan niet aansprakelijk zijn als hij niet zichzelf was op het moment dat hij een ongeval veroorzaakte. Een rechtspersoon wordt geacht over een zekere periode dezelfde te zijn. Het is de vraag in hoeverre de Staat der Nederlanden verantwoordelijk is voor gevolgen van haar politieke opstelling ten tijde van de Gouden Eeuw.
Wat is de identiteit van een systeem? Die vraag wordt door Floridi en Sanders niet gesteld. Het is een belangrijke vraag waarvan het antwoord ons kan bevrijden van de vruchteloze pogingen moraliteit te denken zonder betrokkenheid.
Het Shannon Communicatie-model dat ten grondslag ligt aan de technologische analyse en constructie van het begrip morele agent door Floridi en Sanders doet het intersubjectieve en het lichamelijk karakter van de menselijke communicatie – en daarmee ook die tussen mens en artificële artefacten – tekort.
Ze zien die communicatie als een proces waarbij een morele agent een morele actie adresseert aan een morele patient. Daarbij zijn deze twee formele rollen in een interaktie. Sommige entiteiten kunnen beide rollen vervullen, anderen kunnen slechts de rol van morele patient spelen. De morele handeling wordt dus als een object beschouwd.
Hoe zijn in de menselijke communicatie (mededeling) beide subjecten betrokken. Neem het voorbeeld van het geven van een kado aan iemand. De gever geeft daarbij niet alleen het kado, maar ook het geven van het kado, aan de ontvanger. Deze ontvangt het kado als gegeven door de gever en met het accepteren ervan vervolmaakt hij de concrete akt van het geven. De ontvanger voegt dus iets wezenlijks toe aan het geven door de gever zijn acceptatie van het gegeven te geven. Het gegeven kado is meer dan het materiële iets, het heeft de kwaliteit van gegeven te zijn door de persoon van de gever. Hieruit blijkt dat beide subjecten in deze intersubjectieve akt zowel de rol van gever als van ontvanger zijn. En dat gebeurt niet in afzonderlijke akties maar in het vervolmaken van de ene akt van het mededelen. Op dezelfde manier zijn bij een morele situatie de betrokken subjecten allen zowel agent als patient van de morele act.
Dat blijkt ook als we kijken naar de functie van het straffen van iemand die kwaad heeft gedaan. De enige filosofische geldige grond van de straf is de vergelding. In het straffen van de schuldige tonen we respect voor de schuldige als vrij, verantwoordelijk persoon. (Hegel) Opdat de straf rechtmatig is, schrijft de wet voor dat de schuldige in staat is tot schuldbesef, tot moreel besef. Niet de daad is strafbaar, ook de dader moet strafbaar zijn. Dieren zijn niet strafbaar in de zin dat de wezenlijke fiunctie van de straf namelijk vergelding te zijn, op het dier van toepssing is. Dieren straffen we omdat we denken dat ze daarmee afgericht worden en bepaald concreet gedrag afleren. De straf moet rechtvaardig zijn. Het kind straffen we omdat we daarmee het moreel besef vormen. Het straffen is onderdeel van de opvoeding van het kind. We zien het kind daarbij als potentieel strafbaar, moreel subject. En dat houdt in zowel in staat tot het doen van dingen die in onze ogen niet goed zijn, als in staat tot het besef dat het niet goed is wat het gedaan heeft en daarom gestraft wordt. Het kind heeft recht op uitleg, waarom het niet goed is wat het heeft gedaan. Dieren hoeven we niets uit te leggen. Met dieren communiceren we veel directer.
Floridi;s informatie-begrip lijdt aan het zelfde technologische euvel van de objectivering alsof het mededelen van informatie zoiets is als het geven van een presentje. De kwaliteit van de informatie wordt echter door alle betrokken subjecten, intersubjectief, in een interaktie bepaald. Wanneer Floridi stelt dat informatie alleen informatie is wanneer deze waar is, dan stelt hij zich op buiten de interaktie waarin informatie gedeeld wordt. Vanuit zo’n Archimedisch standpunt meent hij te kunnen stellen wat ware informatie en dus echte informatie is. Eigenlijk is dit het standpunt van de Ideale Rechter die uiteindelijk moet bepalen wat waar is en wat niet, wat strafbaar is en wat niet. Uit de vele gerechterlijke dwalingen blijkt dat de Ideale Rechter niet bestaat. Ook de rechter kan slechts een voorlopige uitspraak doen over wat ware en wat onware informatie is, wat feiten zijn en wat ‘alternatieve feiten’ zijn.
Wat de analyse van F&S oplevert is aandacht voor het feit dat onze artefacten fouten kunnen bevatten en in sommige situaties niet doen wat we ervan hadden mogen verwachten, waardoor ze kwaad doen in het gebruik. Deze artefacten worden op voorstel van F&S opgenomen in de orde van artificiële morele agenten (AAs). Ze zijn niet strafbaar, want ze hebben geen moreel besef en zijn ook niet ter verantwoording te roepen. Maar ze zijn wel aansprakelijk, accountable; ze moeten gereviseerd en eventueel vernietigd worden. Mensen die deze AAs toch gebruiken of hun gebruik aanmoedigen, er reklame voor maken, die moeten gestraft worden. Ook sociale robots vallen hierinder.
Iedere vergelijking in morele of juridische zin tussen sociale robots en andere dan menselijke natuurlijke wezens (‘non-human animals’ en andere natuurdingen: rivieren, landschappen) gaat mank, in die zin dat aan het feit dat deze laatste soms bij wetgeving bescherming verdienen geen rechten voor robots, dan wel voor een bijzonder, uniek, exemplaar van deze soort, kan worden ontleend.
Bronnen
Mark Coeckelbergh (2012), Growing moral Relations: critique of moral status ascription. Palgrave MacMillan, 2012.
Mark Coeckelbergh (2014) The Moral Standing of Machines: Towards a Relational and Non-Cartesian Moral Hermeneutics. Philos. Technol. 27, 61–77 (2014).
Luciano Floridi, Sanders, J. On the Morality of Artificial Agents. Minds and Machines 14, 349–379 (2004).
Clifford I Nass, Jonathan Samuel Steuer, Ellen R Tauber (1994). Computers are social actors, CHI ’94: Proc. SIGCHI Conf. on Human Factors in Computing Systems, April 1994.
Peter-Paul Verbeek (2011). De grens van de mens: over techniek, ethiek en de menselijke natuur. Lemniscaat, 2011.
Peter-Paul Verbeek (2014). Some misunderstandings about the moral significance of technology. In: The Moral Status of Technical Artefacts. Peter Kroes en Peter-Paul Verbeek, eds). Springer, 2014.
Gerard de Vries (1993). Gerede twijfel: over de rol van medische ethiek in Nederland. Amsterdam, De Balie, 1993
