De autonomie van de killer robots

“Het zijn mensen die doden, niet wapens”. Marjan Slob vindt deze kreet van de National Rifle Association maar onzin. (VK 26-02-2018).  Het argument is dat de dader helemaal niet meer lijfelijk betrokken is bij het gevecht. De commandant die achter beeldschermen de autonome killer robots volgt loopt niet het risico zelf gewond te raken. Toch ben ik het niet eens met Marjan Slob.

Het is een veel voorkomende voorstelling die mensen hebben wanneer het gaat om de vraag naar de mogelijkheid van autonome en intelligente technische systemen: men vraagt bijvoorbeeld wie slimmer is: de mens of de machine, of wie er verantwoordelijk is voor de soms ongewenste gevolgen van inzet van autonome wapens. Wie echter de mens tegenover de techniek plaatst en ze in gedachten van elkaar scheidt die mist een wezenlijk kenmerk van zowel de mens als de techniek namelijk dat deze slechts in verhouding tot elkaar bestaan. Zonder de mens is de machine immers niet meer dan een fysisch gebeuren. En zonder mechanismen en automatismen zouden wij niet kunnen bestaan.

De moeder is moeder in relatie tot haar kind. Wie het kind los weekt van de moeder die mist het wezen van de moeder relatie.  Zo is het ook met de techniek: het is wat het is in relatie tot de mens die er gebruik van maakt. Techniek die niet meer als dienstbaar instrument gezien wordt is geen zinvolle techniek meer. De denkwijze die Marjan Slob dus terecht ziet als bedenkelijk aan de techniek – in het bijzonder de wapentechnologie – die zelfde denkwijze past ze toe wanneer ze nadenkt over het probleem van de techniek. Terwijl de problemen waarvoor de techniek ons plaatst een andere niet technische manier van denken vragen.

Wapentechnologie weekt de act van het doden los van het lichaam van de dader, zegt Marjan Slob.  Hoe intelligenter en zelfstandiger de technologie wordt des te meer verdwijnt de mens van het toneel.  Het is de ultieme verwerkelijking van een dualisme van lichaam en denken dat wel aan Descartes wordt toegeschreven.

Het is een abstracte wiskundige wijze van denken die eerst succesvol in de natuurwetenschappen was en later de hele wetenschap ging domineren. In de gedragswetenschap worden de uiterlijke vormen van communicatief gedrag bestudeert los van de persoon die zich gedraagt om deze vervolgens in de vorm van avatars en robots te simuleren.

Vanessa Evers is social robotics expert in Twente:

“Robots kunnen we menselijk gedrag laten herkennen door in een computer een enorme hoeveelheid plaatjes en videobeelden van gezichtsuitdrukkingen voor emoties in te voeren’’, legt Evers uit. “Plaatjes met een bepaalde stand van de mondhoeken en de ogen, die de robot herkent als lachen, verdriet, stress, woede, gecombineerd met stemgeluid. Na een tijdje heeft een robot dat in zijn zelflerende systeem opgeslagen en weet hij hoe daarop te reageren.’’

Bekend is het schilderij dat Margritte tekende van een pijp, waaronder hij de tekst schreef: “Ceci ce n’est pas une pipe.”  We zeggen “dat is een pijp” en wijzen op een tekening die een pijp voorstelt. Het is een wijze van spreken. Net zo is het slechts bij wijze van spreken dat een “robot iets in zijn zelflerende systeem heeft opgeslagen.”  Een robot heeft net zo min een geheugen als een stukje papier waarop we een boodschappenlijstje hebben geschreven een geheugen heeft. En wanneer je zegt dat de een het heeft dan moet je ook zeggen dat de ander het heeft.

In de VK van 2 september ging het over “hoe robots ons kunnen helpen in tijden van oorlog”.  Sietse Bruggeling bespreekt daar de toepassing van Kunstmatige Intelligentie in autonome wapensystemen (killer robots, zoals bewapende drones). De ministers van defensie en buitenlandse zaken vroegen de CAVV (de advies commissie voor veiligheid) om advies wat we daar mee aan moeten, op grond waarvan ze besloten het ontwikkelen van deze wapens niet uit te sluiten. Bewapende drones worden al lang ingezet (o.a. door Isreal tegen de Palestijnen; door de VS in de strijd tegen IS) .  Volgens humanitair oorlogsrecht moeten deze drones militaire doelen kunnen onderscheiden van burgerdoelen.

De suggestie van Bruggeling is dat autonome wapensystemen  nodig zijn omdat er soms snel beslist moet worden en dan moet je de “human uit de controle loop” halen. De mens is te traag. Bovendien zouden deze precisiewapens humaner zijn omdat ze minder “collateral damage” veroorzaken (een onaangenaam bijverschijnsel  is dat er onschuldige burgers slachtoffer worden van aanvallen op vijandige stellingen die vlakbij een kleuterschool of hospitaal zijn gevestigd.)

Maar hoe “autonoom” zijn die killer robots en autonome auto’s eigenlijk? Het punt is dat computers die emoties of homo’s of potentiele terroristen kunnen herkennen niet bestaan. En ze zullen ook nooit bestaan. Te zeggen dat ze bestaan is net zo onzinnig als te beweren dat er computers bestaan die beter kunnen rekenen dan een mens.  Wie beoordeelt dat en wie heeft die computers gemaakt?

Ik ben het met Daniel Dennett eens wanneer hij zegt dat het gevaar van AI  niet zit in robots die taken, beslissingen en de macht van de mens over zouden nemen. Het echte gevaar zit hem in de mensen die denken dat we dit soort dingen wel aan de computers en robots kunnen overlaten.  Want die computers die snappen er namelijk helemaal niets van.  Die robots die weten helemaal niet wat ze doen en waar het om gaat.  Of we deze AI artefacten als autonome systemen willen opvatten, dat is een keuze die wij maken. Daar kan geen enkele technische ontwikkeling ook maar iets aan veranderen.  Wetenschappers en journalisten moeten beter op hun woorden letten en geen broodje aap verhalen verspreiden. Daar worden we niets wijzer van.

Machine learning maakt gebruik van data, van dingen die geweest zijn. Technologie die gebaseerd is op deze data en die toepast in nieuwe situaties ontkent dat er nieuwe situaties bestaan. Als rechters moeten we verantwoorden dat het terecht was om in een specifieke concrete situatie deze technieken en statistieken te gebruiken. Dat kan een machine per definitie niet overnemen omdat het rechtspreken vooronderstelt een gevoel voor waar het om gaat en dat is de machine vreemd. Machines zijn geleerd, maar begrijpen niet waar het om te doen is.

De wetgever worstelt met het probleem van de verantwoordelijkheid.

Wat is een autonoom wapen? Human Rights Watch (in: Mind the Gap: The Lack of Accountability for Killer Robots, 2015):

  • Fully autonomous weapons are weapons systems that would select and engage targets without meaningful human control. They are also known as killer robots or lethal autonomous weapons systems. Because of their full autonomy, they would have no “human in the loop” to direct their use of force and thus would represent the step beyond current remote-controlled drones.

De Nederlandse ministers Koenders en Hennis-Plasschaert  vroegen (april 2015) de CAVV wat we daaronder moeten verstaan: “betekenisvolle menselijke interventie’’.  De CAVV houdt het voor mogelijk dat er in de toekomst volledige autonome systemen komen. Dan is de mens volledig uit de loop. Maar deze systemen kunnen juridisch niet verantwoordelijkheid worden gesteld voor hun gedrag. De commissie adviseert de regering bij eventuele toekomstige aanschaf van autonome wapens “toe te zien op toepassing van het concept Moral Responsible Engineering in de ontwerpfase, gelet op het belang van de toewijzing van verantwoordelijkheid en aansprakelijkheid.’’

Er is namelijk een “accountability gap’’: niemand kan volgens de huidige wetgeving op zinvolle wijze ter verantwoording worden geroepen wanneer een killer robot een foutje maakt en een paar kinderen opoffert voor het doden van een terreurverdachte.

“Kom over 5 jaar nog maar eens terug’’, adviseert de advies commissie de ministers, want de ontwikkelingen in de AI gaan zo snel. (Autonome wapensystemen, de noodzaak van een betekenisvolle menselijke interventie, Rapport No97 AIV / No 26 CAVV, oktober 2015).

Maar voorlopig stelt de commissie vast zullen er mensen in de wider loop zijn (minister van defensie, legerleiding) die volgens geldend recht ter verantwoording kunnen worden geroepen voor een interventie door bewapende drones. Het zijn mensen die technologie gebruiken.

Interessant is dat de commissie in haar rapport schrijft:

“Betekenisvolle menselijke controle moet de mogelijkheid bieden de eisen van onderscheid, proportionaliteit en voorzorg na te leven. Of aan deze eisen daadwerkelijk wordt voldaan, is afhankelijk van degenen die beslissen over inzet van een autonoom wapen.’’ (p.35).

Dit nu, lijkt me onafhankelijk van de stand van de techniek. In feite zegt de commissie hiermee dat de mens altijd uiteindelijk bepaalt of het een wapen inzet hoe dom of slim (autonoom) het ook is.

In feite komt dit neer op de houding t.a.v. AI die ik hierboven als de enige juiste voorstelde. Het is de mens die er voor kiest of een instrument autonoom is of niet. Robots kunnen misschien gedragingen simuleren maar hebben niet het vermogen zich te gedragen, noch de mogelijkheid zich te misdragen.

Techniek is ons een zorg en die zorg kunnen we niet aan de robot overlaten.

 

 

 

De Haas, de Eend en de Belastingdienst

Stel je voor: meneer Droogstoppel laat je onderstaande figuur zien met de vraag: wat is dit? Je antwoordt zonder aarzelen: een eendekop. “Fout” is het resolute antwoord van Droogstoppel: “het is een hazenkop”.  Je kijkt verbaasd nog eens naar de figuur. Verrek, ik zie het, het is ook een haas. “Neen”, zegt Droogstoppel: “het is niet ook een haas, het is een haas, het is geen eend. U moet beter kijken.”  Nee hoor, het plaatje is dubbelzinnig, je kunt er een haas maar ook een eend in zien. Kijk maar: de oren van de haas zijn de snavel van de eend. “Kletskoek”, houdt Droogstoppel vol. Zo gaat dat nog even door totdat hij eindelijk toegeeft dat iemand er misschien ook wel een eend in kan zien. “Maar het is bedoeld als een tekening van een haas, niet van een eend. En daar gaat het om. Je hoort te weten wat de bedoeling is.” houdt Droogstoppel vol.

Er zijn ook dubbelzinnige zinnen. Een bekende is: “De man zag de vrouw met de verrekijker.” Of : “Wil je koffie of thee met melk?” .

In het belastingaangifteformulier 2010 stond de volgende vraag:

“Had XXX recht op een uitkering of op ondersteuning van werk in het kader van de wet Wajong?” Ik vulde voor iemand anders (XXX) het formulier in en op grond van de mij bekende gegevens had ik deze vraag met “ja” beantwoord.

Twee jaar later kwam de Belastingdienst bij een controle er achter dat de betreffende XXX ten onrechte een korting had ontvangen op de belasting. Ze kon gezien haar leeftijd geen uitkering hebben in het kader van de wet Wajong. Er moest een naheffing en een heffingsrente betaald worden. Toen ik het belastingformulier erbij pakte zag ik het. Ha, de belastingdienst bedoelde de vraag anders dan ik hem gelezen had.  Ik vond het niet terecht dat er heffingsrente werd opgelegd want mijn lezing was volkomen begrijpelijk en ik had de vraag naar eer en geweten beantwoord. De Belastingdienst moet geen dubbelzinnige vragen stellen. Dus begonnen we een bezwaarprocedure. Dat werd een Kafkajaanse ervaring. Ontelbare telefoongesprekken heb ik gevoerd met steeds weer andere ambtenaren van andere afdelingen waarin ik probeerde uit te leggen dat ik bezwaar maakte tegen een aanslag vanwege een dubbelzinnigheid in de vraagstelling. De Belastinginspecteurs begrepen mijn bezwaar niet.  Dat blijkt ook uit een brief van 9 januari 2013
waarin de inspecteur zegt mijn bezwaar af te wijzen. Hij schrijft daarin als motivatie: “U hebt na het lezen van het deel van de vraagstelling in de aangifte 2010 “Had u recht op een uitkering” gelijk de conclusie getrokken dat hier werd gedoeld op elke uitkering. De gehele vraagstelling luidt echter “Had u recht op een uitkering of op ondersteuning bij het vinden van werk volgens de Wet Wajong?” Naar mijn mening is na het lezen van de gehele vraagstelling de tekst zodanig te interpreteren dat deze tekst aansluit bij de wettekst en dat er
wordt gedoeld op een uitkering ingevolge de Wet Wajong.”  Maar het meest bedenkelijke was nog wel de uiteindelijke dooddoener: “U wordt geacht de wet te kennen en te weten wat de Belastingdienst met deze vraag bedoelt.”  Het verhaal van Droogstoppel is verzonnen, maar de ervaring met de Belastingdienst is historisch. Uiteindelijk werd de heffingsrente kwijt gescholden. “Omdat we niet willen dat mensen met frustraties blijven zitten”, was het argument.  Nooit meer iets van gehoord, maar het jaar daarop was in het belastingformulier de redaktie van de vraag gewijzigd zodat deze niet meer dubbelzinnig was. De jaren daarna werd de dubbelzinnig zin echter weer in ere hersteld. In het geheel vernieuwde formulier voor 2017 staat de gedisambigueerde versie weer:  Had XXX recht op een uitkering volgens de
Wet Wajong of op ondersteuning bij het vinden van werk volgens
de Wet Wajong? Je kunt wel gelijk hebben maar je moet soms lang wachten voor je het ook krijgt. Zeker als het om Droogstoppels gaat.

Even voorstellen

Ik ben van 1952.

Het jaar waarin Aad van Wijngaarden, directeur van het Mathematisch Centrum de ARRA = Automatische Relais Rekenmachine Amsterdam, de eerste Nederlandse rekenmachine, aan pers en politiek laat zien.  (zie de documentaire De ARRA herinnerd   van o.a. computerhistoricus Gerard Alberts: “die ARRA deed het niet”).

In 1952 wist ik nog niet hoe zeer de computer mijn leven en denken zou gaan bepalen. Ik ging naar de Rijks Hogere Burger School aan het Zaailand in Leeuwarden. De belangrijkste prestatie in vijf jaar was het winnen van het Zilveren Schildtoernooi, een jaarlijks voetbaltoernooi tussen schoolteams van een aantal Friese HBS-en en  lycea. Voetbal was mijn lust en mijn leven maar ik besloot te gaan studeren aan de Technische Hogeschool Twente. Na de tweejarige algemene propedeuse besloot ik bij Toegepaste Wiskunde te gaan studeren mede gestimuleerd door mijn buurman Rouke Henstra. Na mijn baccalaureaats in de diskrete wiskunde en grafentheorie (ook ik heb vele uren geworsteld met het vierkleurenprobleem) ging ik theoretische informatica studeren. Ik volgde colleges digitale techniek bij Gerrit Blaauw, medeontwikkelaar van de ARRA II, een echt werkende opvolger van de ARRA, en programmeertalen bij Arie Duijvestein, eerst Algol60, later Algol68. In het college Informatietheorie van Dirk Kleima maakte ik voor het eerst kennis met het statistisch entropiebegrip in het kader van de communicatietheorie van Shannon en Weaver en leerde ik het Maxwell-duiveltje kennen. Colleges formele talen en automatentheorie en semantiek van programmeertalen volgde ik bij Joost Engelfriet en Leo Verbeek. Ik volgde verschillende colleges bij de onderafdeling Wijsbegeerte en Maatschappijwetenschappen: ethiek (Paul van Dijk) , wetenschapsfilosofie (Errit  van der Velde).  Met docent Pieter Tijmes gingen we op studiereis (we lazen ter voorbereiding Marx en Engels) naar de DDR waar we o.a. Buchenwald bezochten. De colleges van Louk Fleischhacker, wiskundige, logicus en filosoof, spraken mij erg aan:  klassieke en mathematische logica, axiomatische verzamelingenleer en filosofie van wiskunde en techniek.  Hij stimuleerde mij om af te studeren op een theoretisch onderwerp: de betekenis van de zelf-applicatie van functies, een fenomeen in de theoretische informatica dat volgens Louk de wiskundige uitdrukking is van de als autonoom gedachte techniek.  Via Louk maakte ik kennis met het werk van een van de belangrijkste Nederlandse filosofen:  Jan Hollak (zijn inaugurele rede “Van Causa Sui tot Automatie” uitgesproken bij de aanvaarding van ambt als hoogleraar wijsbegeerte in Nijmegen (1968) is een bron van inspiratie voor inzicht in de betekenis van techniek vanuit antropologisch perspectief.)  De studiebijeenkomsten “filosofie van de techniek” onder leiding van fysicus en filosoof Maarten Coolen aan de universiteit van Amsterdam waren voor mij een welkome afwisseling met de technische colleges aan de TH in Twente.   Ik liep stage bij IBM in Tel Aviv. “Is er ook zoiets als niet toegepaste wiskunde?” vroeg de man die mij bij IBM verwelkomde, toen ik vertelde dat ik toegepaste wiskunde studeerde. Van de wiskunde vakken had ik het meeste moeite met het vak kansrekening en statistiek dat aan de TH Twente door wiskundigen werd gegeven. Pas na vier pogingen had ik eindelijk een voldoende voor het tentamen.  Vaak proberen vergroot de kans op een voldoende. Wat weerstand biedt en moeite kost te begrijpen heeft kennelijk een bijzondere aantrekkingskracht: dat geldt zowel voor het werk van Hollak en Fleischhacker (die bij Hollak promoveerde: “Over de grenzen van de kwantiteit”)   als voor de statistiek.

Na mijn afstuderen deed ik vervangende dienst waartoe ik als erkend gewetensbezwaarde verplicht was. Daarna was ik vier jaar docent wiskunde en natuurkunde aan het Kottenpark College in Enschede, waar ik samen met collega Ruizenaar de eerste lessen programmeren voor enthousiaste leerlingen ontwikkelde.  Ik werkte twee jaar bij de onderafdeling Wijsbegeerte en Maatschappijwetenschappen. Hoewel het onderwijs geven me goed beviel trok de wetenschap me meer en ik werd promotiemedewerker bij Anton Nijholt hoogleraar theoretische informatica aan de THTwente. Vier jaar sloot ik me op om mij te bekwamen in het bewijzen van de correctheid van algoritmes voor het ontleden en implementeren van computerprogramma’s. Een saaier proefschrift dan mijn “Parsing Attribute Grammars” is nooit verschenen.

Na mijn promotie werd ik docent aan de Universiteit Twente: compilerbouw, functioneel programmeren (in Miranda) en formele analyse van natuurlijke taal. Mijn belangstelling ging vooral uit naar taal en techniek.  De Parlevink groep die zich in eerste instantie vooral bezig hield met talige interaktie tussen mens en machine ontwikkelde zich onder aanvoering van Anton Nijholt tot de groep Human Media Interaction waarin alle mogelijke vormen van interaktie tussen mens en computer werden bestudeerd. De computer interface kreeg geleidelijk aan een steeds menselijker gedaante.  Want zoals Louk eens tegen me zei: als je de taal van de mens wil formaliseren dan moet je de hele mens formaliseren. Sociologen en sociaal psychologen als Schegloff, Goffman (“The presentation of self in everyday life”) en Argyle hadden in de jaren vijftig de kleine gedragingen (tiny behaviours, zoals het ophalen van de schouders of wenkbrauwen, het lachen, kijkgedrag ) geconstueerd (of geidentificeerd, hoe je het ook wilt zien) als onderwerp van een nieuw wetenschappelijk domein. Het zijn de observeerbare buitenkanten die we los kunnen denken van de persoon en waarbij we afzien van de persoon.  Op dezelfde manier waarop in de taalwetenschap al veel eerder de talige zinnen los kwamen te staan van de spreker en de concrete situatie waarin deze wordt geproduceerd. Deze abstractie is de mogelijkheidsvoorwaarde voor de natuurlijke interfaces in de vorm van avatars, voor de machines die onze taal gaan spreken, de robots die onze gebaren overnemen.

De bruikbaarheid van technische systemen is vakgebied geworden. Mijn belangstelling gaat uit naar die plekken waar mens en technisch systeem elkaar ontmoeten.