“Het zijn mensen die doden, niet wapens”. Marjan Slob vindt deze kreet van de National Rifle Association maar onzin. (VK 26-02-2018). Het argument is dat de dader helemaal niet meer lijfelijk betrokken is bij het gevecht. De commandant die achter beeldschermen de autonome killer robots volgt loopt niet het risico zelf gewond te raken. Toch ben ik het niet eens met Marjan Slob.
Het is een veel voorkomende voorstelling die mensen hebben wanneer het gaat om de vraag naar de mogelijkheid van autonome en intelligente technische systemen: men vraagt bijvoorbeeld wie slimmer is: de mens of de machine, of wie er verantwoordelijk is voor de soms ongewenste gevolgen van inzet van autonome wapens. Wie echter de mens tegenover de techniek plaatst en ze in gedachten van elkaar scheidt die mist een wezenlijk kenmerk van zowel de mens als de techniek namelijk dat deze slechts in verhouding tot elkaar bestaan. Zonder de mens is de machine immers niet meer dan een fysisch gebeuren. En zonder mechanismen en automatismen zouden wij niet kunnen bestaan.
De moeder is moeder in relatie tot haar kind. Wie het kind los weekt van de moeder die mist het wezen van de moeder relatie. Zo is het ook met de techniek: het is wat het is in relatie tot de mens die er gebruik van maakt. Techniek die niet meer als dienstbaar instrument gezien wordt is geen zinvolle techniek meer. De denkwijze die Marjan Slob dus terecht ziet als bedenkelijk aan de techniek – in het bijzonder de wapentechnologie – die zelfde denkwijze past ze toe wanneer ze nadenkt over het probleem van de techniek. Terwijl de problemen waarvoor de techniek ons plaatst een andere niet technische manier van denken vragen.
Wapentechnologie weekt de act van het doden los van het lichaam van de dader, zegt Marjan Slob. Hoe intelligenter en zelfstandiger de technologie wordt des te meer verdwijnt de mens van het toneel. Het is de ultieme verwerkelijking van een dualisme van lichaam en denken dat wel aan Descartes wordt toegeschreven.
Het is een abstracte wiskundige wijze van denken die eerst succesvol in de natuurwetenschappen was en later de hele wetenschap ging domineren. In de gedragswetenschap worden de uiterlijke vormen van communicatief gedrag bestudeert los van de persoon die zich gedraagt om deze vervolgens in de vorm van avatars en robots te simuleren.
Vanessa Evers is social robotics expert in Twente:
“Robots kunnen we menselijk gedrag laten herkennen door in een computer een enorme hoeveelheid plaatjes en videobeelden van gezichtsuitdrukkingen voor emoties in te voeren’’, legt Evers uit. “Plaatjes met een bepaalde stand van de mondhoeken en de ogen, die de robot herkent als lachen, verdriet, stress, woede, gecombineerd met stemgeluid. Na een tijdje heeft een robot dat in zijn zelflerende systeem opgeslagen en weet hij hoe daarop te reageren.’’
Bekend is het schilderij dat Margritte tekende van een pijp, waaronder hij de tekst schreef: “Ceci ce n’est pas une pipe.” We zeggen “dat is een pijp” en wijzen op een tekening die een pijp voorstelt. Het is een wijze van spreken. Net zo is het slechts bij wijze van spreken dat een “robot iets in zijn zelflerende systeem heeft opgeslagen.” Een robot heeft net zo min een geheugen als een stukje papier waarop we een boodschappenlijstje hebben geschreven een geheugen heeft. En wanneer je zegt dat de een het heeft dan moet je ook zeggen dat de ander het heeft.
In de VK van 2 september ging het over “hoe robots ons kunnen helpen in tijden van oorlog”. Sietse Bruggeling bespreekt daar de toepassing van Kunstmatige Intelligentie in autonome wapensystemen (killer robots, zoals bewapende drones). De ministers van defensie en buitenlandse zaken vroegen de CAVV (de advies commissie voor veiligheid) om advies wat we daar mee aan moeten, op grond waarvan ze besloten het ontwikkelen van deze wapens niet uit te sluiten. Bewapende drones worden al lang ingezet (o.a. door Isreal tegen de Palestijnen; door de VS in de strijd tegen IS) . Volgens humanitair oorlogsrecht moeten deze drones militaire doelen kunnen onderscheiden van burgerdoelen.
De suggestie van Bruggeling is dat autonome wapensystemen nodig zijn omdat er soms snel beslist moet worden en dan moet je de “human uit de controle loop” halen. De mens is te traag. Bovendien zouden deze precisiewapens humaner zijn omdat ze minder “collateral damage” veroorzaken (een onaangenaam bijverschijnsel is dat er onschuldige burgers slachtoffer worden van aanvallen op vijandige stellingen die vlakbij een kleuterschool of hospitaal zijn gevestigd.)
Maar hoe “autonoom” zijn die killer robots en autonome auto’s eigenlijk? Het punt is dat computers die emoties of homo’s of potentiele terroristen kunnen herkennen niet bestaan. En ze zullen ook nooit bestaan. Te zeggen dat ze bestaan is net zo onzinnig als te beweren dat er computers bestaan die beter kunnen rekenen dan een mens. Wie beoordeelt dat en wie heeft die computers gemaakt?
Ik ben het met Daniel Dennett eens wanneer hij zegt dat het gevaar van AI niet zit in robots die taken, beslissingen en de macht van de mens over zouden nemen. Het echte gevaar zit hem in de mensen die denken dat we dit soort dingen wel aan de computers en robots kunnen overlaten. Want die computers die snappen er namelijk helemaal niets van. Die robots die weten helemaal niet wat ze doen en waar het om gaat. Of we deze AI artefacten als autonome systemen willen opvatten, dat is een keuze die wij maken. Daar kan geen enkele technische ontwikkeling ook maar iets aan veranderen. Wetenschappers en journalisten moeten beter op hun woorden letten en geen broodje aap verhalen verspreiden. Daar worden we niets wijzer van.
Machine learning maakt gebruik van data, van dingen die geweest zijn. Technologie die gebaseerd is op deze data en die toepast in nieuwe situaties ontkent dat er nieuwe situaties bestaan. Als rechters moeten we verantwoorden dat het terecht was om in een specifieke concrete situatie deze technieken en statistieken te gebruiken. Dat kan een machine per definitie niet overnemen omdat het rechtspreken vooronderstelt een gevoel voor waar het om gaat en dat is de machine vreemd. Machines zijn geleerd, maar begrijpen niet waar het om te doen is.
De wetgever worstelt met het probleem van de verantwoordelijkheid.
Wat is een autonoom wapen? Human Rights Watch (in: Mind the Gap: The Lack of Accountability for Killer Robots, 2015):
- Fully autonomous weapons are weapons systems that would select and engage targets without meaningful human control. They are also known as killer robots or lethal autonomous weapons systems. Because of their full autonomy, they would have no “human in the loop” to direct their use of force and thus would represent the step beyond current remote-controlled drones.
De Nederlandse ministers Koenders en Hennis-Plasschaert vroegen (april 2015) de CAVV wat we daaronder moeten verstaan: “betekenisvolle menselijke interventie’’. De CAVV houdt het voor mogelijk dat er in de toekomst volledige autonome systemen komen. Dan is de mens volledig uit de loop. Maar deze systemen kunnen juridisch niet verantwoordelijkheid worden gesteld voor hun gedrag. De commissie adviseert de regering bij eventuele toekomstige aanschaf van autonome wapens “toe te zien op toepassing van het concept Moral Responsible Engineering in de ontwerpfase, gelet op het belang van de toewijzing van verantwoordelijkheid en aansprakelijkheid.’’
Er is namelijk een “accountability gap’’: niemand kan volgens de huidige wetgeving op zinvolle wijze ter verantwoording worden geroepen wanneer een killer robot een foutje maakt en een paar kinderen opoffert voor het doden van een terreurverdachte.
“Kom over 5 jaar nog maar eens terug’’, adviseert de advies commissie de ministers, want de ontwikkelingen in de AI gaan zo snel. (Autonome wapensystemen, de noodzaak van een betekenisvolle menselijke interventie, Rapport No97 AIV / No 26 CAVV, oktober 2015).
Maar voorlopig stelt de commissie vast zullen er mensen in de wider loop zijn (minister van defensie, legerleiding) die volgens geldend recht ter verantwoording kunnen worden geroepen voor een interventie door bewapende drones. Het zijn mensen die technologie gebruiken.
Interessant is dat de commissie in haar rapport schrijft:
“Betekenisvolle menselijke controle moet de mogelijkheid bieden de eisen van onderscheid, proportionaliteit en voorzorg na te leven. Of aan deze eisen daadwerkelijk wordt voldaan, is afhankelijk van degenen die beslissen over inzet van een autonoom wapen.’’ (p.35).
Dit nu, lijkt me onafhankelijk van de stand van de techniek. In feite zegt de commissie hiermee dat de mens altijd uiteindelijk bepaalt of het een wapen inzet hoe dom of slim (autonoom) het ook is.
In feite komt dit neer op de houding t.a.v. AI die ik hierboven als de enige juiste voorstelde. Het is de mens die er voor kiest of een instrument autonoom is of niet. Robots kunnen misschien gedragingen simuleren maar hebben niet het vermogen zich te gedragen, noch de mogelijkheid zich te misdragen.
Techniek is ons een zorg en die zorg kunnen we niet aan de robot overlaten.
