Rieks op den Akker

“Door de indrukwekkende mogelijkheden van de informatietechnologie laat men zich vaak al te gemakkelijk verleiden tot een overdrijving van de zelfstandigheid van de producten van die techniek. Wat principieel een relatieve zelfstandigheid is met betrekking tot het menselijk gebruik, wordt dan voorgesteld als een absolute zelfstandigheid, die ook buiten dit gebruik om zou kunnen bestaan. Buiten het gebruik om is echter bijvoorbeeld de werking van een computer slechts een natuurproces dat niet principieel verschilt van het vallen van een steen.”

Bovenstaande tekst is uit “Arbeid en (kunstmatige) intelligentie” een essay uit 1989 van de filosoof Louk Fleischhacker. In dit essay legt Fleischhacker een verband tussen wat hij noemt de praktische problematiek van de autonome technische systemen (robots, expertsystemen) enerzijds en de theoretische vraag naar de mogelijkheid van kunstmatige intelligentie anderzijds. De praktische problematiek is de gebruiksonvriendelijkheid die erin bestaat dat dergelijke systemen “nog minder verantwoordelijkheidsgevoel bezitten dan de ergste bureaucraat!”. In beide vragen, de praktische en de theoretische, gaat het om de relatie tussen menselijk kunnen en het functioneren van automatische systemen.

Zo’n 20 jaar na het verschijnen van deze tekst lezen we in de populaire media nog wekelijks berichten over de indrukwekkende mogelijkheden van de informatietechnologie: de zegeningen enerzijds (vervelend werk wordt door computers en robots overgenomen) en de transhumanistische doemscenarioos waarin superintelligente robots (de Terminator) de mensheid bedreigen, anderzijds. Steeds meer experts op het gebied van de AI tonen hun verontwaardiging over de sensationele berichten in de media.  Zachary Lipton, van het machine learning department van Carnegie Mellon University, spreekt van de “sensationalized crap” die in de media verschijnt over sociale robots of chatbots die  gesprekken voeren en een eigen taal zouden ontwikkelen. Dit fantastische beeld van de mogelijkheden van kunstmatige intelligentie wordt gepresenteerd met verwijzing naar wetenschappelijk onderzoek terwijl het met de conclusies uit dat onderzoek niets meer te maken heeft.

“Wat principieel een relatieve zelfstandigheid is met betrekking tot het menselijk gebruik, wordt dan voorgesteld als een absolute zelfstandigheid, die ook buiten dit gebruik om zou kunnen bestaan.” 

Wat Fleischhacker hier zegt over de kunstmatig intelligente machine, kunnen we ook zeggen over de woorden en zinnen van de taal. Die hebben slechts een bepaalde betekenis in het gebruik ervan. Buiten dat gebruik is een teken een ‘betekenisloos’ iets. De zelfstandigheid van de taal is dus niet absoluut maar betrekkelijk ten opzicht van het gebruik.

Niet  alleen journalisten, ook wetenschappers die hun resultaten in voor de leek begrijpelijke woorden uit proberen te leggen dichten de producten van kunstmatige intelligentie menselijke capaciteiten toe. Zoals in onderstaand citaat uit een interview met Vanessa Evers, social robotica expert.

“Robots kunnen we menselijk gedrag laten herkennen door in een computer een enorme hoeveelheid plaatjes en videobeelden van gezichtsuitdrukkingen voor emoties in te voeren”. (…) “Plaatjes met een bepaalde stand van de mondhoeken en de ogen, die de robot herkent als lachen, verdriet, stress, woede, gecombineerd met stemgeluid. Na een tijdje heeft een robot dat in zijn zelflerende systeem opgeslagen en weet hij hoe daarop te reageren.”

Robots herkennen menselijk gedrag, en emoties, ze kunnen leren en betekenisvol reageren op hun omgeving. Moeten we dit soorten teksten letterlijk nemen? Maar, wat is er mis met van gedrag te spreken als het om robots of machines gaat? We zeggen toch ook dat de computer iets uitrekent of dat de machine ons vraagt een wachtwoord in te tikken? De bruikbaarheid van de computer zit hem toch juist in het feit dat deze zelfstandig een taak kan uitvoeren: een vraag stellen, iets voor ons uitrekenen. Voor het uitvoeren van die taken zijn ze toch juist gemaakt!

Hoe zouden we anders moeten zeggen wat de robot of machine doet als we niet die woorden mogen gebruiken die we gebruiken als we beschrijven wat mensen doen? We zouden telkens wanneer we het over een technisch ding hebben de woorden tussen aanhalingstekens kunnen plaatsen om aan te geven dat we het gezegde niet letterlijk moeten nemen, maar alleen maar bij wijze van spreken: de robot “stelt een vraag” , of de computer “denkt even na”.  De filosoof D.C. Dennett gebruikt wel de “soort van”-constructie (zie zijn: “De ‘soort van’-operator”, Hoofdstuk 21 in “Gereedschapskist voor het denken”).  De computer soort van denkt na. Maar wat is het verschil tussen denken van de mens en het soort-van denken van de computer? Volgens Dennett is er geen principiele scheidslijn tussen “soort van” denken en “denken”.  Er is slechts een gradueel verschil tussen het functioneren van een sociale robot en het gedrag van mensen. Dennett lijkt de technische ontwikkeling te zien als een voortzetting van de evolutie zoals door Darwin beschreven. Hij zet zich daarmee vooral af tegen die filosofen en theologen die geloven in een Intelligente Ontwerper die alles wat leeft van boven af heeft ontworpen en in een Geest die gemaakt is van een wonderlijk soort stof dat bewustzijn mogelijk maakt. Voor Dennett leveren de door Turing bedachte oneindige tape machine en de door Hao Wang bedachte registermachine het bewijs dat voor gedrag dat wij als zinvol (intentioneel) ervaren het niet nodig is het bestaan van een wonderlijke soort stof of een Grote Ontwerper aan te nemen. De computer is uit gewoon materiaal gemaakt en toch kan hij rekenen.    Maar betekent dit ook dat de computer of de robot zo zelfstandig is dat deze verantwoordelijk is voor “zijn eigen” gedrag?  Dat de computer kan rekenen dat wil ik nog wel geloven. Maar wat als hij een rekenfout maakt? Of is wat de computer doet altijd goed?

Er lijkt geen principiele grens te zijn aan de mogelijkheden van de producten van de informatietechnologie. Wat nu nog een fantasie is, zoals robots die een eigen taal ontwikkelen, kan morgen werkelijkheid zijn. Althans even werkelijk als de computer die rekent of de robot die een gezicht herkent en daarop reageert door bijvoorbeeld de herkende persoon te begroeten.

Om bruikbaar te zijn moet de simulatie van menselijk gedrag door een machine door de gebruiker als echt worden ervaren. De door de machine gegeneerde geluiden moeten door de gebruiker van een natuurlijke gesproken interface agent (zoals Siri van Apple) als een zinvolle vraag worden geinterpreteerd. Zo’n gesprek kan een medisch diagnostisch gesprek zijn waarin de computer medische gegevens over de gebruiker of een ander persoon verzamelt op grond waarvan de computer vervolgens een advies geeft.  Achter zo’n adviserende software-agent zit een hele kennisbank met medische gegevens. Wat is de status van deze systemen? Kunnen we de beslissing hoe te handelen overlaten aan een expertsysteem? Kunnen we wel een verantwoorde beslissing nemen of we het advies van een expertsysteem volgen of niet? Daarvoor zullen we meer moeten weten over de werking van het systeem. Maar was het er ons niet juist om te doen dat we ons als gebruiker niet druk hoeven te maken over hoe het werkt?

De praktische toepassingen van AI, robotica en machine learning hebben een grote impact op alle terreinen van het leven, van medische expertsystemen en operatierobots tot de “killer robots” op het slagveld. Het gebruik van robots en andere intelligente systemen die “zelfstandig beslissingen kunnen nemen” roept vragen op over ethische aspecten van robot-gedrag en de juridische status van dergelijke intelligente systemen.

De Committee on Legal Affairs van het Europese Parlement schrijft begin 2017 een rapport met aanbevelingen voor de Commission on Civil Law Rules on Robotics.

Het rapport constateert o.a.

“that humankind stands on the threshold of an era when ever more sophisticated robots, bots, androids and other manifestations of artificial intelligence (“AI”) seem to be poised to unleash a new industrial revolution, which is likely to leave no stratum of society untouched, it is vitally important for the legislature to consider its legal and ethical implications and effects, without stifling innovation;”

Het rapport roept de Commission op “to explore, analyse and consider the implications of all possible legal solutions, such as:”

(59.f): “Creating a specific legal status for robots in the long run, so that at least the most sophisticated autonomous robots could be established as having the status of electronic persons responsible for making good any damage they may cause, and possibly applying electronic personality to cases where robots make autonomous decisions or otherwise interact with third parties independently;”

In een OPEN LETTER TO THE EUROPEAN COMMISSION ARTIFICIAL INTELLIGENCE AND ROBOTICS spreken politici, AI en robot experts, ethici en juristen hun verontrusting uit over de European Parliament Resolution on Civil Law Rules of Robotics, en in het bijzonder over de aanbeveling aan de European Commission in de hierboven geciteerde paragraaf 59 f) .

Uit de open brief:

The creation of a Legal Status of an “electronic person” for “autonomous”, “unpredictable” and “self-learning” robots is justified by the incorrect affirmation that damage liability would be impossible to prove.

From a technical perspective, this statement offers many bias based on an overvaluation of the actual capabilities of even the most advanced robots, a superficial understanding of unpredictability and self-learning capacities and, a robot perception distorted by Science-Fiction and a few recent sensational press announcements.”

From an ethical and legal perspective, creating a legal personality for a robot is inappropriate whatever the legal status model

AI onderzoekers tegen de ontwikkeling van killer robots

AI experts, waaronder Max Tegmark van het Future of Life Institute en Elon Musk (Tesla, OpenAI), technologiebedrijven (waaronder Google DeepMind) en wetenschappelijke organisaties op het gebied van de AI pleiten er bij regeringen voor om niet meer delen te nemen aan de ontwikkeling van, de handel in en het gebruik van dodelijke autonome wapensystemen.

“… if you belief that the final decision to take a life should remain a human responsibility rather than falling to a machine, then please consider signing the pledge …”

Wat is er zo bijzonder aan deze autonome wapens dat AI experts hier de grens trekken als het gaat om de ontwikkeling van autonome systemen?  Het korte antwoord is: het is de complexiteit.

Wat is een autonoom wapensysteem?

Het antwoord van Paul Scharre, militair expert en voormalig policy maker in het Pentagon voor het ministerie van defensie, luidt:

” I basically define an autonomous weapon as one that can complete an entire engagement cycle on its own. That is to say, it has all of the functionality needed to search for targets, to identify them, to make a decision about whether or not to attack them, and then to start the engagement and carry through the engagement all by itself. So there’s no human in this loop, this cognitive loop, of sensing and deciding and acting out on the battlefield all by itself.”

De reden om de mens uit de loop te halen en het systeem zelf te laten beslissen of er geschoten wordt is tijd. Of liever het gebrek aan tijd: er moet onmiddellijk actie kunnen worden ondernomen zodra de killer robot een verdacht object in beeld heeft.

Volgens internationaal oorlogsrecht zijn er twee belangrijke criteria voor het beoordelen van de rechtmatigheid van een militaire operatie tijdens een conflict. De actie mag alleen gericht zijn op militaire doelen en niet op burger-doelen. Het geweld moet proportioneel zijn. Een killer robot moet dus zelfstandig kunnen beoordelen of zijn sensoren een militair doel (wapendepot, vijandelijke eenheid) in het vizier heeft en of de situatie om een aanval vraagt. Daarnaast moet het bepalen of er kans is op “collateral damage”, zoals het treffen van een schoolgebouw dat vlak naast het wapendepot is gelegen, en of de schade die het aanbrengt “proportioneel” is.

Bovenstaande omschrijving van autonome wapens door Scharre komt overeen met die van Human Rights Watch (in: Mind the Gap: The Lack of Accountability for Killer Robots, 2015):

• “Fully autonomous weapons are weapons systems that would select and engage targets without meaningful human control. They are also known as killer robots or lethal autonomous weapons systems. Because of their full autonomy, they would have no “human in the loop” to direct their use of force and thus would represent the step beyond current remote-controlled drones.”

De Nederlandse ministers Koenders en Hennis-Plasschaert  vroegen (april 2015) de CAVV wat we daaronder moeten verstaan: “betekenisvolle menselijke interventie’’.  De CAVV houdt het voor mogelijk dat er in de toekomst volledige autonome systemen komen. Dan is de mens volledig uit de loop. Maar deze systemen kunnen juridisch niet verantwoordelijkheid worden gesteld voor hun gedrag. De commissie adviseert de regering bij eventuele toekomstige aanschaf van autonome wapens “toe te zien op toepassing van het concept Moral Responsible Engineering in de ontwerpfase, gelet op het belang van de toewijzing van verantwoordelijkheid en aansprakelijkheid.’’

Er is namelijk een “accountability gap’’: niemand kan volgens de huidige wetgeving op zinvolle wijze ter verantwoording worden geroepen wanneer een killer robot een foutje maakt en een paar kinderen opoffert voor het doden van een terreurverdachte.

“Kom over 5 jaar nog maar eens terug’’, adviseert de advies commissie de ministers, want de ontwikkelingen in de AI gaan zo snel. (Autonome wapensystemen, de noodzaak van een betekenisvolle menselijke interventie, Rapport No97 AIV / No 26 CAVV, oktober 2015).

Maar voorlopig, stelt de commissie vast, zullen er mensen in de wider loop zijn (minister van defensie, legerleiding) die volgens geldende recht ter verantwoording kunnen worden geroepen voor een interventie door bewapende drones. Het zijn mensen die technologie gebruiken.

“Betekenisvolle menselijke controle moet de mogelijkheid bieden de eisen van onderscheid, proportionaliteit en voorzorg na te leven. Of aan deze eisen daadwerkelijk wordt voldaan, is afhankelijk van degenen die beslissen over inzet van een autonoom wapen.” (CAVV rapport, 2015, p.35).

Het probleem is dat we precies moeten specificeren hoe een autonoom systeem moet functioneren zodat we het zelfstandig kunnen laten werken.  In de woorden van Paul Scharre:

“It was hard to translate some of these abstract concepts like, “Humans should decide the targets,” to technical ideas. Well, what does that mean for how long the weapon can loiter over a target area or how big its sensor field should be or how long it can search for? You have to try to figure out how to put those technical characteristics into practice.”

AI experts zijn het erover eens dat de belangrijkste vaardigheid die vereist is om bruikbare en verantwoorde AI systemen te maken bestaat in het precies specificeren wat je wilt dat het systeem doet in alle mogelijke situaties die zich voor kunnen doen. Maar kan dat wel? Is het wel mogelijk om onze vaak vage  formuleringen van wat wij bedoelen en willen te vertalen in gedragsregels voor een computer? Het antwoord op deze vraag hangt samen met het antwoord op de vraag of kunstmatige intelligentie eigenlijk wel mogelijk is.

Hoe zit het met het verantwoordelijkheidsgevoel van technische artefacten? 

Voor Fleisschhacker is de onverantwoordelijkheid de grens van de bruikbaarheid van autonome technologie.

Het zijn de mensen die met zogenaamde autonome technologie omgaan die uiteindelijk beslissen of ze een intelligent systeem als volledig autonoom systeem willen inzetten. De beslissing de “human out of the loop” te halen wordt door de gebruiker gemaakt en valt dus onder diens verantwoordelijkheid. Wel beschouwd is het in principe helemaal niet mogelijk de mens uit de loop te halen, want ook dat is het effect van een menselijk besluit.

Het vervangen van arbeiders door robots is een stap in een proces welke is voorafgegaan door het robotiseren van de arbeid. Robotiseren van arbeid is arbeid puur zien als functioneren, als het uitvoeren van taken volgens bepaalde procedures binnen een bepaald systeem. Het is het resultaat van het minitieus analyseren van taken zoals Taylor dat in de 19de eeuw voorstelde ten bate van de verhoging van de productiviteit. De persoonlijke en sociale betekenis van de arbeid, de voldoening die de persoon ervaart bij het werk, het belang van de arbeid voor de ontwikkeling van de vermogens. Dat alles telt niet mee voor de robotisering; er wordt van geabstraheerd. De functie kan door een technisch artefact worden uitgevoerd en daar gaat het om.  In het gerobotiseerde werk is de uitvoerder, slechts uitvoerder van procedures, die precies voorschrijven hoe de taken moeten worden uitgevoerd. De enige verantwoordelijkheid die de uitvoerder heeft is het volgen van de door het technisch management ontwikkelde procedures, die in toenemende mate ondersteund worden door computersystemen.  In de zorg en in het onderwijs waar het bij uitstek moeilijk is algemene regels op te stellen voor de werknemer zonder de individuele patient of leerling geweld aan te doen wordt robotisering als contra-produktief ervaren.  Mensen hebben geen zin meer in het werk. Het werk wordt als zwaar ervaren omdat men er geen voldoening meer in heeft, omdat men als werknemer niet gezien wordt als volwaardige persoon met een eigen verantwoordelijkheid voor de manier waarop het werk inhoud wordt gegeven.

Louk Fleischhacker,  Arbeid en (kunstmatige) intelligentie. In: Arbeid adelt niet. (Pieter Tijmes, red.). Kok Agora, Kampen, 1989.

Oscar Schwartz, The discourse is unhinged’: how the media gets AI alarmingly wrong, The Guardian, 25-07-2018

Het is nu al enkele weken achterelkaar droog. Er valt geen druppel regen. “Dan zal het morgen wel gaan regenen.” zegt een mevrouw bij de kapper. “Ja, dat zit er dik in. Net nu de schoolvakantie begint.”, zegt de kapster.

Volgens weerkundige Peter Kuipers Munneke heeft de kans dat het morgen regent niets te maken met hoe lang het al droog is.  “Het weer heeft geen geheugen”.  Zegt hij op bezwerende toon. “Het is net als met dobbelen”, legt hij uit. Ook al heb je 5 keer achterelkaar een 6 gegooid, de kans op een 6 is net zo groot als die was bij de eerste worp. Net als het weer weet de dobbelsteen niet wat er eerder gebeurd is. Geheugen is dat een gebeurtenis een indruk heeft achtergelaten die als een teken voor iemand verwijst naar die vroegere gebeurtenis in een herinnering. Zo kan via het geheugen het verleden van invloed zijn op wat er gaat komen. Bij het weer is dat dus niet zo; het weer heeft geen geheugen.

Collega weervrouw Helga van Leur prijst Peter’s heldere uitleg. Maar dat het weer geen geheugen heeft, daar valt volgens haar wel wat op af te dingen. Want, zegt ze, het weer is onderdeel van de natuur en de natuur heeft wel een geheugen (Klopt, zie de klimaatverandering, de kraaiepootjes van Helga en mijn toenemende geheugenverlies). Dus, concludeert Helga met de ijzeren logica van de weervrouw: heeft het weer als onderdeel van de natuur ook een geheugen.

Of dit wel zo logisch is, dat laat ik even in het midden. Waar het mij hier om gaat is het volgende. Peter komt met een weermodel op de proppen:  het model van het gooien met een dobbelsteen.  Een kansmodel waarvan iedereen die op school op heeft zitten letten wel eens gehoord heeft. Het is een wiskundig model dat je kunt gebruiken om kansen te berekenen. En dat is toch het ideaal van kennis, niet waar? Dat je iets kunt berekenen. Hoe die kans uit te rekenen? Daar kom ik nog op. Wat Helga betwist is of dat model wel klopt.   En dat is een heel andere kwestie: de keuze (of constructie) van het juiste model. En dat is geen wiskunde. Helga legt uit waar dat geheugen van de natuur uit bestaat. Door de voortdurende droogte verandert er namelijk iets in de natuur: temperatuur, winden, verdamping, wolkenvorming. En dat heeft gevolgen voor de kans op regen. Zo’n complex model is volgens Helga beter om het weer te voorspellen dan het simpele model van Peter. (Dat weet Peter natuurlijk ook wel. Maar ja, zendtijd is kort dus moeten we niet te moeilijk doen. Zo transformeren de populaire media kennis tot een beetje kennis. En zoals G.H. Hardy al stelde in zijn Apologie van een wiskundige: “A little learning is a dangerous thing.”.)

Bovendien gaat Peter er vanuit dat een dobbelsteen geen geheugen heeft. En dat waag ik te betwijfelen. Want, “de natuur biedt weerstand aan de haar opgedrongen vorm door verslijt” (P.  de Bruin, S.J., Philosophie der Techniek, 1936) .  Door het werpen slijt de steen en verandert haar gedrag. Helga zou zeggen; die dobbelsteen van Peter (of beter nog: het gooien ermee) is een onderdeel van de natuur en de natuur heeft een geheugen dus de dobbelsteen heeft een geheugen. (Een redenering waarvan de correctheid zwaar belast is door de interpretatie van de deel-van relatie. Maar daar zou ik het hier niet over hebben.)

Ja, zal Peter hierop zeggen: ik heb het niet over een echte dobbelsteen. Klopt. Peter heeft het over een wiskundig model, over een wiskundig object. En wiskundige objecten (getallen, functies, grafen, meetkundige figuren, kortom structuren) zijn heel andere soorten dingen zijn dan de waarneembare, voelbare, zichtbare, harde of zachte dingen om ons heen; de fysieke objecten, waar wij als lichamelijke wezens mee van doen hebben.  Voor veel fysici zijn wiskundige dingen net zo echt als stoelen en andere dagelijkse objecten. Sommigen beschouwen wiskundige structuren zelf als echter dan de waarneembare dingen. In “Our Mathematical Universe” verdedigt de fysicus Max Tegmark de stelling dat er een externe werkelijkheid bestaat buiten onze waarneming en dat deze een wiskundig object is. De taak van de fysici is deze te relateren aan onze dagelijkse werkelijkheid.

En dan nu even rekenen. Hoe groot is de kans dat je een 6 gooit met een dobbelsteen? Een eerste gedachte is: 1/6. Waarom?  Er zijn 6 mogelijkheden. Die hebben allemaal dezelfde kans. De som van alle kansen is 1. Dus 1/6.  Dat zijn nogal wat aannames. Kennelijk heeft die dobbelsteen 6 kanten en is het een “eerlijke” dobbelsteen. Hoe weten we dat?  Hier komt weer het belangrijke onderscheid tussen wiskunde en fysica. Als onze eerlijke 6-kantige dobbelsteen een wiskundig object is, dan weten we dat de kans 1/6 is  op grond van onze definitie van een eerlijke dobbelsteen.  Daar is geen speld tussen te krijgen. “Eerlijk” is dan een term, die wijst naar een wiskundige eigenschap van een wiskundig object. Het wordt anders wanneer we het over een echte dobbelsteen hebben. Om daarvan te bepalen wat de kans op een zes is moeten we eerst kennis van deze steen verzamelen. Is dit wel een “eerlijke” dobbelsteen? Neen, natuurlijk niet. Het is immers geen wiskundig object. De vraag is of we deze echte dobbelsteen (of beter: het gooien ermee) als een wiskundig eerlijke dobbelsteen kunnen beschouwen.

Een antwoord vinden op die vraag gebeurt bij voorkeur door data te verzamelen: experimenten doen (vaak met de dobbelsteen gooien) en uitkomsten tellen. Als je 600 keer gegooid hebt en 105 keer een zes hebt gegooid, dan zeggen we dat de kans vrij groot is dat de kans om een zes te gooien met deze dobbelsteen 1/6 is. Het zijn de statistici die hierover hele ingewikkelde theorieen hebben opgesteld (waar de meeste studenten met enige huiver aan terugdenken) waar ze het overigens nog steeds niet over eens zijn wat nu het beste model is. (Ik zou bijna zeggen:  “Over onzekerheid valt niets met zekerheid te zeggen”, maar dit klinkt weer zo onlogisch.)  Van de fysicus Jaynes is de uitspraak dat sinds de wiskundigen de statistiek van de natuurkundigen hebben overgenomen (begin 20ste eeuw) ze er een zootje van hebben gemaakt. Een zootje misschien niet, maar wiskundigen maken wel van alles wat ze aanpakken iets anders dan het was.  Als een wiskundige het over een dobbelsteen heeft dan weet je dat hij het niet over een echte dobbelsteen heeft. Net zomin als een Turing machine een machine is, een formele taal een taal, of kunstmatige intelligentie echte intelligentie is.  Het is eerder gezegd (maar het wordt vaak vergeten): de wiskundige zegt A, bedoelt B, schrijft C, terwijl het D had moeten zijn.).  Dat is niet erg zolang we ons maar niet laten verleiden door de schoonheid van de koningin der wetenschappen en denken dat ze zegt wat ze bedoelt.

Terug naar het weer.  Mijn vrouw zegt: je hebt mooi praten, maar toch is de kans dat het 5 dagen achterelkaar droog is kleiner dan de kans dat het 4 dagen achter elkaar droog is. Ik weet niet hoe ze daar aan komt maar mijn gevoel zegt dat dat klopt. Vrouwenlogica: rijtjes van 4 van dezelfde dingen zijn delen van rijtjes van 5 van dezelfde dingen. En dat geldt ook voor de dobbelsteen van Peter: de kans op 5 keer 6 is kleiner dan de kans op 4 keer 6. Dus?  Is dus de kans dat het na vier droge dagen de volgende dag regent niet groter dan na drie droge dagen?  Zei de oude meester Laplace al niet dat om de kans te berekenen dat morgen de zon op komt je moet weten hoe vaak de zon al opgekomen is. Die kans wordt volgens zijn model elke dag groter! Zou dan de kans dat het morgen droog zal zijn ook niet elke dag dat het droog is groter worden?

Oeps! Ik moet de was binnen halen. Het gaat regenen.

 

Het is het magieste Nederlandse woord.

Het is tijd. Het gaat. Het is warm. Het regent. Maak het even.

Het is een voornaamwoord. Een onpersoonlijk voornaam woord.

Soms verwijst het naar iets bepaalds. Zoals in: Dat boek ? Ik vind het maar niks.

Het verwijst dan naar iets dat al eerder is opgevoerd: dat boek.

Waar verwijst het naar in: het is tijd, of in: het regent ?

Naar iets dat niet hoeft te worden opgevoerd. Omdat het er altijd al is.

Maar wat dat is …?

 

 

Vanmorgen toen ik wakker werd dacht ik:

Ik word wakker.

Of moet ik zeggen die gedachte kwam in mij op.

Want: wat doe ik eigenlijk ? Doe ik iets aan dat wakker worden ? Hoe sta ik daar eigenlijk zelf in ?

Van wie is die gedachte die in mij opkomt? Ben ik dat ?  Ik ?

Wakker worden. Ik zou niet weten hoe ik dat zou moeten doen.

Zoveel dingen die je niet doet.

Je ademt, je wordt ziek, je wordt verkouden, je wordt wakker,

Je valt in slaap, je gaat dood, je wordt geboren,

Je ziet dat het regent, dat het lente wordt, dat de avond valt,

Je hoort een koekoek,

Je wit een muur.

Je gaat maar eens naar bed.

 Van Arnold Geulincx is de uitspraak: quod nescis quo modo fiat, non facis.

Wanneer je niet weet hoe iets gebeurt dan doe je het niet.

En toch zeggen sommigen: we maken kinderen.

Of oorlog.

Zondag 29 april 2018 gaat de geschiedenisboeken van Enschede in als zwarte zondag.

De val van FC Twente van het hoogste voetbalplatform naar de Jupiler League betekent niet alleen voor alle voetballiefhebbers in Enschede een emotionele dreun.

Het is vooral ook een economische dreun. Het gaat hier om een miljoenenverlies van een onderneming die van grote waarde is voor een groot deel van de Enschedese bevolking.  Degradatie van FC Twente betekent dat vele arbeidsplaatsen zullen verdwijnen. Meer dan de miljoeneninvesteringen in de luchthaven Twente ooit hebben opgeleverd.

Enschede, de bakermat van het voetbal in Nederland.  Enschede, stad met  tientallen amateurvoetbalclubs, de moederschoot waaruit FC Twente in 65 werd geboren. Enschede, met een prachtig stadion waarin onlangs de finale van het Europese Voetbalkampioenschap voor dames werd gehouden.  Enschede heeft met FC Twente en de Grolsch Veste ondernemingen die hebben bewezen van groot belang te zijn voor de naam en de exposure van stad en gemeente.

FC Twente is niet een willekeurig bedrijf dat zich toevallig in Enschede vestigt en daarom wat bijdraagt aan de lokale economie. FC Twente is van Enschede.

Ik denk dat ik spreek namens al die mensen

• die als speler, vrijwillliger, supporter betrokken zijn bij het voetbal in Enschede
• die wekelijks op welke wijze dan ook betrokken zijn bij de de club FC Twente
• die de grote waarde inzien die de volksonderneming FC Twente voor Enschede heeft

wanneer ik de politieke partijen van Enschede oproep om bij de coalitievorming afspraken rondom steun voor FC Twente te maken, afspraken die erop gericht zijn snel terug te keren op het hoogste platform.

Met name

• die lokale politici die de betekenis van ondernemingen voor de lokale werkgelegenheid altijd hoog in het vaandel hebben staan (zoals wanneer het ging om weer vele miljoenen te investeren in de luchthaven Twente)
• die lokale politici die altijd het burgerbelang van FC Twente voor de sportparticipatie door de jeugd en de ontspanning van de ouderen hebben ingezien.
• die lokale polici die de iconische waarde inzien van een onderneming als FC Twente die optreedt op het hoogste platform voor de exposure en de economie van de gemeente Enschede.

Sta op voor een onderneming waarvan we met recht moeten kunnen zeggen dat die van en voor het volk is. Sta op voor FC Twente !

Wij leven in een informatie-maatschappij. Onze samenleving draait op en om informatie. Gegevens (data) vormen een steeds belangrijker grondstof. Meer data is meer informatie. Wie meer informatie heeft, heeft meer macht.

Grote multinationals als Google en Facebook, drijven op de winst gemaakt met persoonlijke gegevens die ze verkopen aan allerlei bedrijven, organisaties en politieke partijen om gepersonaliseerde advertenties, selectieve en gefilterde informatie te sturen naar specifieke doelgroepen. De politie verzamelt data over burgers en woonwijken om haar predictive policing strategie uit te kunnen voeren.  De nieuwe Wet Inlichtingendiensten en Veiligheid (WiV) geven de AIVD en de MIVD meer legale ruimte om informatie te verzamelen over de burgers. Deze datavergaring gaat ten koste van de privacy van de individuele burger. Bovendien worden op basis van deze gegevens door abstracte algoritmes onverantwoordelijke besluiten genomen die het leven van individuele burgers treffen. De politie, de mediagiganten, de overheid, ze willen allemaal zoveel mogelijk informatie hebben over personen om hun gedrag te voorspellen en daarop hun inzet af te stemmen.

De Kamer heeft als volksvertegenwoordiging een belangrijke rol bij het controleren van de gangen van de overheid door de burger. Om die controle uit te kunnen oefenen heeft de Kamer informatie nodig.

Ook bij het recente debat over de nieuwe WiV ging het om informatie. Het ging over het heimelijk vergaren van persoonsgegevens, over het verantwoorden daarvan en over het delen van persoonsgegevens met anderen.

De voorstanders van de nieuwe wet WiV gaan er vanuit dat er voldoende controle is ingebouwd in de wet. De wet zou voldoende garanderen dat er geen misbruik kan worden gemaakt door de AIVD en de MIVD van de mogelijkheden die de wet biedt om ten behoeve van onze veiligheid burgers af te luisteren. Maar een wet is iets anders dan de uitvoering ervan in de praktijk. Mijn bezwaar tegen de nieuwe wet WiV is dat er ten onrechte vanuit wordt gegaan dat de diensten alle informatie die betrekking hebben op haar besluiten en aktiviteiten deelt met de verantwoordelijke ministers en de toetsingscommissie en dat de Kamer de nodige controle kan uitoefenen op wat er onder verantwoordelijkheid van de Ministers van Binnenlandse Zaken en Defensie gebeurt.  En dat deze toetsing mogelijk is binnen de beperkte tijd die beschikbaar is gezien de urgentie van de door de dienst voorgestelde interventie. In het bijzonder in het veiligheidsdomein is de veronderstelde openheid echter niet aan de orde. We horen regelmatig dat het niet in belang van de zaak is openheid van zaken te geven over “interne processen’’. Informatie delen zou economische belangen en veiligheidsbelangen schaden.

Uit het dividenddebat blijkt voor de zoveelste keer hoe moeilijk het is voor de Kamer om die informatie boven tafel te krijgen die nodig is om behoorlijk controle te kunnen uitoefenen op de regering, in het bijzonder op het kabinet. Stukken worden achtergehouden, geheugens worden gewist, er wordt een mist opgetrokken door woordenbrei en afleidingstactieken. De ministers zijn vaak ondeskundig op het gebied van de inhoud van hun ministerie (“het ligt buiten mijn comfort-zone’’ noemde Minister van Defensie Bijleveld dat onlangs in een interview) en in hoge mate afhankelijk van de informatie die de diensthoofden en andere ambtenaren met hun delen. Toch zijn de ministers formeel verantwoordelijk voor wat er gebeurt. Zo wordt er een formele muur opgetrokken waarachter de werkelijk verantwoordelijken hun onzichtbare werk kunnen doen. De formeel verantwoordelijke rest in het debat met de kamer niets anders dan gestamel en geschipper tussen trouw aan beleid en kabinet enerzijds en geloofwaardigheid anderzijds. Een geschipper waarvan de waarheid het eerste slachtoffer is.

“Hoe kunnen wij er als Kamer zeker van zijn dat wij de informatie krijgen die wij nodig hebben om ons werk te kunnen doen?’’  vroeg Lilian Marijnissen in het dividenddebat  (VK 26-04-2018).

De vraag stellen is haar beantwoorden: het is een kwestie van vertrouwen. En daar zit precies het probleem.

Het vertrouwen in de politiek, in Den Haag, in de regering is tanende. Bij veel burgers is het al volledig verdwenen. De meesten van hen keren zich dan ook af van de (landelijke) politiek.

Dat is funest voor een samenleving. Wanneer burgers zich niet meer serieus genomen voelen en het idee krijgen dat de bestuurders en de politiek verantwoordelijken telkens wegkomen met slimme woordspelletjes en wollig taalgebruik terwijl ze de zaak belazeren dan komen burgers op den duur in opstand. Wanneer onze regering het volk voor de kosten laat opdraaien van een maatregel die voordelig is voor buitenlandse grootverdieners zonder daarvoor verantwoording af te leggen dan is het niet vreemd wanneer burgers voor eigen gewin gaan. De burger zal zich steeds meer tegen de overheid opstellen. De burger zal zich steeds vaker verzetten tegen regels en wetten van de overheid.

Als de overheid haar beleid niet verantwoordt tegenover onze vertegenwoordigers in de Kamer moeten wij als burger ons dan nog verantwoorden tegenover de overheid?

De veiligheid is in het geding. Kabinetsleden zouden hun gedrag moeten veranderen en opener naar de burger en haar vertegenwoordigers moeten zijn in plaats van de burgers te minachten en te pleiten voor instrumenten om de burger op heimelijke wijze af te luisteren in plaats van een open dialoog met haar te voeren. De veiligheid van onze samenleving is niet gediend met een wet die door het kabinet wordt doorgevoerd met minachting van de bezwaren die een groot deel van de burgers er tegen heeft.

De letter van de wet WiV kan nog zo goed bedoeld zijn ik heb er geen vertrouwen in dat de regering de Kamer en daarmee de burger de nodige informatie zal geven zodat deze in staat is te controleren of de diensten zich wel aan de wet houden. Daarom ben ik tegen de uitbreiding van bevoegdheden van de veiligheidsdiensten.

De recente vertoningen in de kamer waarin het kabinet of een minister of staatssecretaris voor de Kamer verantwoording moest afleggen hebben er bij veel Nederlanders toe geleid dat de laatste restjes vertrouwen in de regering zijn verdwijnen. Dat is diep en diep triest.

De regeringspartijen mogen hopen dat het geheugen van de burger net zo slecht is als dat van de leden van het kabinet zodat ze bij de volgende verkiezingen gewoon weer op de VVD, D66, CU of CDA stemt.

Tot slot nog een kanttekening over het begrip liegen en wat wij “gewone’’ burgers “normaal’’ conversatiegedrag noemen.

Iemand die niet de waarheid spreekt hoeft nog niet te liegen. Liegen doet iemand wanneer deze tegen beter weten in beweert dat iets het geval is terwijl dat dus niet zo is. Oftwel: liegen doet iemand wanneer deze niet de waarheid spreekt terwijl hij of zij op dat moment wel weet wat waar is.

Het is dus moeilijk om te bewijzen dat iemand liegt. Hij of zij kan altijd zeggen ik wist niet anders, of mijn geheugen liet mij in de steek, of ik was onder invloed van pillen of alcohol. Voor een overtuigend bewijs zijn andere middelen nodig om aannemelijk te maken dat er gelogen wordt. Er zijn heel wat mensen in naam van de wet veroordeeld door rechters met heel wat minder bewijs dan in het memo-debat tegen Rutte is opgevoerd.

Liegen kan nog onderscheiden worden van misleiding (deceptie). Er is sprake van misleiding wanneer iemand moedwillig de suggestie wekt bij anderen dat iets het geval is terwijl hij of zij weet dat dat niet zo is. Bewust informatie achterhouden die de ander nodig heeft om een goede interpretatie van het gezegde te kunnen geven is een vorm van deceptie.

Wanneer Rutte zegt “ik heb geen herinnering aan een memo’’ terwijl hij daarbij een eigen interpretatie aan de term memo geeft waarvan hij weet dat deze niet de interpretatie is die de ander bij dat woord heeft, dan is dat misleiding. Rutte moet dan zeggen wat hij precies onder memo verstaat zodat er niet achteraf nog eens over gesoebat hoeft te worden. . Dat is wat wij “gewone’’ burgers “normaal’’ conversatiegedrag noemen. (Het voldoet aan de conversationele implicatie regels van Grice, zoals de politicus die communicatiewetenschappen of iets dergelijks heeft gestudeerd zich nog zal herinneren.)

“Oh u bedoelde zoiets? Maar dat is geen memo, dat is een kattebelletje.’’

Politici.  Bah!

Predictive policing: voorkomen door te voorspellen

Een strategie waar de politie voor de misdaadbestrijding steeds meer op inzet is “voorkomen door voorspellen”: predictive policing. Door informatie te verzamelen over het (internet)gedrag van mensen en organisaties en die data op een slimme manier in een model te gieten kun je machines trainen om op basis van die data misdaden te voorspellen.  Die data heet “big data’’ omdat het veel is, de wetenschap heet data science, de techniek heet machine learning of social signal processing, en het product heet AI, artificiele of kunstmatige intelligentie, machines die situaties, personen, gedrag kunnen classificeren. De datamining technieken die gebruikt worden voor predictive policing zijn dezelfde als die door adverteerders en bedrijven als Cambridge Analytica gebruikt worden voor microtargeting: door te kijken wat iemand op het internet doet kun je voorspellen waarin iemand geinteresseerd is en of hij of zij gevoelig is voor bepaalde informatie.

De nieuwe wet geeft de AIVD en de MIVD ruimere mogelijkheden om alle vormen van communicatie af te luisteren (telefoontaps, social media, e-mails, etc) of in te breken indien ze dat voor de uitvoering van hun taken nodig achten. Ze kan internetproviders verplichten medewerking te verlenen. Samenwerking tussen de diensten en Nationale Politie, de Belastingdienst (FIOD) zijn in de wet geregeld. De wet biedt daarmee meer legale ruimte voor het verzamelen en verwerken van persoonlijke gegevens ten behoeve van predictive policing. De wet regelt beter dan de oude wet (2002) het toezicht, de controle, evaluatie en klachtenbehandeling.  Althans op papier. De vraag is hoe dat in de praktijk zal gaan. De verantwoordelijke Ministers van Binnenlandse Zaken en Defensie en de toezichthouders zijn afhankelijk van kennis en informatie. Daar zitten de pijnpunten.

Predictive policing is erop gericht de samenleving bedreigende criminele aktiviteiten te voorkomen door gebruik te maken van signalen die wijzen op de mogelijkheid dat die er aan staan te komen. Rutger Rienks schreef daar een rapport over namens de Nationale Politie: “Predictive Policing: kansen voor een veiliger toekomst.’’ (uitgave PolitieAcademie, 2015).

In het voorwoord van Rienks’ boek over Predictive Policing wordt de lezer uitgenodigd bij te dragen aan de discussie over de wenselijkheid van deze nieuwe policy die inmiddels al landelijk is “uitgerold’’. Hoewel Rienks ook aandacht besteed aan ethische bezwaren van predictive policy (big brother is watching you) is hij een enthousiast voorstander.

``Soms wordt aan mij de vraag gesteld of ik predictive policing wel een goede ontwikkeling vind. ‘Nou en of!’, zeg ik dan. Wie kan er nou op tegen zijn dat een politieapparaat beter zijn werk doet? Ieder slachtoffer van wat voor misdaad ook wil immers toch niets liever dan dat de misdaad waaraan hij of zij is blootgesteld voorkomen. Discussies over ethische kwesties en het recht op privacy van de burger versus de inbreuk hierop van de overheid spelen hierbij natuurlijk wel een belangrijke rol. Kijk alleen maar naar het feit dat er wetten worden gemaakt die voorschrijven wat wel en niet toelaatbaar is. Dit is van directe invloed op de effectiviteit van het apparaat.’’

Het is duidelijk waar het probleem zit: enerzijds wil je als burger geen slachtoffer worden van criminaliteit, of dat nu een terreur-aanslag is, een overval, inbraak, illegale vuilstort, of internetfraude. Je wilt dat proberen te voorkomen. Je wilt de politie zoveel mogelijk middelen in handen geven hun werk goed te doen. Anderzijds wil je ook niet dat je voortdurend in de gaten wordt gehouden door politie en veiligheidsdiensten. Iedereen is voor de waakzame veiligheidsdienst immers potentieel verdachte; de een misschien iets meer dan de ander. Bij velen heerst de vraag of we de diensten niet te veel ruimte bieden en hoe het gebruik daarvan gecontroleerd kan worden. Het is van zeer groot belang dat we als burgers vertrouwen hebben in de overheid en haar veiligheidsdiensten. Maar vertrouwen moet niet blind zijn; het moet gebaseerd zijn op inzicht in de capaciteiten van deze diensten en de politiek.

Is het verantwoord de veiligheidsdiensten en de verantwoordelijke ministers de middelen die de nieuwe wet biedt in handen te geven? Zijn er voldoende mogelijkheden ingebouwd voor toezicht en kritische evaluatie van het werk van de veiligheidsdiensten? Ik heb daar een aantal bedenkingen bij.

Informatie delen is geen gemeengoed in het veiligheidsdomein.

Voorstanders van de wet wijzen erop dat er voldoende toezicht is ingebouwd in het systeem om op een verantwoorde manier met de middelen om te gaan. Om dat toezicht te kunnen houden en om kritisch het gedrag van de diensten te kunnen evalueren is informatie nodig. Uit ervaring weten we dat het heel lastig is om bij een vermoeden van onrechtmatig handelen de nodige informatie boven tafel te krijgen.  Dat geldt ook bij controle van overheidsdiensten door de politiek. Het veiligheidsdomein is typisch een domein waarin men uiterst terughoudend is met het verstrekken van informatie. Dat maakt dat het houden van toezicht lastig is. De tekst van de wet getuigt weliswaar van de zorg om toezicht op naleving van de wet door de diensten, dat geeft echter geen garantie voor de praktijk.  Bovendien kent de wet noodzakelijkerwijs formuleringen die dermate vaag zijn (zoals:  “een goede taakuitvoering van de dienst”) dat het moeilijk is in concrete gevallen het eens te worden of wel of niet volgens de wet gehandeld is. Mogen we van iemand die op basis van partijpolitieke overwegingen Minister van Defensie is verwachten dat deze in staat is kritisch te staan tegenover het hoofd van de dienst? De wet biedt geen garantie voor een kritische toetsing door onafhankelijke partijen.

Toezicht en evaluatie (rapportage en klachtenafhandeling) vereisen niet alleen kennis en informatie van de processen maar ook kennis van de gebruikte tools. Dat brengt me op het tweede pijnpunt.

Verantwoord omgaan met artificial intelligence vraagt om een kritische houding ten aanzien van de mogelijkheden daarvan

Predictive policing, de strategie die in Nederland over alle korpsen is uitgerold, zal steeds meer gebruik maken van nieuwe technologie gebaseerd op methoden voor data analyse: machine learning. Inzet van politie is gebaseerd op voorspellingen die niet meer afhangen van een of ander Orakel van Delphi maar op resultaten van de “rationele wetenschappen’’ zoals de lector Intelligence van de Nationale Politie in haar voorwoord van het rapport over Predictive Policy schrijft. De “rationele wetenschap’’ en haar intelligente producten hebben in de ogen van veel mensen de voorspellende rol van de Griekse Goden overgenomen als het gaat om raadgevend advies. Als wetenschapper met vele jaren ervaring met onderzoek op het gebied van de wiskunde, informatica, machine learning en social signal processing deel ik het enthousiasme voor het bedrijven van wetenschappelijk onderzoek. Maar ik ken ook de beperkingen bij de toepassing in de praktijk. Predictive policing maakt gebruik van resultaten van onderzoek in de vorm van op data modellen gebaseerde procedures die voorspellingen doen. In principe komt het neer op het classificeren van gegevens op grond van een (soms) groot aantal kenmerken.  Geen enkele procedure zegt echter of een methode in een specifieke situatie tot de juiste voorspelling leidt. Geen enkele methode kan informatie geven over de betrouwbaarheid van de voorspellingen in een specifieke situatie. Het enige wat de wetenschap kan bieden is statistieken, gemiddelde verwachtingswaarden en kansuitspraken zoals “de kans dat de inwoner van deze wijk in deze stad een schuld heeft is zeventig procent’’. Of: “de kans dat dit lid van deze motorclub betrokken is bij criminele aktiviteiten is zoveel procent.’’  Ook betrouwbaarheidsmaten, door de wet verplicht, zijn gemiddelden. Bovendien zijn statistische modellen altijd gebaseerd op geselecteerde data.  De bias van die data is vaak onbekend bij de gebruikers van de technologie. Rienks kent zijn klassieken en heeft ongetwijfeld kennis genomen van de klassieke retorica: “Hoe veilig zou het zijn als de politie alles van te voren wist en alle vormen van criminaliteit zou kunnen voorkomen?’’. Dan kent hij ook de passage uit de Rhetorics van Aristoteles: “no art has the particular in view.’’ De wetenschap gaat niet over individuen, maar over klassen van individuen. “The particular is infinite and cannot be the subject of true science.’’ (Rhetoric I, II, 11-13).

Dit inzicht wordt een paar duizend jaar later, wanneer de statistiek zijn intrede heeft gedaan in de wetenschap, door Venn verwoord als  het Probleem van het Unieke Geval: “Every single thing or event has an indefinite number of properties or attributes observable in it, and might therefore be considered as belonging to an indefinite number of different classes of things.’’.  Sinds Reichenbach staat dit lastige probleem in de statistiek bekend als het Probleem van de Referentieklasse.  Het kiezen van de juiste referentieklasse om relevante voorspellingen te kunnen doen is een serieus probleem. Het speelt overal waar we proberen uitspraken te doen over een concrete unieke zaak op basis van statistieken. Een voorbeeld uit de rechtspraak is de zaak Shonubi een Nigeriaanse drugssmokkelaar die in de VS werd opgepakt en veroordeeld. Een artikel van Colyan et al. (2001) over deze zaak heeft de veelzeggende titel: Is it a crime to belong to a reference class? (The Journal of Political Philosophy, Volume 2, Number 2, pages 168-181).  Op grond van welke statistieken mag de rechter zijn strafmaat bepalen? Kun je in situaties die zich nu voordoen voorspellingen doen op basis van gegevens van anderen, en van oude data? In het statistisch universum is altijd alles als vanouds, zo is de aanname. Eens een gegeven blijft gegeven. Persoonlijke data blijft ons achtervolgen. Dat is de grote makke van op data gebaseerde systemen.

Op grond van welke referentieklassen doet de machine een uitspraak over bepaald gedrag, een  persoon of situatie? Intelligentie is het vermogen om in een concrete situatie in te zien wat het geval is en waar het om gaat om op grond van dat inzicht een besluit te nemen. Sommige mensen zijn van mening dat dit vermogen volledig door machines kan worden overgenomen omdat het zich in procedures en statistieken zou laten uitdrukken. Dat het nog niet altijd lukt is volgens hen een kwestie van tijd. Deze houding leidt tot een kritiekloos geloof in de uitvoer van de machine. “Machines zijn of worden binnenkort slimmer dan mensen’’ is een vaak gehoorde kreet in deze geloofsgemeenschap. Rienks: “Dat machines inderdaad slimmer worden dan mensen is niet onwaarschijnlijk.’’ De vraag is wie dat beoordeelt. Laten we dat oordeel over aan die intelligente machines of aan de makers van de machines?

De vraag is of de veiligheidsdiensten en de politiek voldoende doordrongen zijn van het inzicht in de beperkingen van de gebruikte technologie en daar in de praktijk ook naar handelen. Het geloof in de autonomie van de technologie staat een kritische houding ten aanzien van het gebruik in de weg. Verantwoordelijkheid voor beslissingen wordt afgeschoven op de gebruikte technologie.

Commercialisering van AI staat kritisch toezicht in de weg

De VS loopt voorop als het gaat om predictive policing.  CompStat wordt al sinds de jaren negentig in de VS gebruikt. In diverse staten wordt gebruikt gemaakt van Stingray devices voor het heimelijk tracen van mobiele telefoons. Critici in de VS wijzen op de gevaren die het gebruik van commerciele tools met zich mee brengt.

Conventional wisdom assumes that the police are in control of their investigative tools. But with surveillance technologies, this is not always the case. Increasingly, police departments are consumers of surveillance technologies that are created, sold, and controlled by private companies. These surveillance technology companies exercise an undue influence over the police today in ways that aren’t widely acknowledged, but that have enormous consequences for civil liberties and police oversight. (Elizabeth Joh in:  “The Undue Influence of Surveillance technology Companies on Policing’’ (2017))

De vraag is of de wet voldoende waarborgen biedt tegen het afsluiten van non-disclosure agreements met commerciele partijen die de tools leveren. Gezien de belangen van de markt is tevens de vraag hoe betrouwbaar productinformatie is. Het achterhouden van informatie of zelfs het verspreiden van onjuiste informatie maakt de taak van de toezichthouder er niet eenvoudiger op.

Naar een toekomst zonder criminaliteit?

“Hoe mooi zou het zijn als we de toekomst konden voorspellen?’’ Het is lastig om te voorspellen waar predictive policing in de toekomst toe leidt en hoeveel macht we de politie en de inlichtingendiensten moeten geven. Welke scenario’s staan ons voor ogen? Op grond van het verleden hoeven we niet te verwachten dat criminele aktiviteiten uitroeibaar zijn. Wat we wel mogen verwachten is dat de bad guys, “onze’’ vijanden, over dezelfde middelen (gaan) beschikken als “wij’’, de “good guys’’ van onze veiligheidsdiensten. Wat we ook kunnen verwachten is dat onze diensten ten behoeve van haar taakuitvoering het de media, die een belangrijke rol speelt bij het aankaarten van mistoestanden, lastig zal maken bij het verzamelen van informatie over hun aktiviteiten. Eventueel door het verspreiden van fake data om de aandacht van de echte gebeurtenissen af te leiden. Journalisten zijn, evenals artsen en advocaten, kritisch over de nieuwe wet, omdat ze vertrouwelijke informatie moeten verstrekken. Wanneer “onze veiligheid” daar om vraagt. Nepnieuws en fake data zijn sowieso een bedreiging voor de effectiviteit van processen die gebaseerd zijn op data verkregen uit sociale netwerken. Hoe echt zijn de gegevens, teksten, fotoos, video-beelden, die via de media verspreid worden? Zijn we nog wel in staat fake data van echte data te onderscheiden?

Een niet te keren ontwikkeling?

Predictive policing is een haast niet te keren ontwikkeling ondanks het feit dat er bij een pilotevaluatie in 2017 geen positief resultaat werd gemeten. In het evaluatierapport “Predictive policing: lessen voor de toekomst: een evaluatie van de landelijke pilot” schrijven  Bas Mali, Carla Bronkhorst-Giesen en Mariëlle den Hengst in de conclusies:

“Aanwijzingen dat predictive policing uiteindelijk leidt tot minder
(stijgende) criminaliteit hebben we niet kunnen vinden. De afstand tussen wat predictive policing kan zijn en wat het in de praktijk is, is dus groot.”

Waarom dan toch dat enthousiasme bij de politie voor predictive policing?

“Gegeven de professionalisering en positionering van IGP en de informatieorganisatie bij de politie is predictive policing een logische stap. De technologische ontwikkelingen en de steeds verdere informatisering van de samenleving maken ook dat dit soort ontwikkelingen, waarbij data meer en meer een rol spelen bij de keuzes in de uitvoering van het werk, niet meer weg te denken zijn.”

De drijvende kracht is het wijdverbreide en overheersende geloof in de informatisering, automatisering en slimme algoritmes gebaseerd op big data. Kortom: we moeten wel mee met de kudde. Crime wordt steeds meer cybercrime met inzet van AI van zowel de good guys als van de bad guys. Dat lijkt de onvermijdelijke toekomst waarin het zicht op de werkelijkheid steeds meer door big data en virtuele modellen wordt ontnomen. “Wij meten  niet; wij rekenen met modellen.”

Moeten we onze inspanningen niet meer richten op andere manieren om criminaliteit te voorkomen dan het stiekem afluisteren van burgers, artsen, advocaten, journalisten, politici, medewerkers van de politie, wellicht? Bijvoorbeeld door een open dialoog. “Ik praat liever met anderen dan dat ik ze afluister” zei Rob Bartholee van de AIVD. Dat lijkt me een goed uitgangspunt.

 

“Het zijn mensen die doden, niet wapens”. Marjan Slob vindt deze kreet van de National Rifle Association maar onzin. (VK 26-02-2018).  Het argument is dat de dader helemaal niet meer lijfelijk betrokken is bij het gevecht. De commandant die achter beeldschermen de autonome killer robots volgt loopt niet het risico zelf gewond te raken. Toch ben ik het niet eens met Marjan Slob.

Het is een veel voorkomende voorstelling die mensen hebben wanneer het gaat om de vraag naar de mogelijkheid van autonome en intelligente technische systemen: men vraagt bijvoorbeeld wie slimmer is: de mens of de machine, of wie er verantwoordelijk is voor de soms ongewenste gevolgen van inzet van autonome wapens. Wie echter de mens tegenover de techniek plaatst en ze in gedachten van elkaar scheidt die mist een wezenlijk kenmerk van zowel de mens als de techniek namelijk dat deze slechts in verhouding tot elkaar bestaan. Zonder de mens is de machine immers niet meer dan een fysisch gebeuren. En zonder mechanismen en automatismen zouden wij niet kunnen bestaan.

De moeder is moeder in relatie tot haar kind. Wie het kind los weekt van de moeder die mist het wezen van de moeder relatie.  Zo is het ook met de techniek: het is wat het is in relatie tot de mens die er gebruik van maakt. Techniek die niet meer als dienstbaar instrument gezien wordt is geen zinvolle techniek meer. De denkwijze die Marjan Slob dus terecht ziet als bedenkelijk aan de techniek – in het bijzonder de wapentechnologie – die zelfde denkwijze past ze toe wanneer ze nadenkt over het probleem van de techniek. Terwijl de problemen waarvoor de techniek ons plaatst een andere niet technische manier van denken vragen.

Wapentechnologie weekt de act van het doden los van het lichaam van de dader, zegt Marjan Slob.  Hoe intelligenter en zelfstandiger de technologie wordt des te meer verdwijnt de mens van het toneel.  Het is de ultieme verwerkelijking van een dualisme van lichaam en denken dat wel aan Descartes wordt toegeschreven.

Het is een abstracte wiskundige wijze van denken die eerst succesvol in de natuurwetenschappen was en later de hele wetenschap ging domineren. In de gedragswetenschap worden de uiterlijke vormen van communicatief gedrag bestudeert los van de persoon die zich gedraagt om deze vervolgens in de vorm van avatars en robots te simuleren.

Vanessa Evers is social robotics expert in Twente:

“Robots kunnen we menselijk gedrag laten herkennen door in een computer een enorme hoeveelheid plaatjes en videobeelden van gezichtsuitdrukkingen voor emoties in te voeren’’, legt Evers uit. “Plaatjes met een bepaalde stand van de mondhoeken en de ogen, die de robot herkent als lachen, verdriet, stress, woede, gecombineerd met stemgeluid. Na een tijdje heeft een robot dat in zijn zelflerende systeem opgeslagen en weet hij hoe daarop te reageren.’’

Bekend is het schilderij dat Margritte tekende van een pijp, waaronder hij de tekst schreef: “Ceci ce n’est pas une pipe.”  We zeggen “dat is een pijp” en wijzen op een tekening die een pijp voorstelt. Het is een wijze van spreken. Net zo is het slechts bij wijze van spreken dat een “robot iets in zijn zelflerende systeem heeft opgeslagen.”  Een robot heeft net zo min een geheugen als een stukje papier waarop we een boodschappenlijstje hebben geschreven een geheugen heeft. En wanneer je zegt dat de een het heeft dan moet je ook zeggen dat de ander het heeft.

In de VK van 2 september ging het over “hoe robots ons kunnen helpen in tijden van oorlog”.  Sietse Bruggeling bespreekt daar de toepassing van Kunstmatige Intelligentie in autonome wapensystemen (killer robots, zoals bewapende drones). De ministers van defensie en buitenlandse zaken vroegen de CAVV (de advies commissie voor veiligheid) om advies wat we daar mee aan moeten, op grond waarvan ze besloten het ontwikkelen van deze wapens niet uit te sluiten. Bewapende drones worden al lang ingezet (o.a. door Isreal tegen de Palestijnen; door de VS in de strijd tegen IS) .  Volgens humanitair oorlogsrecht moeten deze drones militaire doelen kunnen onderscheiden van burgerdoelen.

De suggestie van Bruggeling is dat autonome wapensystemen  nodig zijn omdat er soms snel beslist moet worden en dan moet je de “human uit de controle loop” halen. De mens is te traag. Bovendien zouden deze precisiewapens humaner zijn omdat ze minder “collateral damage” veroorzaken (een onaangenaam bijverschijnsel  is dat er onschuldige burgers slachtoffer worden van aanvallen op vijandige stellingen die vlakbij een kleuterschool of hospitaal zijn gevestigd.)

Maar hoe “autonoom” zijn die killer robots en autonome auto’s eigenlijk? Het punt is dat computers die emoties of homo’s of potentiele terroristen kunnen herkennen niet bestaan. En ze zullen ook nooit bestaan. Te zeggen dat ze bestaan is net zo onzinnig als te beweren dat er computers bestaan die beter kunnen rekenen dan een mens.  Wie beoordeelt dat en wie heeft die computers gemaakt?

Ik ben het met Daniel Dennett eens wanneer hij zegt dat het gevaar van AI  niet zit in robots die taken, beslissingen en de macht van de mens over zouden nemen. Het echte gevaar zit hem in de mensen die denken dat we dit soort dingen wel aan de computers en robots kunnen overlaten.  Want die computers die snappen er namelijk helemaal niets van.  Die robots die weten helemaal niet wat ze doen en waar het om gaat.  Of we deze AI artefacten als autonome systemen willen opvatten, dat is een keuze die wij maken. Daar kan geen enkele technische ontwikkeling ook maar iets aan veranderen.  Wetenschappers en journalisten moeten beter op hun woorden letten en geen broodje aap verhalen verspreiden. Daar worden we niets wijzer van.

Machine learning maakt gebruik van data, van dingen die geweest zijn. Technologie die gebaseerd is op deze data en die toepast in nieuwe situaties ontkent dat er nieuwe situaties bestaan. Als rechters moeten we verantwoorden dat het terecht was om in een specifieke concrete situatie deze technieken en statistieken te gebruiken. Dat kan een machine per definitie niet overnemen omdat het rechtspreken vooronderstelt een gevoel voor waar het om gaat en dat is de machine vreemd. Machines zijn geleerd, maar begrijpen niet waar het om te doen is.

De wetgever worstelt met het probleem van de verantwoordelijkheid.

Wat is een autonoom wapen? Human Rights Watch (in: Mind the Gap: The Lack of Accountability for Killer Robots, 2015):

• Fully autonomous weapons are weapons systems that would select and engage targets without meaningful human control. They are also known as killer robots or lethal autonomous weapons systems. Because of their full autonomy, they would have no “human in the loop” to direct their use of force and thus would represent the step beyond current remote-controlled drones.

De Nederlandse ministers Koenders en Hennis-Plasschaert  vroegen (april 2015) de CAVV wat we daaronder moeten verstaan: “betekenisvolle menselijke interventie’’.  De CAVV houdt het voor mogelijk dat er in de toekomst volledige autonome systemen komen. Dan is de mens volledig uit de loop. Maar deze systemen kunnen juridisch niet verantwoordelijkheid worden gesteld voor hun gedrag. De commissie adviseert de regering bij eventuele toekomstige aanschaf van autonome wapens “toe te zien op toepassing van het concept Moral Responsible Engineering in de ontwerpfase, gelet op het belang van de toewijzing van verantwoordelijkheid en aansprakelijkheid.’’

Er is namelijk een “accountability gap’’: niemand kan volgens de huidige wetgeving op zinvolle wijze ter verantwoording worden geroepen wanneer een killer robot een foutje maakt en een paar kinderen opoffert voor het doden van een terreurverdachte.

“Kom over 5 jaar nog maar eens terug’’, adviseert de advies commissie de ministers, want de ontwikkelingen in de AI gaan zo snel. (Autonome wapensystemen, de noodzaak van een betekenisvolle menselijke interventie, Rapport No97 AIV / No 26 CAVV, oktober 2015).

Maar voorlopig stelt de commissie vast zullen er mensen in de wider loop zijn (minister van defensie, legerleiding) die volgens geldend recht ter verantwoording kunnen worden geroepen voor een interventie door bewapende drones. Het zijn mensen die technologie gebruiken.

Interessant is dat de commissie in haar rapport schrijft:

“Betekenisvolle menselijke controle moet de mogelijkheid bieden de eisen van onderscheid, proportionaliteit en voorzorg na te leven. Of aan deze eisen daadwerkelijk wordt voldaan, is afhankelijk van degenen die beslissen over inzet van een autonoom wapen.’’ (p.35).

Dit nu, lijkt me onafhankelijk van de stand van de techniek. In feite zegt de commissie hiermee dat de mens altijd uiteindelijk bepaalt of het een wapen inzet hoe dom of slim (autonoom) het ook is.

In feite komt dit neer op de houding t.a.v. AI die ik hierboven als de enige juiste voorstelde. Het is de mens die er voor kiest of een instrument autonoom is of niet. Robots kunnen misschien gedragingen simuleren maar hebben niet het vermogen zich te gedragen, noch de mogelijkheid zich te misdragen.

Techniek is ons een zorg en die zorg kunnen we niet aan de robot overlaten.