Het memo-debat: het verloren vertrouwen in “de overheid’’

Wij leven in een informatie-maatschappij. Onze samenleving draait op en om informatie. Gegevens (data) vormen een steeds belangrijker grondstof. Meer data is meer informatie. Wie meer informatie heeft, heeft meer macht.

Grote multinationals als Google en Facebook, drijven op de winst gemaakt met persoonlijke gegevens die ze verkopen aan allerlei bedrijven, organisaties en politieke partijen om gepersonaliseerde advertenties, selectieve en gefilterde informatie te sturen naar specifieke doelgroepen. De politie verzamelt data over burgers en woonwijken om haar predictive policing strategie uit te kunnen voeren.  De nieuwe Wet Inlichtingendiensten en Veiligheid (WiV) geven de AIVD en de MIVD meer legale ruimte om informatie te verzamelen over de burgers. Deze datavergaring gaat ten koste van de privacy van de individuele burger. Bovendien worden op basis van deze gegevens door abstracte algoritmes onverantwoordelijke besluiten genomen die het leven van individuele burgers treffen. De politie, de mediagiganten, de overheid, ze willen allemaal zoveel mogelijk informatie hebben over personen om hun gedrag te voorspellen en daarop hun inzet af te stemmen.

De Kamer heeft als volksvertegenwoordiging een belangrijke rol bij het controleren van de gangen van de overheid door de burger. Om die controle uit te kunnen oefenen heeft de Kamer informatie nodig.

Ook bij het recente debat over de nieuwe WiV ging het om informatie. Het ging over het heimelijk vergaren van persoonsgegevens, over het verantwoorden daarvan en over het delen van persoonsgegevens met anderen.

De voorstanders van de nieuwe wet WiV gaan er vanuit dat er voldoende controle is ingebouwd in de wet. De wet zou voldoende garanderen dat er geen misbruik kan worden gemaakt door de AIVD en de MIVD van de mogelijkheden die de wet biedt om ten behoeve van onze veiligheid burgers af te luisteren. Maar een wet is iets anders dan de uitvoering ervan in de praktijk. Mijn bezwaar tegen de nieuwe wet WiV is dat er ten onrechte vanuit wordt gegaan dat de diensten alle informatie die betrekking hebben op haar besluiten en aktiviteiten deelt met de verantwoordelijke ministers en de toetsingscommissie en dat de Kamer de nodige controle kan uitoefenen op wat er onder verantwoordelijkheid van de Ministers van Binnenlandse Zaken en Defensie gebeurt.  En dat deze toetsing mogelijk is binnen de beperkte tijd die beschikbaar is gezien de urgentie van de door de dienst voorgestelde interventie. In het bijzonder in het veiligheidsdomein is de veronderstelde openheid echter niet aan de orde. We horen regelmatig dat het niet in belang van de zaak is openheid van zaken te geven over “interne processen’’. Informatie delen zou economische belangen en veiligheidsbelangen schaden.

Uit het dividenddebat blijkt voor de zoveelste keer hoe moeilijk het is voor de Kamer om die informatie boven tafel te krijgen die nodig is om behoorlijk controle te kunnen uitoefenen op de regering, in het bijzonder op het kabinet. Stukken worden achtergehouden, geheugens worden gewist, er wordt een mist opgetrokken door woordenbrei en afleidingstactieken. De ministers zijn vaak ondeskundig op het gebied van de inhoud van hun ministerie (“het ligt buiten mijn comfort-zone’’ noemde Minister van Defensie Bijleveld dat onlangs in een interview) en in hoge mate afhankelijk van de informatie die de diensthoofden en andere ambtenaren met hun delen. Toch zijn de ministers formeel verantwoordelijk voor wat er gebeurt. Zo wordt er een formele muur opgetrokken waarachter de werkelijk verantwoordelijken hun onzichtbare werk kunnen doen. De formeel verantwoordelijke rest in het debat met de kamer niets anders dan gestamel en geschipper tussen trouw aan beleid en kabinet enerzijds en geloofwaardigheid anderzijds. Een geschipper waarvan de waarheid het eerste slachtoffer is.

“Hoe kunnen wij er als Kamer zeker van zijn dat wij de informatie krijgen die wij nodig hebben om ons werk te kunnen doen?’’  vroeg Lilian Marijnissen in het dividenddebat  (VK 26-04-2018).

De vraag stellen is haar beantwoorden: het is een kwestie van vertrouwen. En daar zit precies het probleem.

Het vertrouwen in de politiek, in Den Haag, in de regering is tanende. Bij veel burgers is het al volledig verdwenen. De meesten van hen keren zich dan ook af van de (landelijke) politiek.

Dat is funest voor een samenleving. Wanneer burgers zich niet meer serieus genomen voelen en het idee krijgen dat de bestuurders en de politiek verantwoordelijken telkens wegkomen met slimme woordspelletjes en wollig taalgebruik terwijl ze de zaak belazeren dan komen burgers op den duur in opstand. Wanneer onze regering het volk voor de kosten laat opdraaien van een maatregel die voordelig is voor buitenlandse grootverdieners zonder daarvoor verantwoording af te leggen dan is het niet vreemd wanneer burgers voor eigen gewin gaan. De burger zal zich steeds meer tegen de overheid opstellen. De burger zal zich steeds vaker verzetten tegen regels en wetten van de overheid.

Als de overheid haar beleid niet verantwoordt tegenover onze vertegenwoordigers in de Kamer moeten wij als burger ons dan nog verantwoorden tegenover de overheid?

De veiligheid is in het geding. Kabinetsleden zouden hun gedrag moeten veranderen en opener naar de burger en haar vertegenwoordigers moeten zijn in plaats van de burgers te minachten en te pleiten voor instrumenten om de burger op heimelijke wijze af te luisteren in plaats van een open dialoog met haar te voeren. De veiligheid van onze samenleving is niet gediend met een wet die door het kabinet wordt doorgevoerd met minachting van de bezwaren die een groot deel van de burgers er tegen heeft.

De letter van de wet WiV kan nog zo goed bedoeld zijn ik heb er geen vertrouwen in dat de regering de Kamer en daarmee de burger de nodige informatie zal geven zodat deze in staat is te controleren of de diensten zich wel aan de wet houden. Daarom ben ik tegen de uitbreiding van bevoegdheden van de veiligheidsdiensten.

De recente vertoningen in de kamer waarin het kabinet of een minister of staatssecretaris voor de Kamer verantwoording moest afleggen hebben er bij veel Nederlanders toe geleid dat de laatste restjes vertrouwen in de regering zijn verdwijnen. Dat is diep en diep triest.

De regeringspartijen mogen hopen dat het geheugen van de burger net zo slecht is als dat van de leden van het kabinet zodat ze bij de volgende verkiezingen gewoon weer op de VVD, D66, CU of CDA stemt.

Tot slot nog een kanttekening over het begrip liegen en wat wij “gewone’’ burgers “normaal’’ conversatiegedrag noemen.

Iemand die niet de waarheid spreekt hoeft nog niet te liegen. Liegen doet iemand wanneer deze tegen beter weten in beweert dat iets het geval is terwijl dat dus niet zo is. Oftwel: liegen doet iemand wanneer deze niet de waarheid spreekt terwijl hij of zij op dat moment wel weet wat waar is.

Het is dus moeilijk om te bewijzen dat iemand liegt. Hij of zij kan altijd zeggen ik wist niet anders, of mijn geheugen liet mij in de steek, of ik was onder invloed van pillen of alcohol. Voor een overtuigend bewijs zijn andere middelen nodig om aannemelijk te maken dat er gelogen wordt. Er zijn heel wat mensen in naam van de wet veroordeeld door rechters met heel wat minder bewijs dan in het memo-debat tegen Rutte is opgevoerd.

Liegen kan nog onderscheiden worden van misleiding (deceptie). Er is sprake van misleiding wanneer iemand moedwillig de suggestie wekt bij anderen dat iets het geval is terwijl hij of zij weet dat dat niet zo is. Bewust informatie achterhouden die de ander nodig heeft om een goede interpretatie van het gezegde te kunnen geven is een vorm van deceptie.

Wanneer Rutte zegt “ik heb geen herinnering aan een memo’’ terwijl hij daarbij een eigen interpretatie aan de term memo geeft waarvan hij weet dat deze niet de interpretatie is die de ander bij dat woord heeft, dan is dat misleiding. Rutte moet dan zeggen wat hij precies onder memo verstaat zodat er niet achteraf nog eens over gesoebat hoeft te worden. . Dat is wat wij “gewone’’ burgers “normaal’’ conversatiegedrag noemen. (Het voldoet aan de conversationele implicatie regels van Grice, zoals de politicus die communicatiewetenschappen of iets dergelijks heeft gestudeerd zich nog zal herinneren.)

“Oh u bedoelde zoiets? Maar dat is geen memo, dat is een kattebelletje.’’

Politici.  Bah!

De sleepwet: meer legale ruimte voor predictive policing

Predictive policing: voorkomen door te voorspellen

Een strategie waar de politie voor de misdaadbestrijding steeds meer op inzet is “voorkomen door voorspellen”: predictive policing. Door informatie te verzamelen over het (internet)gedrag van mensen en organisaties en die data op een slimme manier in een model te gieten kun je machines trainen om op basis van die data misdaden te voorspellen.  Die data heet “big data’’ omdat het veel is, de wetenschap heet data science, de techniek heet machine learning of social signal processing, en het product heet AI, artificiele of kunstmatige intelligentie, machines die situaties, personen, gedrag kunnen classificeren. De datamining technieken die gebruikt worden voor predictive policing zijn dezelfde als die door adverteerders en bedrijven als Cambridge Analytica gebruikt worden voor microtargeting: door te kijken wat iemand op het internet doet kun je voorspellen waarin iemand geinteresseerd is en of hij of zij gevoelig is voor bepaalde informatie.

De nieuwe wet geeft de AIVD en de MIVD ruimere mogelijkheden om alle vormen van communicatie af te luisteren (telefoontaps, social media, e-mails, etc) of in te breken indien ze dat voor de uitvoering van hun taken nodig achten. Ze kan internetproviders verplichten medewerking te verlenen. Samenwerking tussen de diensten en Nationale Politie, de Belastingdienst (FIOD) zijn in de wet geregeld. De wet biedt daarmee meer legale ruimte voor het verzamelen en verwerken van persoonlijke gegevens ten behoeve van predictive policing. De wet regelt beter dan de oude wet (2002) het toezicht, de controle, evaluatie en klachtenbehandeling.  Althans op papier. De vraag is hoe dat in de praktijk zal gaan. De verantwoordelijke Ministers van Binnenlandse Zaken en Defensie en de toezichthouders zijn afhankelijk van kennis en informatie. Daar zitten de pijnpunten.

Predictive policing is erop gericht de samenleving bedreigende criminele aktiviteiten te voorkomen door gebruik te maken van signalen die wijzen op de mogelijkheid dat die er aan staan te komen. Rutger Rienks schreef daar een rapport over namens de Nationale Politie: “Predictive Policing: kansen voor een veiliger toekomst.’’ (uitgave PolitieAcademie, 2015).

In het voorwoord van Rienks’ boek over Predictive Policing wordt de lezer uitgenodigd bij te dragen aan de discussie over de wenselijkheid van deze nieuwe policy die inmiddels al landelijk is “uitgerold’’. Hoewel Rienks ook aandacht besteed aan ethische bezwaren van predictive policy (big brother is watching you) is hij een enthousiast voorstander.

``Soms wordt aan mij de vraag gesteld of ik predictive policing wel een goede ontwikkeling vind. ‘Nou en of!’, zeg ik dan. Wie kan er nou op tegen zijn dat een politieapparaat beter zijn werk doet? Ieder slachtoffer van wat voor misdaad ook wil immers toch niets liever dan dat de misdaad waaraan hij of zij is blootgesteld voorkomen. Discussies over ethische kwesties en het recht op privacy van de burger versus de inbreuk hierop van de overheid spelen hierbij natuurlijk wel een belangrijke rol. Kijk alleen maar naar het feit dat er wetten worden gemaakt die voorschrijven wat wel en niet toelaatbaar is. Dit is van directe invloed op de effectiviteit van het apparaat.’’

Het is duidelijk waar het probleem zit: enerzijds wil je als burger geen slachtoffer worden van criminaliteit, of dat nu een terreur-aanslag is, een overval, inbraak, illegale vuilstort, of internetfraude. Je wilt dat proberen te voorkomen. Je wilt de politie zoveel mogelijk middelen in handen geven hun werk goed te doen. Anderzijds wil je ook niet dat je voortdurend in de gaten wordt gehouden door politie en veiligheidsdiensten. Iedereen is voor de waakzame veiligheidsdienst immers potentieel verdachte; de een misschien iets meer dan de ander. Bij velen heerst de vraag of we de diensten niet te veel ruimte bieden en hoe het gebruik daarvan gecontroleerd kan worden. Het is van zeer groot belang dat we als burgers vertrouwen hebben in de overheid en haar veiligheidsdiensten. Maar vertrouwen moet niet blind zijn; het moet gebaseerd zijn op inzicht in de capaciteiten van deze diensten en de politiek.

Is het verantwoord de veiligheidsdiensten en de verantwoordelijke ministers de middelen die de nieuwe wet biedt in handen te geven? Zijn er voldoende mogelijkheden ingebouwd voor toezicht en kritische evaluatie van het werk van de veiligheidsdiensten? Ik heb daar een aantal bedenkingen bij.

Informatie delen is geen gemeengoed in het veiligheidsdomein.

Voorstanders van de wet wijzen erop dat er voldoende toezicht is ingebouwd in het systeem om op een verantwoorde manier met de middelen om te gaan. Om dat toezicht te kunnen houden en om kritisch het gedrag van de diensten te kunnen evalueren is informatie nodig. Uit ervaring weten we dat het heel lastig is om bij een vermoeden van onrechtmatig handelen de nodige informatie boven tafel te krijgen.  Dat geldt ook bij controle van overheidsdiensten door de politiek. Het veiligheidsdomein is typisch een domein waarin men uiterst terughoudend is met het verstrekken van informatie. Dat maakt dat het houden van toezicht lastig is. De tekst van de wet getuigt weliswaar van de zorg om toezicht op naleving van de wet door de diensten, dat geeft echter geen garantie voor de praktijk.  Bovendien kent de wet noodzakelijkerwijs formuleringen die dermate vaag zijn (zoals:  “een goede taakuitvoering van de dienst”) dat het moeilijk is in concrete gevallen het eens te worden of wel of niet volgens de wet gehandeld is. Mogen we van iemand die op basis van partijpolitieke overwegingen Minister van Defensie is verwachten dat deze in staat is kritisch te staan tegenover het hoofd van de dienst? De wet biedt geen garantie voor een kritische toetsing door onafhankelijke partijen.

Toezicht en evaluatie (rapportage en klachtenafhandeling) vereisen niet alleen kennis en informatie van de processen maar ook kennis van de gebruikte tools. Dat brengt me op het tweede pijnpunt.

Verantwoord omgaan met artificial intelligence vraagt om een kritische houding ten aanzien van de mogelijkheden daarvan

Predictive policing, de strategie die in Nederland over alle korpsen is uitgerold, zal steeds meer gebruik maken van nieuwe technologie gebaseerd op methoden voor data analyse: machine learning. Inzet van politie is gebaseerd op voorspellingen die niet meer afhangen van een of ander Orakel van Delphi maar op resultaten van de “rationele wetenschappen’’ zoals de lector Intelligence van de Nationale Politie in haar voorwoord van het rapport over Predictive Policy schrijft. De “rationele wetenschap’’ en haar intelligente producten hebben in de ogen van veel mensen de voorspellende rol van de Griekse Goden overgenomen als het gaat om raadgevend advies. Als wetenschapper met vele jaren ervaring met onderzoek op het gebied van de wiskunde, informatica, machine learning en social signal processing deel ik het enthousiasme voor het bedrijven van wetenschappelijk onderzoek. Maar ik ken ook de beperkingen bij de toepassing in de praktijk. Predictive policing maakt gebruik van resultaten van onderzoek in de vorm van op data modellen gebaseerde procedures die voorspellingen doen. In principe komt het neer op het classificeren van gegevens op grond van een (soms) groot aantal kenmerken.  Geen enkele procedure zegt echter of een methode in een specifieke situatie tot de juiste voorspelling leidt. Geen enkele methode kan informatie geven over de betrouwbaarheid van de voorspellingen in een specifieke situatie. Het enige wat de wetenschap kan bieden is statistieken, gemiddelde verwachtingswaarden en kansuitspraken zoals “de kans dat de inwoner van deze wijk in deze stad een schuld heeft is zeventig procent’’. Of: “de kans dat dit lid van deze motorclub betrokken is bij criminele aktiviteiten is zoveel procent.’’  Ook betrouwbaarheidsmaten, door de wet verplicht, zijn gemiddelden. Bovendien zijn statistische modellen altijd gebaseerd op geselecteerde data.  De bias van die data is vaak onbekend bij de gebruikers van de technologie. Rienks kent zijn klassieken en heeft ongetwijfeld kennis genomen van de klassieke retorica: “Hoe veilig zou het zijn als de politie alles van te voren wist en alle vormen van criminaliteit zou kunnen voorkomen?’’. Dan kent hij ook de passage uit de Rhetorics van Aristoteles: “no art has the particular in view.’’ De wetenschap gaat niet over individuen, maar over klassen van individuen. “The particular is infinite and cannot be the subject of true science.’’ (Rhetoric I, II, 11-13).

Dit inzicht wordt een paar duizend jaar later, wanneer de statistiek zijn intrede heeft gedaan in de wetenschap, door Venn verwoord als  het Probleem van het Unieke Geval: “Every single thing or event has an indefinite number of properties or attributes observable in it, and might therefore be considered as belonging to an indefinite number of different classes of things.’’.  Sinds Reichenbach staat dit lastige probleem in de statistiek bekend als het Probleem van de Referentieklasse.  Het kiezen van de juiste referentieklasse om relevante voorspellingen te kunnen doen is een serieus probleem. Het speelt overal waar we proberen uitspraken te doen over een concrete unieke zaak op basis van statistieken. Een voorbeeld uit de rechtspraak is de zaak Shonubi een Nigeriaanse drugssmokkelaar die in de VS werd opgepakt en veroordeeld. Een artikel van Colyan et al. (2001) over deze zaak heeft de veelzeggende titel: Is it a crime to belong to a reference class? (The Journal of Political Philosophy, Volume 2, Number 2, pages 168-181).  Op grond van welke statistieken mag de rechter zijn strafmaat bepalen? Kun je in situaties die zich nu voordoen voorspellingen doen op basis van gegevens van anderen, en van oude data? In het statistisch universum is altijd alles als vanouds, zo is de aanname. Eens een gegeven blijft gegeven. Persoonlijke data blijft ons achtervolgen. Dat is de grote makke van op data gebaseerde systemen.

Op grond van welke referentieklassen doet de machine een uitspraak over bepaald gedrag, een  persoon of situatie? Intelligentie is het vermogen om in een concrete situatie in te zien wat het geval is en waar het om gaat om op grond van dat inzicht een besluit te nemen. Sommige mensen zijn van mening dat dit vermogen volledig door machines kan worden overgenomen omdat het zich in procedures en statistieken zou laten uitdrukken. Dat het nog niet altijd lukt is volgens hen een kwestie van tijd. Deze houding leidt tot een kritiekloos geloof in de uitvoer van de machine. “Machines zijn of worden binnenkort slimmer dan mensen’’ is een vaak gehoorde kreet in deze geloofsgemeenschap. Rienks: “Dat machines inderdaad slimmer worden dan mensen is niet onwaarschijnlijk.’’ De vraag is wie dat beoordeelt. Laten we dat oordeel over aan die intelligente machines of aan de makers van de machines?

De vraag is of de veiligheidsdiensten en de politiek voldoende doordrongen zijn van het inzicht in de beperkingen van de gebruikte technologie en daar in de praktijk ook naar handelen. Het geloof in de autonomie van de technologie staat een kritische houding ten aanzien van het gebruik in de weg. Verantwoordelijkheid voor beslissingen wordt afgeschoven op de gebruikte technologie.

Commercialisering van AI staat kritisch toezicht in de weg

De VS loopt voorop als het gaat om predictive policing.  CompStat wordt al sinds de jaren negentig in de VS gebruikt. In diverse staten wordt gebruikt gemaakt van Stingray devices voor het heimelijk tracen van mobiele telefoons. Critici in de VS wijzen op de gevaren die het gebruik van commerciele tools met zich mee brengt.

Conventional wisdom assumes that the police are in control of their investigative tools. But with surveillance technologies, this is not always the case. Increasingly, police departments are consumers of surveillance technologies that are created, sold, and controlled by private companies. These surveillance technology companies exercise an undue influence over the police today in ways that aren’t widely acknowledged, but that have enormous consequences for civil liberties and police oversight. (Elizabeth Joh in:  “The Undue Influence of Surveillance technology Companies on Policing’’ (2017))

De vraag is of de wet voldoende waarborgen biedt tegen het afsluiten van non-disclosure agreements met commerciele partijen die de tools leveren. Gezien de belangen van de markt is tevens de vraag hoe betrouwbaar productinformatie is. Het achterhouden van informatie of zelfs het verspreiden van onjuiste informatie maakt de taak van de toezichthouder er niet eenvoudiger op.

Naar een toekomst zonder criminaliteit?

Hoe mooi zou het zijn als we de toekomst konden voorspellen?’’ Het is lastig om te voorspellen waar predictive policing in de toekomst toe leidt en hoeveel macht we de politie en de inlichtingendiensten moeten geven. Welke scenario’s staan ons voor ogen? Op grond van het verleden hoeven we niet te verwachten dat criminele aktiviteiten uitroeibaar zijn. Wat we wel mogen verwachten is dat de bad guys, “onze’’ vijanden, over dezelfde middelen (gaan) beschikken als “wij’’, de “good guys’’ van onze veiligheidsdiensten. Wat we ook kunnen verwachten is dat onze diensten ten behoeve van haar taakuitvoering het de media, die een belangrijke rol speelt bij het aankaarten van mistoestanden, lastig zal maken bij het verzamelen van informatie over hun aktiviteiten. Eventueel door het verspreiden van fake data om de aandacht van de echte gebeurtenissen af te leiden. Journalisten zijn, evenals artsen en advocaten, kritisch over de nieuwe wet, omdat ze vertrouwelijke informatie moeten verstrekken. Wanneer “onze veiligheid” daar om vraagt. Nepnieuws en fake data zijn sowieso een bedreiging voor de effectiviteit van processen die gebaseerd zijn op data verkregen uit sociale netwerken. Hoe echt zijn de gegevens, teksten, fotoos, video-beelden, die via de media verspreid worden? Zijn we nog wel in staat fake data van echte data te onderscheiden?

Een niet te keren ontwikkeling?

Predictive policing is een haast niet te keren ontwikkeling ondanks het feit dat er bij een pilotevaluatie in 2017 geen positief resultaat werd gemeten. In het evaluatierapport “Predictive policing: lessen voor de toekomst: een evaluatie van de landelijke pilot” schrijven  Bas Mali, Carla Bronkhorst-Giesen en Mariëlle den Hengst in de conclusies:

Aanwijzingen dat predictive policing uiteindelijk leidt tot minder
(stijgende) criminaliteit hebben we niet kunnen vinden. De afstand tussen wat predictive policing kan zijn en wat het in de praktijk is, is dus groot.”

Waarom dan toch dat enthousiasme bij de politie voor predictive policing?

“Gegeven de professionalisering en positionering van IGP en de informatieorganisatie bij de politie is predictive policing een logische stap. De technologische ontwikkelingen en de steeds verdere informatisering van de samenleving maken ook dat dit soort ontwikkelingen, waarbij data meer en meer een rol spelen bij de keuzes in de uitvoering van het werk, niet meer weg te denken zijn.”

De drijvende kracht is het wijdverbreide en overheersende geloof in de informatisering, automatisering en slimme algoritmes gebaseerd op big data. Kortom: we moeten wel mee met de kudde. Crime wordt steeds meer cybercrime met inzet van AI van zowel de good guys als van de bad guys. Dat lijkt de onvermijdelijke toekomst waarin het zicht op de werkelijkheid steeds meer door big data en virtuele modellen wordt ontnomen. “Wij meten  niet; wij rekenen met modellen.”

Moeten we onze inspanningen niet meer richten op andere manieren om criminaliteit te voorkomen dan het stiekem afluisteren van burgers, artsen, advocaten, journalisten, politici, medewerkers van de politie, wellicht? Bijvoorbeeld door een open dialoog. “Ik praat liever met anderen dan dat ik ze afluister” zei Rob Bartholee van de AIVD. Dat lijkt me een goed uitgangspunt.

 

De autonomie van de killer robots

“Het zijn mensen die doden, niet wapens”. Marjan Slob vindt deze kreet van de National Rifle Association maar onzin. (VK 26-02-2018).  Het argument is dat de dader helemaal niet meer lijfelijk betrokken is bij het gevecht. De commandant die achter beeldschermen de autonome killer robots volgt loopt niet het risico zelf gewond te raken. Toch ben ik het niet eens met Marjan Slob.

Het is een veel voorkomende voorstelling die mensen hebben wanneer het gaat om de vraag naar de mogelijkheid van autonome en intelligente technische systemen: men vraagt bijvoorbeeld wie slimmer is: de mens of de machine, of wie er verantwoordelijk is voor de soms ongewenste gevolgen van inzet van autonome wapens. Wie echter de mens tegenover de techniek plaatst en ze in gedachten van elkaar scheidt die mist een wezenlijk kenmerk van zowel de mens als de techniek namelijk dat deze slechts in verhouding tot elkaar bestaan. Zonder de mens is de machine immers niet meer dan een fysisch gebeuren. En zonder mechanismen en automatismen zouden wij niet kunnen bestaan.

De moeder is moeder in relatie tot haar kind. Wie het kind los weekt van de moeder die mist het wezen van de moeder relatie.  Zo is het ook met de techniek: het is wat het is in relatie tot de mens die er gebruik van maakt. Techniek die niet meer als dienstbaar instrument gezien wordt is geen zinvolle techniek meer. De denkwijze die Marjan Slob dus terecht ziet als bedenkelijk aan de techniek – in het bijzonder de wapentechnologie – die zelfde denkwijze past ze toe wanneer ze nadenkt over het probleem van de techniek. Terwijl de problemen waarvoor de techniek ons plaatst een andere niet technische manier van denken vragen.

Wapentechnologie weekt de act van het doden los van het lichaam van de dader, zegt Marjan Slob.  Hoe intelligenter en zelfstandiger de technologie wordt des te meer verdwijnt de mens van het toneel.  Het is de ultieme verwerkelijking van een dualisme van lichaam en denken dat wel aan Descartes wordt toegeschreven.

Het is een abstracte wiskundige wijze van denken die eerst succesvol in de natuurwetenschappen was en later de hele wetenschap ging domineren. In de gedragswetenschap worden de uiterlijke vormen van communicatief gedrag bestudeert los van de persoon die zich gedraagt om deze vervolgens in de vorm van avatars en robots te simuleren.

Vanessa Evers is social robotics expert in Twente:

“Robots kunnen we menselijk gedrag laten herkennen door in een computer een enorme hoeveelheid plaatjes en videobeelden van gezichtsuitdrukkingen voor emoties in te voeren’’, legt Evers uit. “Plaatjes met een bepaalde stand van de mondhoeken en de ogen, die de robot herkent als lachen, verdriet, stress, woede, gecombineerd met stemgeluid. Na een tijdje heeft een robot dat in zijn zelflerende systeem opgeslagen en weet hij hoe daarop te reageren.’’

Bekend is het schilderij dat Margritte tekende van een pijp, waaronder hij de tekst schreef: “Ceci ce n’est pas une pipe.”  We zeggen “dat is een pijp” en wijzen op een tekening die een pijp voorstelt. Het is een wijze van spreken. Net zo is het slechts bij wijze van spreken dat een “robot iets in zijn zelflerende systeem heeft opgeslagen.”  Een robot heeft net zo min een geheugen als een stukje papier waarop we een boodschappenlijstje hebben geschreven een geheugen heeft. En wanneer je zegt dat de een het heeft dan moet je ook zeggen dat de ander het heeft.

In de VK van 2 september ging het over “hoe robots ons kunnen helpen in tijden van oorlog”.  Sietse Bruggeling bespreekt daar de toepassing van Kunstmatige Intelligentie in autonome wapensystemen (killer robots, zoals bewapende drones). De ministers van defensie en buitenlandse zaken vroegen de CAVV (de advies commissie voor veiligheid) om advies wat we daar mee aan moeten, op grond waarvan ze besloten het ontwikkelen van deze wapens niet uit te sluiten. Bewapende drones worden al lang ingezet (o.a. door Isreal tegen de Palestijnen; door de VS in de strijd tegen IS) .  Volgens humanitair oorlogsrecht moeten deze drones militaire doelen kunnen onderscheiden van burgerdoelen.

De suggestie van Bruggeling is dat autonome wapensystemen  nodig zijn omdat er soms snel beslist moet worden en dan moet je de “human uit de controle loop” halen. De mens is te traag. Bovendien zouden deze precisiewapens humaner zijn omdat ze minder “collateral damage” veroorzaken (een onaangenaam bijverschijnsel  is dat er onschuldige burgers slachtoffer worden van aanvallen op vijandige stellingen die vlakbij een kleuterschool of hospitaal zijn gevestigd.)

Maar hoe “autonoom” zijn die killer robots en autonome auto’s eigenlijk? Het punt is dat computers die emoties of homo’s of potentiele terroristen kunnen herkennen niet bestaan. En ze zullen ook nooit bestaan. Te zeggen dat ze bestaan is net zo onzinnig als te beweren dat er computers bestaan die beter kunnen rekenen dan een mens.  Wie beoordeelt dat en wie heeft die computers gemaakt?

Ik ben het met Daniel Dennett eens wanneer hij zegt dat het gevaar van AI  niet zit in robots die taken, beslissingen en de macht van de mens over zouden nemen. Het echte gevaar zit hem in de mensen die denken dat we dit soort dingen wel aan de computers en robots kunnen overlaten.  Want die computers die snappen er namelijk helemaal niets van.  Die robots die weten helemaal niet wat ze doen en waar het om gaat.  Of we deze AI artefacten als autonome systemen willen opvatten, dat is een keuze die wij maken. Daar kan geen enkele technische ontwikkeling ook maar iets aan veranderen.  Wetenschappers en journalisten moeten beter op hun woorden letten en geen broodje aap verhalen verspreiden. Daar worden we niets wijzer van.

Machine learning maakt gebruik van data, van dingen die geweest zijn. Technologie die gebaseerd is op deze data en die toepast in nieuwe situaties ontkent dat er nieuwe situaties bestaan. Als rechters moeten we verantwoorden dat het terecht was om in een specifieke concrete situatie deze technieken en statistieken te gebruiken. Dat kan een machine per definitie niet overnemen omdat het rechtspreken vooronderstelt een gevoel voor waar het om gaat en dat is de machine vreemd. Machines zijn geleerd, maar begrijpen niet waar het om te doen is.

De wetgever worstelt met het probleem van de verantwoordelijkheid.

Wat is een autonoom wapen? Human Rights Watch (in: Mind the Gap: The Lack of Accountability for Killer Robots, 2015):

  • Fully autonomous weapons are weapons systems that would select and engage targets without meaningful human control. They are also known as killer robots or lethal autonomous weapons systems. Because of their full autonomy, they would have no “human in the loop” to direct their use of force and thus would represent the step beyond current remote-controlled drones.

De Nederlandse ministers Koenders en Hennis-Plasschaert  vroegen (april 2015) de CAVV wat we daaronder moeten verstaan: “betekenisvolle menselijke interventie’’.  De CAVV houdt het voor mogelijk dat er in de toekomst volledige autonome systemen komen. Dan is de mens volledig uit de loop. Maar deze systemen kunnen juridisch niet verantwoordelijkheid worden gesteld voor hun gedrag. De commissie adviseert de regering bij eventuele toekomstige aanschaf van autonome wapens “toe te zien op toepassing van het concept Moral Responsible Engineering in de ontwerpfase, gelet op het belang van de toewijzing van verantwoordelijkheid en aansprakelijkheid.’’

Er is namelijk een “accountability gap’’: niemand kan volgens de huidige wetgeving op zinvolle wijze ter verantwoording worden geroepen wanneer een killer robot een foutje maakt en een paar kinderen opoffert voor het doden van een terreurverdachte.

“Kom over 5 jaar nog maar eens terug’’, adviseert de advies commissie de ministers, want de ontwikkelingen in de AI gaan zo snel. (Autonome wapensystemen, de noodzaak van een betekenisvolle menselijke interventie, Rapport No97 AIV / No 26 CAVV, oktober 2015).

Maar voorlopig stelt de commissie vast zullen er mensen in de wider loop zijn (minister van defensie, legerleiding) die volgens geldend recht ter verantwoording kunnen worden geroepen voor een interventie door bewapende drones. Het zijn mensen die technologie gebruiken.

Interessant is dat de commissie in haar rapport schrijft:

“Betekenisvolle menselijke controle moet de mogelijkheid bieden de eisen van onderscheid, proportionaliteit en voorzorg na te leven. Of aan deze eisen daadwerkelijk wordt voldaan, is afhankelijk van degenen die beslissen over inzet van een autonoom wapen.’’ (p.35).

Dit nu, lijkt me onafhankelijk van de stand van de techniek. In feite zegt de commissie hiermee dat de mens altijd uiteindelijk bepaalt of het een wapen inzet hoe dom of slim (autonoom) het ook is.

In feite komt dit neer op de houding t.a.v. AI die ik hierboven als de enige juiste voorstelde. Het is de mens die er voor kiest of een instrument autonoom is of niet. Robots kunnen misschien gedragingen simuleren maar hebben niet het vermogen zich te gedragen, noch de mogelijkheid zich te misdragen.

Techniek is ons een zorg en die zorg kunnen we niet aan de robot overlaten.

 

 

 

De Haas, de Eend en de Belastingdienst

Stel je voor: meneer Droogstoppel laat je onderstaande figuur zien met de vraag: wat is dit? Je antwoordt zonder aarzelen: een eendekop. “Fout” is het resolute antwoord van Droogstoppel: “het is een hazenkop”.  Je kijkt verbaasd nog eens naar de figuur. Verrek, ik zie het, het is ook een haas. “Neen”, zegt Droogstoppel: “het is niet ook een haas, het is een haas, het is geen eend. U moet beter kijken.”  Nee hoor, het plaatje is dubbelzinnig, je kunt er een haas maar ook een eend in zien. Kijk maar: de oren van de haas zijn de snavel van de eend. “Kletskoek”, houdt Droogstoppel vol.

Zo gaat dat nog even door totdat hij eindelijk toegeeft dat iemand er misschien ook wel een eend in kan zien. “Maar het is bedoeld als een tekening van een haas, niet van een eend. En daar gaat het om. Je hoort te weten wat de bedoeling is.” houdt Droogstoppel vol.

Er zijn ook dubbelzinnige zinnen. Een bekende is: “De man zag de vrouw met de verrekijker.” Of : “Wil je koffie of thee met melk?” .

In het belastingaangifteformulier 2010 stond de volgende vraag:

“Had XXX recht op een uitkering of op ondersteuning van werk in het kader van de wet Wajong?” Ik vulde voor iemand anders (XXX) het formulier in en op grond van de mij bekende gegevens had ik deze vraag met “ja” beantwoord.

Twee jaar later kwam de Belastingdienst bij een controle er achter dat de betreffende XXX ten onrechte een korting had ontvangen op de belasting. Ze kon gezien haar leeftijd geen uitkering hebben in het kader van de wet Wajong. Er moest een naheffing en een heffingsrente betaald worden. Toen ik het belastingformulier erbij pakte zag ik het. Ha, de belastingdienst bedoelde de vraag anders dan ik hem gelezen had.  Ik vond het niet terecht dat er heffingsrente werd opgelegd want mijn lezing was volkomen begrijpelijk en ik had de vraag naar eer en geweten beantwoord. De Belastingdienst moet geen dubbelzinnige vragen stellen. Dus begonnen we een bezwaarprocedure. Dat werd een Kafkajaanse ervaring. Ontelbare telefoongesprekken heb ik gevoerd met steeds weer andere ambtenaren van andere afdelingen waarin ik probeerde uit te leggen dat ik bezwaar maakte tegen een aanslag vanwege een dubbelzinnigheid in de vraagstelling. De Belastinginspecteurs begrepen mijn bezwaar niet.  Dat blijkt ook uit een brief van 9 januari 2013
waarin de inspecteur zegt mijn bezwaar af te wijzen. Hij schrijft daarin als motivatie: “U hebt na het lezen van het deel van de vraagstelling in de aangifte 2010 “Had u recht op een uitkering” gelijk de conclusie getrokken dat hier werd gedoeld op elke uitkering. De gehele vraagstelling luidt echter “Had u recht op een uitkering of op ondersteuning bij het vinden van werk volgens de Wet Wajong?” Naar mijn mening is na het lezen van de gehele vraagstelling de tekst zodanig te interpreteren dat deze tekst aansluit bij de wettekst en dat er wordt gedoeld op een uitkering ingevolge de Wet Wajong.”  Maar het meest bedenkelijke was nog wel de uiteindelijke dooddoener: “U wordt geacht de wet te kennen en te weten wat de Belastingdienst met deze vraag bedoelt.”  Het verhaal van Droogstoppel is verzonnen, maar de ervaring met de Belastingdienst is historisch. Uiteindelijk werd de heffingsrente kwijt gescholden. “Omdat we niet willen dat mensen met frustraties blijven zitten”, was het argument.  Nooit meer iets van gehoord, maar het jaar daarop was in het belastingformulier de redaktie van de vraag gewijzigd zodat deze niet meer dubbelzinnig was. De jaren daarna werd de dubbelzinnige zin echter weer in ere hersteld. In het geheel vernieuwde formulier voor 2017 staat de gedisambigueerde versie weer:  Had XXX recht op een uitkering volgens de Wet Wajong of op ondersteuning bij het vinden van werk volgens
de Wet Wajong?

Je kunt wel gelijk hebben maar je moet soms lang wachten voor je het ook krijgt. Zeker als het om instanties als onze Belastingdienst gaat.

Even voorstellen

Ik ben van 1952.

Het jaar waarin Aad van Wijngaarden, directeur van het Mathematisch Centrum de ARRA = Automatische Relais Rekenmachine Amsterdam, de eerste Nederlandse rekenmachine, aan pers en politiek laat zien.  (zie de documentaire De ARRA herinnerd  van o.a. computerhistoricus Gerard Alberts: “die ARRA deed het niet”).

In 1952 wist ik nog niet hoe zeer de computer mijn leven en denken zou gaan bepalen. Ik ging naar de Rijks Hogere Burger School aan het Zaailand in Leeuwarden. De belangrijkste prestatie in vijf jaar was het winnen van het Zilveren Schildtoernooi, een jaarlijks voetbaltoernooi tussen schoolteams van een aantal Friese HBS-en en  lycea. Voetbal was mijn lust en mijn leven maar ik besloot te gaan studeren aan de Technische Hogeschool Twente. Na de tweejarige algemene propedeuse besloot ik bij Toegepaste Wiskunde te gaan studeren mede gestimuleerd door mijn buurman Rouke Henstra. Na mijn baccalaureaats in de diskrete wiskunde en grafentheorie (ook ik heb vele uren geworsteld met het vierkleurenprobleem) ging ik theoretische informatica studeren. Ik volgde colleges digitale techniek bij Gerrit Blaauw, medeontwikkelaar van de ARRA II, een echt werkende opvolger van de ARRA, en programmeertalen bij Arie Duijvestein, eerst Algol60, later Algol68. In het college Informatietheorie van Dirk Kleima maakte ik voor het eerst kennis met het statistisch entropiebegrip in het kader van de communicatietheorie van Shannon en Weaver en leerde ik het Maxwell-duiveltje kennen. Colleges formele talen en automatentheorie en semantiek van programmeertalen volgde ik bij Joost Engelfriet en Leo Verbeek. Ik volgde verschillende colleges bij de onderafdeling Wijsbegeerte en Maatschappijwetenschappen: ethiek (Paul van Dijk) , wetenschapsfilosofie (Errit  van der Velde).  Met docent Pieter Tijmes gingen we op studiereis (we lazen ter voorbereiding Marx en Engels en de staatskrant Neues Deutschland) naar de DDR waar we o.a. Buchenwald bezochten. De colleges van Louk Fleischhacker, wiskundige, logicus en filosoof, spraken mij erg aan:  klassieke en mathematische logica, axiomatische verzamelingenleer en filosofie van wiskunde en techniek.  Hij stimuleerde mij om af te studeren op een theoretisch onderwerp: de betekenis van de zelf-applicatie van functies, een fenomeen in de theoretische informatica dat volgens Louk de wiskundige uitdrukking is van de als autonoom gedachte techniek.  Via Louk maakte ik kennis met het werk van een van de belangrijkste Nederlandse filosofen:  Jan Hollak (zijn inaugurele rede “Van Causa Sui tot Automatie” uitgesproken bij de aanvaarding van ambt als hoogleraar wijsbegeerte in Nijmegen (1968) is een bron van inspiratie voor inzicht in de betekenis van techniek vanuit antropologisch perspectief.)  De studiebijeenkomsten “filosofie van de techniek” onder leiding van fysicus en filosoof Maarten Coolen aan de universiteit van Amsterdam waren voor mij een welkome afwisseling met de technische colleges aan de TH in Twente.   Ik liep stage bij IBM in Tel Aviv. “Is er ook zoiets als niet toegepaste wiskunde?” vroeg de man die mij bij IBM verwelkomde, toen ik vertelde dat ik toegepaste wiskunde studeerde. Van de wiskunde vakken had ik het meeste moeite met het vak kansrekening en statistiek dat aan de TH Twente door wiskundigen werd gegeven. Pas na vier pogingen had ik eindelijk een voldoende voor het tentamen.  Vaak proberen vergroot de kans op een voldoende. Wat weerstand biedt en moeite kost te begrijpen heeft kennelijk een bijzondere aantrekkingskracht: dat geldt zowel voor het werk van Hollak en Fleischhacker (die bij Hollak promoveerde: “Over de grenzen van de kwantiteit”)   als voor de statistiek.

Na mijn afstuderen deed ik vervangende dienst waartoe ik als erkend gewetensbezwaarde verplicht was. Daarna was ik vier jaar docent wiskunde en natuurkunde aan het Kottenpark College in Enschede, waar ik samen met collega Henry Ruizenaar de eerste lessen programmeren voor enthousiaste leerlingen ontwikkelde.  Ik werkte twee jaar bij de onderafdeling Wijsbegeerte en Maatschappijwetenschappen. Hoewel het onderwijs geven me goed beviel trok de wetenschap me meer en ik werd promotiemedewerker bij Anton Nijholt hoogleraar theoretische informatica aan de THTwente. Vier jaar sloot ik me op om mij te bekwamen in het bewijzen van de correctheid van algoritmes voor het ontleden en implementeren van computerprogramma’s. Een saaier proefschrift dan mijn “Parsing Attribute Grammars” is nooit verschenen.

Na mijn promotie werd ik docent aan de Universiteit Twente: compilerbouw, functioneel programmeren (in Miranda) en formele analyse van natuurlijke taal. Mijn belangstelling ging vooral uit naar taal en techniek.  De Parlevink groep die zich in eerste instantie vooral bezig hield met talige interaktie tussen mens en machine ontwikkelde zich onder aanvoering van Anton Nijholt tot de groep Human Media Interaction waarin alle mogelijke vormen van interaktie tussen mens en computer werden bestudeerd. De computer interface kreeg geleidelijk aan een steeds menselijker gedaante.  Want zoals Louk eens tegen me zei: als je de taal van de mens wil formaliseren dan moet je de hele mens formaliseren. Sociologen en sociaal psychologen als Schegloff, Goffman (“The presentation of self in everyday life”) en Argyle hadden in de jaren vijftig de kleine gedragingen (tiny behaviours, zoals het ophalen van de schouders of wenkbrauwen, het lachen, kijkgedrag ) geconstrueerd (of geidentificeerd, hoe je het ook wilt zien) als onderwerp van een nieuw wetenschappelijk domein. Het zijn de observeerbare buitenkanten die we los kunnen denken van de persoon en waarbij we afzien van de persoon.  Op dezelfde manier waarop in de taalwetenschap al veel eerder de talige zinnen los kwamen te staan van de spreker en de concrete situatie waarin deze wordt geproduceerd. Deze abstractie is de mogelijkheidsvoorwaarde voor de natuurlijke interfaces in de vorm van avatars, voor de machines die onze taal gaan spreken, de robots die onze gebaren overnemen. Van dit uitwendige karakter van de taal van de techniek worden we ons meer en meer bewust. De autonome kunstmatig intelligente techniek is tegelijkertijd hoogtepunt en eindpunt van de in onze westerse cultuur die beheerst wordt door het mathematische denken en een kenniseconomie.

De bruikbaarheid van technische systemen is vakgebied geworden. Mijn belangstelling gaat uit naar die plekken waar mens en technisch systeem elkaar ontmoeten.