Prof. D.C. Dennett and the Power of the Computer

D.C. Dennet is a scientific philosopher. He is deeply concerned with questions about the human mind, consciousness, free will, the status of men and machine in the world of creatures. The stored program computer is a key concept in his philosophy. (For a bibliography see ).

“Thinking is hard.” We think a lot but we often follow paths that mislead us from the truth. In “Intuition pumps” (2013) Dennett collected a large number of stories, thought experiments that he developed in order to think properly to find answers to nasty questions. Reading the book is a good way to introduce yourself into the rich world of one of the most important thinkers of today. I follow Dennett from the time he published The Mind’s I (1981) together with D. Hofstadter (I got a copy from my students when I left high school, where I teached mathematics and physics, back to the university.)

As I said, the computer plays a key role in Dennett’s thinking. I always felt that there is something wrong with the way he thinks about the computer but it was always hard for me to understand what it exactly was and most importantly how I could understand how his idea about the computer fits in his philosophy. In this essay I try to explain where I believe Dennett is missing an important point when he explains “where the power of the computer comes from”.

According to Dennet we do not need “wonder tissues”, to explain the working of the human mind. When we understand what a computer can do and when we see how computers work we will eventually see that we do not need to rely on “magic” to understand the human mind. Electronic circuits can perform wonderful things.

He explains his students how the computer works in order to unveal the secrets of the power of the machine. By showing the students where the power of the computer comes from he tries to make clear that the evolution of the machine eventually leads to a computer that equals the power of the human mind.

Where does the power of the computer come from? Or how does a computer work?

Difficult questions. For me at least. From the time I was a student (I studied mathematics and computer science in the 70s at the University of Twente in the Netherlands) these questions kept me busy. How do we have to think properly to find an answer? I read many texts that describe the working of the computer. I teached students how to program computers in various types of programming languages. I teached them in “Compiler Construction” courses how to implement higher order programming languages. I programmed computers in order to allow people having a conversation with the computer in Dutch or English. I gave courses in formal language theory, mathematical logic, computability theory, machine learning, and conversational analyses. I teached my students to program a Universal Turing Machine or Register Machine, the basic mathematical models of the stored program computer, precursors of all modern computers.

But I always felt that being able to program a computer, and being able to teach others how to program a Turing machine or a Register Machine does not mean that you can give a satisfying answer to the question: how does a computer work?

From Louk Fleischhacker, my master in Philosophy of Mathematics and Technology, I learned that a satisfying answer to the question how the computer works is hard to give without understanding mathematics, without understanding what it means to compute something. The computer would not be possible without a fundamental idea in metamathematics: that the language of arithmetics can be constructed as mathematical structure itself and that the arithmetical and logical operations can be formalized as operations on a formal language. This language becomes the interface, a programming language, to the mathematical machine. It is not for nothing that many people answer the question what mathematics is by saying that it is a special language. When we make a computation we manipulate tokens according to rules that we have learned.

There are at least two types of answers to the question how a computer works.

There is the technical answer. Dennett gives a technical answer. He explains in a very clear way how the register machine works by showing and teaching his students how to program the register machine. This machine is programmed using a very simple programming language: it has only three types of instructions. Step by step he explains what the machine does with the instructions. After he has explained how the machine can be programmed to add two numbers he asks his reader to be aware of the remarkable fact that the register machine can add to numbers without knowing what numbers are or what addition is. (I emphasize “without knowing” because it is a central idea in Dennett’s thinking: many creatures show intelligent behavior without knowing.)

Technical answers like this never satisfied me. They do not explain what we exactly mean by phrases like “what the machine does”.

As an answer to “how does a computer work?” I sometimes gave my students the following demonstration.

I hold a piece of paper for my  mouth and I shout “Move!”. The moving of the paper I then explained by saying:  “you see, the paper understands my command.” In a sense (Dennett would say “sort of” understands!). In what sense? Well, the meaning of the word confirms the effect of the utterance of the word: the paper moves as if it understands what I mean with uttering the word. This is an essential feature of the working of the computer. Note that the movement of the piece of paper is conditional on my uttering of the word. There is a one-to-one correspondence between the meaning of the word and the effect of uttering it.

The computer is a “language machine”. You instruct it by means of a language. The hardware is constructed so that the effect of feeding it with the tokens satifies the meaning that the tokens have. Therefore the programmer has to learn the language that the machine “sort-of” understands. The program is the key, the machine is the lock that does the work when handled with the proper key.

What has this to do with mathematics? Well; what is typical for mathematics is that mathematical expressions have an exact and clear meaning: there is no vagueness. There is a one-to-one correspondence between the effect of uttering the word and the physical effect caused by it, that represents the meaning of the word.

A demonstration I gave people in answer to the question “how does a computer compute the sum of two numbers?” runs as follows. I demonstrate how a computer computes 2 plus 3. First I put 2 matches on an overhead projector. Then I put another 3 matches on a second projector. Then one by one I move the three matches from the second projector to the first project. And look: the result can be read off from the second projector: five matches.

Explanation: the two and three matches stand for the numbers 2 and 3 respectively: there is a clear unambiguous relation between the tokens (the three matches) and their meaning, the mathematical object (the number 3). The moving of the 3 matches to the first projector stands for the addition operation: a repetition of adding one until there is no match left on the second projector. The equality of the 2 and the 3 as seperated units (representing the numbers 2 and 3) on the one hand and the whole of 5 matches (representing the number 5) is a mathematical equality. You might say that I execute a conditional branching instruction when doing the demonstration: if there is a match on the second projector take a match and put it on the first projector; else stop and read off the result. But also my execution is conditional on the procedure that I follow. In the stored program computer there is no difference in status between the program parts, the statements, and the numbers. The difference between statements or operators and numbers or operants is only in the minds of the designer and the programmer.

I think most people did not took my demonstration as a serious answer to the question how a computer works. But I believe it shows an essential feature of the computer. A feature that Dennett misses when he tries to explain the power of the computer.

According to Dennett the power of the register machine is in the conditional branching instruction. This construction tells the machine to check if a certain register contains the number 0 and then take a next step based on the outcome of this check. What is so special about this instruction?

“As you can now see, Deb, Decrement-or-Branch, is the key to the power of the register machine. It is the only instruction that allows the computer to “notice” (sorta notice) anything in the world and use what it notices to guide its next step. And in fact, this conditional branching is the key to the power of all stored-program computers, (…)’’ (From: Intuition Pumps and other tools for thinking. The same text – without the bracketed sorta notice – can be found in Dennett’s lecture notes The secrets of computer power revealed , Fall 2008).

What Dennett misses, and what is quite essential, is that every instruction is a conditional instruction. Not just the Deb instruction. The End instruction, for example, only does what it means when the machine is brought in a world state that makes the machine execute this instruction. Eventually this is the effect of our act of instructing the machine. When we instruct the computer by pressing a key or a series of keys the computer “notices something in the world” and acts accordingly. For example by stopping when we press the stop button. This is precisely the feature I try to make clear by my first demonstration with the piece of paper. The set up demonstration (the piece of paper held in front of the mouth) is such that it “notices” the meaning of the word “move”. How do we know? Because of the way it responses to it. We see that the computer responds in correspondance to the meaning and goal of our command and we say that it “understands” what we mean. Every instruction is conditional in the sense that it is only executed when it is actually given. Indeed, the machine does not know what it means to execute a command. A falling stone doesn’t know Newton’s law of mechanics. Does it? And yet, you might say that it computes the speed that it should have when it touches the ground. Sort of.

Yet, the conditional instruction is special in the sense that it is the explicit form of the conditional working of the machine.  It assumes the implicit conditional working of the instructions we give to the computer. Just like the application of the formal rule of modus ponens assumes the implicit use of this rule. (see Lewis Carrol’s funny story “What the tortoise said to Archilles”). We call a logical circuit logical because the description of the relation between the values of the input and output of the circuit equal that of the formal logical rule seen as a mathematical operator.

We distinguish a sentence from the act of someone expressing the sentence and meaning what it says. Somewhere in history of mankind this distinction was made. Now we can talk about sentences as grammatical constructs, objects that somehow exist abstract from a person that utters them in a concrete situation. Now we talk about “truth values” of sentences, we study “How to do things with words”; words and sentences have become instruments. Similarly, we analyse “conversational behaviors” (such “tiny behaviors” like head nods, eye gazes) as abstract gestures. And we synthesize gestures in “social robots” as simulations of “human conversational agents behavior”. Many people think that we can construct meaningfull things and events from meaningless building blocks if the constructs we built are complex enough. Complexity is indeed the only measure that rests for people that have a structural world view, a view that structure is basically all there is. (In Our Mathematical Universe: My Quest for the Ultimate Nature of Reality, Max Tegmark posits that reality, including life!, is a mathematical structure.)

Many people, including Dennett, think about the computer as something that is what it is abstract from the human mind, abstract from the user and the designer. As if the machine is what it is without the human mind for which it is what it is and does what it does. However, the real power of the computer is in the mind of the human who organises nature in sich a way that it can be used as representation of meaningfull processes.

The Turing test does not test how intelligent a machine is. It tests if the human mind is able to construct a machine that is able to make other minds believe that it is intelligent. This has consequences for the question who is ultimately responsible for what machines do. It has consequences for what we mean when we talk about “autonomous machines” or “artificial intelligence”.

Dennet sees the machine and the human mind as distinct realities that can exist seperately. For Dennett there is no fundamental difference between the computer that “sort of” understands and the human mind that “really” understands. The difference between the two is only gradual: they are different stages in an evolutionary proces.

Can robots become conscious? Dennett answers this question with a clear yes. In a conversation with David Chalmers about the question if superintelligence is possible Dennett posits:

“(…) yes, I think that conscious AI is possible because, after all, what are we?
We’re conscious. We’re robots made of robots made of robots.
We’re actual. In principle, you could make us out of other materials.
Some of your best friends in the future could be robots.
Possible in principle, absolutely no secret ingredients, but we’re not going to see it. We’re not going to see it for various reasons.
One is, if you want a conscious agent, we’ve got plenty of them around and they’re quite wonderful, whereas the ones that we would make would be not so wonderful.” (For the whole conversation (recorded 04-10-2019):

Can machines think? Dennett would answer this question with a clear yes, too. After all: people are machines, aren’t we? But he doesn’t consider this question as really important. The real challenge of artificial intelligence is not in this type of “philosophical” questions.

According to Dennett the real challenge of AI is not a conceptual but a practical one.

“The issue of whether or not Watson can be properly said to think (or be conscious) is beside the point. If Watson turns out to be better than human experts at generating diagnoses from available data it will be morally obligatory to avail ourselves of its results. A doctor who defies it will be asking for a malpractice suit.”

“The real danger, then, is not machines that are more intelligent than we are usurping our role as captains of our destinies. The real danger is basically clueless machines being ceded authority far beyond their competence.” (D.C.Dennett in: The Singularity—an Urban Legend? 2015)

I cannot agree more with Dennett’s than with this. As soon as machines are considered autonomous authorities they stop being seen as usefull technical instruments. They are considered Gods, magical masters, then. For me this is a consequence of the fact that machines are what they are only in relation to the human mind for which they are machines.

A.M. Turing, D.C. Dennett and many more intelligent minds are products of evolution. Machines are products of evolution as well. But there is a fundamental difference between natural intelligence as we recognize it in nature as a product of natural Darwinian evolution, and artificial intelligent machines that are invented by human intelligence.

As soon as we forget, for whatever reason or by whatever cause, this important difference will disappear.

D.C. Dennett, Intuition Pumps and other tools for thinking, W.W. Norton Publ.,2013. Translated in Dutch: Gereedschapskist voor het denken. Uitg. Atlas Contact, Amsterdam/Antwerpen, 2013.

L.E.Fleischhacker, Beyond Structure: the power and limitations of mathematical thought in common sense, science and philosophy. European University Studies 20(449), Peter Lang, Frankfurt am Main, 1995.

De willekeur van het statistisch model

Statistiek is lastig. Tijdens mijn studie toegepaste wiskunde in de jaren 70 werd het vak statistiek gegeven door wiskundedocenten.  Als vervolg op het vak kansrekening. Dat gebeurt nu nog vaak. Alsof statistiek een onderdeel van de wiskunde is. Voor mij was statistiek een struikelvak. Het enige vak waarvoor ik pas na vier pogingen een voldoende haalde. Vele jaren later, ik was toen al docent aan de universiteit, las ik het monumentale Probability Theory: the logic of science van de fysicus E.T. Jaynes. Vanaf toen werd me geleidelijk duidelijk wat kansrekening en statistiek met elkaar te maken hebben en dat statistiek beter door experimentele wetenschappers  (fysici of sociaal psychologen) onderwezen kan worden dan door wiskundigen. Althans wanneer je er meer mee wilt dan alleen een cijferbriefje halen.  Je leert pas wat statistiek inhoudt als je met gegevens moet worstelen om daaruit zinvolle informatie te halen.

In de Volkskrant van 8 september schreef Ionica Smeets in haar blog “Ionica zag een getal” over een studie die “laat zien hoe moeilijk het is om een ogenschijnlijk simpele vraag te beantwoorden met een statistische analyse.”

De ogenschijnlijk simpele vraag waar het in de betreffende studie om ging is de volgende:

Geven scheidsrechters bij voetbal eerder een rode kaart aan spelers met een donkere huidskleur dan aan spelers met een lichte huidskleur?

29 Onderzoekteams kregen de vraag voorgeschoteld. Alle teams kregen dezelfde data om te analyseren. De teams gebruikten allemaal een andere aanpak. 20 kwamen tot de conclusie dat er een “significant effect was”: donkere spelers kregen meer rode kaarten. De andere 9 teams vonden geen effect. Je kunt volgens mij op grond hiervan zeggen dat de kans dat statistici op grond van deze data tot de conclusie komen dat huidskleur een factor is die van invloed is op het oordeel van de scheidsrechter significant groter is dan 50 %.

Waarin verschilden nu die aanpakken? Ionica noemt een aantal zaken die je wel of niet mee kan nemen in je analyse van de data. De positie op het veld bijvoorbeeld. Krijgen verdedigers meer kaarten dan aanvallers en hoe zit met met de verdeling van huidskleur over deze twee posities in het veld? (De trouwe lezer van Ionica’s bog herinnert zich die over Simpson’s Paradox.)  Misschien moet je de huidskleur van de scheids meenemen? Of zijn of haar politieke voorkeur. Je kunt het zo moeilijk maken als je maar wilt.

Stel dat in de voetbalwedstrijden waarvan data beschikbaar is 50 keer een rode kaart aan een donkere speler werd gegeven en 10 keer aan een blanke speler. (Ik ga even aan het probleem voorbij van de vaagheid van de termen donker en licht als bepaling van de huidskleur. Of het bij vaagheid om een andere vorm van onzekerheid gaat dan die zich met kansrekening en statistiek laat modelleren is een fundamentele kwestie die de wetenschappelijk wereld ernstig verdeelt.)  Je kunt dan zeggen: dat is duidelijk: er werd vaker aan een donkere speler een rode kaart gegeven dan aan een lichte, namelijk 5 keer zo veel. Daar is geen speld tussen te krijgen.

Dat is echter geen antwoord op de vraag. De vraag is of scheidsrechters (in het algemeen) tijdens voetbalwedstrijden (in het algemeen) de neiging hebben om donkere spelers eerder een rode kaart te geven dan lichte spelers. Het woordje “eerder” in de vraag zoals die door Ionica werd gesteld wijst erop dat we een algemene bewering willen doen over het gedrag van scheidsrechters.

Statistiek is de wetenschap die probeert verantwoorde algemene uitspraken te doen op grond van (noodzakelijk) beperkte hoeveelheden data. Inductie problemen als deze worden aangepakt door een wiskundig model te maken dat zo goed mogelijk past bij de werkelijkheid en dat het mogelijk maakt te zeggen hoe goed de mogelijke antwoorden op de vraag zijn, gegeven de data die beschikbaar is.  Het maken van een model is geen wiskunde ook al is het resultaat een wiskundige formule of een rekenprogramma. Het is de expert (of erger: de politiek) die bepaalt hoe het model eruit ziet. Dat heeft soms alles van willekeur. De wetenschapper moet de gemaakte keuzes verantwoorden.

Het ligt voor de hand in het model mee te nemen hoeveel donkere en lichte spelers meededen. Stel dat er maar 10 lichte spelers meededen in al die wedstrijden. Of sterker nog dat er maar 1 lichte speler meedeed die 10 keer rood kreeg (uiteraard in verschillende wedstrijden). Wat zou dan de conclusie zijn? Je zou dan eerder geneigd zijn te zeggen dat de scheidsrechter lichte spelers eerder een rode kaart geeft dan donkere. Maar kun je dat wel zeggen als je data hebt van maar 1 speler met een lichte huidskleur? Zou het gedrag van deze ene speler door diens huidskleur worden bepaald? Wellicht eerder door het feit dat hij de enige blanke speler is tussen alleen maar donkere medespelers en tegenstanders.

De vraag waar het om gaat is of we op grond van de beschikbare gegevens kunnen zeggen dat voetbalscheidsrechters eerder een speler met een donkere huidskleur een rode kaart geven dan een speler met een lichte huidskleur juist vanwege de huidskleur.  Niet omdat het gedrag van spelers tijdens een wedstrijd bepaald wordt door de huidskleur maar vanwege de houding van de scheidsrechter ten opzichte van spelers met een donkere huidskleur.

De vraag is die naar een causaal verband tussen gedrag van scheidsrechters ten opzichte van spelers en de huidskleur van die spelers.  Wat statistici doen is zoeken naar correlaties tussen de waarden van variabelen. Maar correlatie is geen causale relatie. Bij een causale relatie gaat het altijd om inzicht, een theorie die uitlegt hoe een verband tot stand komt. Correlaties op grond van data analyses kunnen wijzen op een causaal verband. Statistiek is daarom slechts het begin van een studie. Helaas wordt dat vaak vergeten en zijn studenten al blij met een p-value die op een significante correlatie wijst. Aan theorie komt men niet toe.

De Regelmatigheidsaanname

Uit dit leuke praktijkvoorbeeld wordt ook duidelijk welke niet onbelangrijke aanname gemaakt wordt waarop de hele zin van statistiek en data analyse berust.  Dat is de Regelmatigheidsaanname. Toegespitst op deze specifieke casus zegt deze dat er sprake is van een zekere regelmatigheid of herhaalbaarheid in het gedrag van scheidsrechters en spelers waar het gaat over het verband tussen rode kaarten en huidskleur.

De grote vraag is of deze wel geldt. Op grond waarvan mogen we aannemen dat er zoiets bestaat als de scheidsrechter, het gedrag van blanke of donkere spelers? De toepasbaarheid van de wiskunde en het wiskundig denken in het algemeen staat of valt met de validiteit van het redeneren in zulke algemene begrippen.

Zoals Aristoteles al opmerkte: de wetenschap heeft niets te zeggen over specifieke individuen of situaties.  Ze spreekt zich slechts in algemene termen uit over abstracte categorieen.  Het kernprobleem van de statisticus is dan ook te bepalen wat de relevante categorieen in een specifieke casus zijn.

Is verantwoord gebruik van autonome technologie mogelijk?

Door de indrukwekkende mogelijkheden van de informatietechnologie laat men zich vaak al te gemakkelijk verleiden tot een overdrijving van de zelfstandigheid van de producten van die techniek. Wat principieel een relatieve zelfstandigheid is met betrekking tot het menselijk gebruik, wordt dan voorgesteld als een absolute zelfstandigheid, die ook buiten dit gebruik om zou kunnen bestaan. Buiten het gebruik om is echter bijvoorbeeld de werking van een computer slechts een natuurproces dat niet principieel verschilt van het vallen van een steen.

Bovenstaande tekst is uit “Arbeid en (kunstmatige) intelligentie” een essay uit 1989 van de filosoof Louk Fleischhacker. In dit essay legt Fleischhacker een verband tussen wat hij noemt de praktische problematiek van de autonome technische systemen (robots, expertsystemen) enerzijds en de theoretische vraag naar de mogelijkheid van kunstmatige intelligentie anderzijds. De praktische problematiek is de gebruiksonvriendelijkheid die erin bestaat dat dergelijke systemen “nog minder verantwoordelijkheidsgevoel bezitten dan de ergste bureaucraat!”. In beide vragen, de praktische en de theoretische, gaat het om de relatie tussen menselijk kunnen en het functioneren van automatische systemen.

Zo’n 20 jaar na het verschijnen van deze tekst lezen we in de populaire media nog wekelijks berichten over de indrukwekkende mogelijkheden van de informatietechnologie: de zegeningen enerzijds (vervelend werk wordt door computers en robots overgenomen) en de transhumanistische doemscenarioos waarin superintelligente robots (de Terminator) de mensheid bedreigen, anderzijds. Steeds meer experts op het gebied van de AI tonen hun verontwaardiging over de sensationele berichten in de media.  Zachary Lipton, van het machine learning department van Carnegie Mellon University, spreekt van de “sensationalized crap” die in de media verschijnt over sociale robots of chatbots die  gesprekken voeren en een eigen taal zouden ontwikkelen. Dit fantastische beeld van de mogelijkheden van kunstmatige intelligentie wordt gepresenteerd met verwijzing naar wetenschappelijk onderzoek terwijl het met de conclusies uit dat onderzoek niets meer te maken heeft.

Niet  alleen journalisten, ook wetenschappers die hun resultaten in voor de leek begrijpelijke woorden uit proberen te leggen dichten de producten van kunstmatige intelligentie menselijke capaciteiten toe. Zoals in onderstaand citaat uit een interview met Vanessa Evers, social robotica expert.

“Robots kunnen we menselijk gedrag laten herkennen door in een computer een enorme hoeveelheid plaatjes en videobeelden van gezichtsuitdrukkingen voor emoties in te voeren”. (…) “Plaatjes met een bepaalde stand van de mondhoeken en de ogen, die de robot herkent als lachen, verdriet, stress, woede, gecombineerd met stemgeluid. Na een tijdje heeft een robot dat in zijn zelflerende systeem opgeslagen en weet hij hoe daarop te reageren.”

Robots herkennen menselijk gedrag, en emoties, ze kunnen leren en betekenisvol reageren op hun omgeving. Moeten we dit soorten teksten letterlijk nemen? Wat is er mis met van gedrag te spreken als het om robots of machines gaat? We zeggen toch ook dat de computer iets uitrekent of dat de machine ons vraagt een wachtwoord in te tikken? De bruikbaarheid van de computer zit hem toch juist in het feit dat deze zelfstandig een taak kan uitvoeren: een vraag stellen, iets voor ons uitrekenen. Voor het uitvoeren van die taken zijn ze toch juist gemaakt!

Hoe zouden we anders moeten zeggen wat de robot of machine doet als we niet die woorden mogen gebruiken die we gebruiken als we beschrijven wat mensen doen? We zouden telkens wanneer we het over een technisch ding hebben de woorden tussen aanhalingstekens kunnen plaatsen om aan te geven dat we het gezegde niet letterlijk moeten nemen, maar alleen maar bij wijze van spreken: de robot “stelt een vraag” , of de computer “denkt even na”.  De filosoof D.C. Dennett gebruikt wel de “soort van”-constructie (zie zijn: “De ‘soort van’-operator”, Hoofdstuk 21 in “Gereedschapskist voor het denken”).  De computer soort van denkt na. Maar wat is het verschil tussen denken van de mens en het soort-van denken van de computer? Volgens Dennett is er geen principiele scheidslijn tussen “soort van” denken en “denken”.  Er is slechts een gradueel verschil tussen het functioneren van een sociale robot en het gedrag van mensen. Dennett lijkt de technische ontwikkeling te zien als een voortzetting van de evolutie zoals door Darwin beschreven. Hij zet zich daarmee vooral af tegen die filosofen en theologen die geloven in een Intelligente Ontwerper die alles wat leeft van boven af heeft ontworpen en in een Geest die gemaakt is van een wonderlijk soort stof dat bewustzijn mogelijk maakt. Voor Dennett leveren de door Turing bedachte oneindige tape machine en de door Hao Wang bedachte registermachine het bewijs dat voor gedrag dat wij als zinvol (intentioneel) ervaren het niet nodig is het bestaan van een wonderlijke soort stof of een Grote Ontwerper aan te nemen. De computer is uit gewoon materiaal gemaakt en toch kan hij rekenen.    Maar betekent dit ook dat de computer of de robot zo zelfstandig is dat deze verantwoordelijk is voor “zijn eigen” gedrag?  Dat de computer kan rekenen dat wil ik nog wel geloven. Maar wat als hij een rekenfout maakt? Of is wat de computer doet altijd goed?

Er lijkt geen principiele grens te zijn aan de mogelijkheden van de producten van de informatietechnologie. Wat nu nog een fantasie is, zoals robots die een eigen taal ontwikkelen, kan morgen werkelijkheid zijn. Althans even werkelijk als de computer die rekent of de robot die een gezicht herkent en daarop reageert door bijvoorbeeld de herkende persoon te begroeten.

Om bruikbaar te zijn moet de simulatie van menselijk gedrag door een machine door de gebruiker als echt worden ervaren. De door de machine gegeneerde geluiden moeten door de gebruiker van een natuurlijke gesproken interface agent (zoals Siri van Apple) als een zinvolle vraag worden geinterpreteerd. Zo’n gesprek kan een medisch diagnostisch gesprek zijn waarin de computer medische gegevens over de gebruiker of een ander persoon verzamelt op grond waarvan de computer vervolgens een advies geeft.  Achter zo’n adviserende software-agent zit een hele kennisbank met medische gegevens. Wat is de status van deze systemen? Kunnen we de beslissing hoe te handelen overlaten aan een expertsysteem? Kunnen we wel een verantwoorde beslissing nemen of we het advies van een expertsysteem volgen of niet? Daarvoor zullen we meer moeten weten over de werking van het systeem. Maar was het er ons niet juist om te doen dat we ons als gebruiker niet druk hoeven te maken over hoe het werkt?

De praktische toepassingen van AI, robotica en machine learning hebben een grote impact op alle terreinen van het leven, van medische expertsystemen en operatierobots tot de “killer robots” op het slagveld. Het gebruik van robots en andere intelligente systemen die “zelfstandig beslissingen kunnen nemen” roept vragen op over ethische aspecten van robot-gedrag en de juridische status van dergelijke intelligente systemen.

De Committee on Legal Affairs van het Europese Parlement schrijft begin 2017 een rapport met aanbevelingen voor de Commission on Civil Law Rules on Robotics.

Het rapport constateert o.a.

that humankind stands on the threshold of an era when ever more sophisticated robots, bots, androids and other manifestations of artificial intelligence (“AI”) seem to be poised to unleash a new industrial revolution, which is likely to leave no stratum of society untouched, it is vitally important for the legislature to consider its legal and ethical implications and effects, without stifling innovation;

Het rapport roept de Commission op “to explore, analyse and consider the implications of all possible legal solutions, such as:”

(59.f): “Creating a specific legal status for robots in the long run, so that at least the most sophisticated autonomous robots could be established as having the status of electronic persons responsible for making good any damage they may cause, and possibly applying electronic personality to cases where robots make autonomous decisions or otherwise interact with third parties independently;”

In een OPEN LETTER TO THE EUROPEAN COMMISSION ARTIFICIAL INTELLIGENCE AND ROBOTICS spreken politici, AI en robot experts, ethici en juristen hun verontrusting uit over de European Parliament Resolution on Civil Law Rules of Robotics, en in het bijzonder over de aanbeveling aan de European Commission in de hierboven geciteerde paragraaf 59 f) .

Uit de open brief:

The creation of a Legal Status of an “electronic person” for “autonomous”, “unpredictable” and “self-learning” robots is justified by the incorrect affirmation that damage liability would be impossible to prove.

From a technical perspective, this statement offers many bias based on an overvaluation of the actual capabilities of even the most advanced robots, a superficial understanding of unpredictability and self-learning capacities and, a robot perception distorted by Science-Fiction and a few recent sensational press announcements.”

From an ethical and legal perspective, creating a legal personality for a robot is inappropriate whatever the legal status model

AI onderzoekers tegen de ontwikkeling van killer robots

AI experts, waaronder Max Tegmark van het Future of Life Institute en Elon Musk (Tesla, OpenAI), technologiebedrijven (waaronder Google DeepMind) en wetenschappelijke organisaties op het gebied van de AI pleiten er bij regeringen voor om niet meer delen te nemen aan de ontwikkeling van, de handel in en het gebruik van dodelijke autonome wapensystemen.

“… if you belief that the final decision to take a life should remain a human responsibility rather than falling to a machine, then please consider signing the pledge …”

Wat is er zo bijzonder aan deze autonome wapens dat AI experts hier de grens trekken als het gaat om de ontwikkeling van autonome systemen?  Het korte antwoord is: het is de complexiteit.

Wat is een autonoom wapensysteem?

Het antwoord van Paul Scharre, militair expert en voormalig policy maker in het Pentagon voor het ministerie van defensie, luidt:

” I basically define an autonomous weapon as one that can complete an entire engagement cycle on its own. That is to say, it has all of the functionality needed to search for targets, to identify them, to make a decision about whether or not to attack them, and then to start the engagement and carry through the engagement all by itself. So there’s no human in this loop, this cognitive loop, of sensing and deciding and acting out on the battlefield all by itself.”

De reden om de mens uit de loop te halen en het systeem zelf te laten beslissen of er geschoten wordt is tijd. Of liever het gebrek aan tijd: er moet onmiddellijk actie kunnen worden ondernomen zodra de killer robot een verdacht object in beeld heeft.

Volgens internationaal oorlogsrecht zijn er twee belangrijke criteria voor het beoordelen van de rechtmatigheid van een militaire operatie tijdens een conflict. De actie mag alleen gericht zijn op militaire doelen en niet op burger-doelen. Het geweld moet proportioneel zijn. Een killer robot moet dus zelfstandig kunnen beoordelen of zijn sensoren een militair doel (wapendepot, vijandelijke eenheid) in het vizier heeft en of de situatie om een aanval vraagt. Daarnaast moet het bepalen of er kans is op “collateral damage”, zoals het treffen van een schoolgebouw dat vlak naast het wapendepot is gelegen, en of de schade die het aanbrengt “proportioneel” is.

Bovenstaande omschrijving van autonome wapens door Scharre komt overeen met die van Human Rights Watch (in: Mind the Gap: The Lack of Accountability for Killer Robots, 2015):

  • Fully autonomous weapons are weapons systems that would select and engage targets without meaningful human control. They are also known as killer robots or lethal autonomous weapons systems. Because of their full autonomy, they would have no “human in the loop” to direct their use of force and thus would represent the step beyond current remote-controlled drones.”

De Nederlandse ministers Koenders en Hennis-Plasschaert  vroegen (april 2015) de CAVV wat we daaronder moeten verstaan: “betekenisvolle menselijke interventie’’.  De CAVV houdt het voor mogelijk dat er in de toekomst volledige autonome systemen komen. Dan is de mens volledig uit de loop. Maar deze systemen kunnen juridisch niet verantwoordelijkheid worden gesteld voor hun gedrag. De commissie adviseert de regering bij eventuele toekomstige aanschaf van autonome wapens “toe te zien op toepassing van het concept Moral Responsible Engineering in de ontwerpfase, gelet op het belang van de toewijzing van verantwoordelijkheid en aansprakelijkheid.’’

Er is namelijk een “accountability gap’’: niemand kan volgens de huidige wetgeving op zinvolle wijze ter verantwoording worden geroepen wanneer een killer robot een foutje maakt en een paar kinderen opoffert voor het doden van een terreurverdachte.

“Kom over 5 jaar nog maar eens terug’’, adviseert de advies commissie de ministers, want de ontwikkelingen in de AI gaan zo snel. (Autonome wapensystemen, de noodzaak van een betekenisvolle menselijke interventie, Rapport No97 AIV / No 26 CAVV, oktober 2015).

Maar voorlopig, stelt de commissie vast, zullen er mensen in de wider loop zijn (minister van defensie, legerleiding) die volgens geldende recht ter verantwoording kunnen worden geroepen voor een interventie door bewapende drones. Het zijn mensen die technologie gebruiken.

“Betekenisvolle menselijke controle moet de mogelijkheid bieden de eisen van onderscheid, proportionaliteit en voorzorg na te leven. Of aan deze eisen daadwerkelijk wordt voldaan, is afhankelijk van degenen die beslissen over inzet van een autonoom wapen.” (CAVV rapport, 2015, p.35).

Het probleem is dat we precies moeten specificeren hoe een autonoom systeem moet functioneren zodat we het zelfstandig kunnen laten werken.  In de woorden van Paul Scharre:

It was hard to translate some of these abstract concepts like, “Humans should decide the targets,” to technical ideas. Well, what does that mean for how long the weapon can loiter over a target area or how big its sensor field should be or how long it can search for? You have to try to figure out how to put those technical characteristics into practice.

AI experts zijn het erover eens dat de belangrijkste vaardigheid die vereist is om bruikbare en verantwoorde AI systemen te maken bestaat in het precies specificeren wat je wilt dat het systeem doet in alle mogelijke situaties die zich voor kunnen doen. Maar kan dat wel? Is het wel mogelijk om onze vaak vage  formuleringen van wat wij bedoelen en willen te vertalen in gedragsregels voor een computer? Het antwoord op deze vraag hangt samen met het antwoord op de vraag of kunstmatige intelligentie eigenlijk wel mogelijk is.

Hoe zit het met het verantwoordelijkheidsgevoel van technische artefacten? 

Voor Fleisschhacker is de onverantwoordelijkheid de grens van de bruikbaarheid van autonome technologie.

Het zijn de mensen die met zogenaamde autonome technologie omgaan die uiteindelijk beslissen of ze een intelligent systeem als volledig autonoom systeem willen inzetten. De beslissing de “human out of the loop” te halen wordt door de gebruiker gemaakt en valt dus onder diens verantwoordelijkheid. Wel beschouwd is het in principe helemaal niet mogelijk de mens uit de loop te halen, want ook dat is het effect van een menselijk besluit.

Het vervangen van arbeiders door robots is een stap in een proces welke is voorafgegaan door het robotiseren van de arbeid. Robotiseren van arbeid is arbeid puur zien als functioneren, als het uitvoeren van taken volgens bepaalde procedures binnen een bepaald systeem. Het is het resultaat van het minitieus analyseren van taken zoals Taylor dat in de 19de eeuw voorstelde ten bate van de verhoging van de productiviteit. De persoonlijke en sociale betekenis van de arbeid, de voldoening die de persoon ervaart bij het werk, het belang van de arbeid voor de ontwikkeling van de vermogens. Dat alles telt niet mee voor de robotisering; er wordt van geabstraheerd. De functie kan door een technisch artefact worden uitgevoerd en daar gaat het om.  In het gerobotiseerde werk is de uitvoerder, slechts uitvoerder van procedures, die precies voorschrijven hoe de taken moeten worden uitgevoerd. De enige verantwoordelijkheid die de uitvoerder heeft is het volgen van de door het technisch management ontwikkelde procedures, die in toenemende mate ondersteund worden door computersystemen.  In de zorg en in het onderwijs waar het bij uitstek moeilijk is algemene regels op te stellen voor de werknemer zonder de individuele patient of leerling geweld aan te doen wordt robotisering als contra-produktief ervaren.  Mensen hebben geen zin meer in het werk. Het werk wordt als zwaar ervaren omdat men er geen voldoening meer in heeft, omdat men als werknemer niet gezien wordt als volwaardige persoon met een eigen verantwoordelijkheid voor de manier waarop het werk inhoud wordt gegeven.


Louk Fleischhacker,  Arbeid en (kunstmatige) intelligentie. In: Arbeid adelt niet. (Pieter Tijmes, red.). Kok Agora, Kampen, 1989.

Oscar Schwartz, The discourse is unhinged’: how the media gets AI alarmingly wrong, The Guardian, 25-07-2018



Een tegendraadse historie over de Hindoestaanse contractarbeiders in Suriname (een review)

“There has never been a document of civilisation which is not simultaneously one of barbarism”  (Walter Benjamin in: Theses on the Philosophy of History, 1940)

In 1863 werd in Suriname en de Nederlandse Antillen de slavernij officieel afgeschaft. Nederland liep daarbij niet voorop: de Deense (1803), Britse (1834) en Franse (1848) regeringen waren haar voorgegaan. De slavenhandel door de West-Indische Compagnie en de slavenarbeid op de koffie-, suiker- en tabaksplantages in de West waren een te welkome bron van inkomsten voor de blanke Nederlandse overheersers.

Om in de behoefte aan arbeiders voor het zware werk op de plantages te blijven voorzien werden de “vrijgemaakte’’ slaven verplicht contracten te tekenen om tegen betaling op de plantages te werken. De duur van deze contracten was eerst 10 en later 5 jaar. Er ontstond een tekort aan arbeiders nu het gedaan was met de slavenhandel uit Afrika. In 1872 sloot Nederland met de Britse regering een verdrag voor het werven van contractanten in Brits-Indië. Koningin Victoria, keizerin van India, tekende het pact. Voor Nederland tekende koning Willem III. Op 5 juni 1873 arriveerde de eerste lading van 399 “nieuwe slaven’’ vanuit Calcutta Suriname. Velen zouden nog volgen. Sommigen zouden de oversteek niet halen.

In “Beyond being koelies and kantraki” neemt de auteur, Margriet Fokken, de lezer mee terug naar de periode vanaf 1873 tot 1921 waarin zo’n 34.000 Hindostaanse inwoners van India als contractarbeiders werden verscheept naar Suriname.

De meeste van de eerste generatie Hindoestanen waren niet van plan zich in Suriname te settelen. Ze zouden eens weer terug keren naar India, naar hun thuisland, de sacrale samenleving waarin religie het dagelijkse leven in al haar aspecten bepaalde. Velen zouden echter in Suriname blijven. Met het aantal van 180.000 nazaten vormen de Hindoestanen in Suriname ongeveer 27 % van de huidige bevolking.  Die 34.000 is overigens maar een fractie van het totale aantal van 1.500.000 contractarbeiders (“indentured labourers’’) die tussen 1830 en 1917 in India werden geronseld om in de Britse, Franse en Nederlandse kolonieen in de West het werk op de plantages over te nemen van de bevrijde Afrikaanse slaven. Naar Mauritius vertrokken 452.000, naar Brits Guyana 239.00, naar Trinidad 144.000. (Bron: The legacy of Indian migration to European colonies, The Economist, 2 Sep 2017.)

Kaste, religie, sexe, en afkomst bepaalden naast de fysieke conditie hoe de mensen werden behandeld tijdens de werving, het verblijf in de “depots” in India en gedurende de overtocht naar Suriname. Deze factoren bepaalden ook welke posities hen werd geboden in de sociale hierarchie en waar ze werden geplaatst in Suriname.

Het beeld dat Hindoestanen politiek en cultureel passief zouden zijn wordt door Fokken op grond van haar uitvoerige archiefonderzoek waarvoor ze diverse historische documentatiecentra in Oost en West bezocht, gecorrigeerd. Daarbij maakte ze niet alleen gebruik van geschreven documenten; ook beeldmateriaal, en andere materialen (kleding, audio opnames) worden gebruikt om een beter beeld te geven van de identiteit van deze mensen die met de denigrerende term “koelies’’ werden aangeduid.

Het is voor een buitenstaander als ik verbazingwekkend te zien, getuige de vele referenties in het boek, hoeveel er al geschreven is over het verleden van de contractarbeiders in deze periode van de Europese geschiedenis. Wat dit boek daar aan toevoegt komt voort uit de eigen insteek van de onderzoekster. Fokken las en analyseerde het historisch materiaal met een open blik voor de persoonlijke individuele levens van de Hindoestanen, mannen, vrouwen en kinderen. Waarbij de positie van de vrouw bijzondere aandacht krijgt. In die zin is het ook een meta-historische studie; een studie die de identiteit van een volk zoals dat in historische documenten wordt geconstrueerd, op kritische wijze onderzoekt. Daarbij in retrospect deze mensen een identiteit verlenend die meer recht doet aan de individuele (en sexe) verschillen die schuil gaan onder de abstracte benaming “koelie”, waarmee de Hindoestaan als een dommekracht werd (en wordt) weggezet. Met deze benadering “van onderaf’’ leest ze als het ware tegen de richting in van de verhalen die door de overheersers over deze periode zijn opgetekend. Daarbij geeft ze gehoor aan de oproep van de bekende joodse schrijver Walter Benjamin (Hij pleegde zelfmoord, in 1940, om aan de vernietiging in de Arbeitslager te ontkomen.) die van mening was dat de historicus het als zijn taak moet zien om tegendraadse geschiedenis te schrijven (“to brush history against the grain”).

Wat brengt een blanke Nederlandse studente uit een middelklasse gezin met een katholieke en baptisten achtergrond ertoe om een studie te beginnen naar de oorsprong van de hindoestanen in Suriname? Zelf schrijft ze daarover:

“My motivation for pursuing this particular topic of research came from an interest in colonial history, minority groups, gender, and subjectivity developed during the history programme I followed at Groningen University between 2005 and 2011. These interests can be traced further back to encounters with negative depictions of non-Western people in politics and in the media and being in school with ‘refugees’.”


“My complete lack of knowledge about Surinamese history was the main incentive to see this as an important topic of research.”

Beschaving is een dun vliesje

We oordelen vaak al te makkelijk over migranten en mensen met een andere culturele achtergrond in Nederland. Wat leidt tot het negatieve beeld van niet-Westerse mensen. Of het nu om eerste generatie politieke vluchtelingen gaat die door de IND in opvangcentra geplaatst worden of om nazaten van de 65.000 Turkse “gastarbeiders’’ die tussen 1960 en 1973 in de Nederlandse textiel werk vonden, of om de Poolse en Roemeense contractarbeiders die op onze moderne plantages en in de bouw het werk opknappen onder arbeidsvoorwaarden die voor de Nederlandse kaaskoppen onacceptabel zijn. De oppervlakkige oordelen over de “koelies”, de “joden”,  de “moslims” komen voort uit luiheid, desinteresse en een afkeer van integratie met “andere culturen” vaak uit angst voor verlies van de eigen status. Volgens onze minister van Buitenlandse Zaken de VVD-er Stef Blok zou deze houding genetisch bepaald zijn. Een poging van deze minister om de populistische cafe-praat over “de anderen” van een geleerde bodem te voorzien, een uiterst dubieuze manier om deze houding goed te praten. Beschaving is een dun vliesje; zo blijkt maar weer eens.

Gelukkig zijn er nog mensen in ons land die zich vanuit een echte interesse voor mensen uit andere culturen wel verdiepen in de achtergrond en de geschiedenis van de migrant, de man of de vrouw, die ze als buurman, als klasgenote, of hoe dan ook ontmoeten.

Fokken beperkt zich in dit boek tot een hele specifieke groep van migranten in een heel specifieke periode van ons verleden en in die beperking toont ze zich een meester. Haar zeer lezenswaardige boek verdient een ruim lezerspubliek.

Het proefschrift van Margriet Fokken is (helaas) uitsluitend als commerciele uitgave beschikbaar (uitgeverij Verloren, 2018). Op de pdf bij de Letteren Faculteit van de RU Groningen rust een embargo van 2 jaar.

Fokken M. Beyond being koelies and kantráki: Constructing Hindostani identities in Suriname in the Era of Indenture, 1873-1921. [Groningen]: Rijksuniversiteit Groningen, 2018. 378 p.


Het weer heeft geen geheugen

Het is nu al enkele weken achterelkaar droog. Er valt geen druppel regen. “Dan zal het morgen wel gaan regenen.” zegt een mevrouw bij de kapper. “Ja, dat zit er dik in. Net nu de schoolvakantie begint.”, zegt de kapster.

Volgens weerkundige Peter Kuipers Munneke heeft de kans dat het morgen regent niets te maken met hoe lang het al droog is.  “Het weer heeft geen geheugen”.  Zegt hij op bezwerende toon. “Het is net als met dobbelen”, legt hij uit. Ook al heb je 5 keer achterelkaar een 6 gegooid, de kans op een 6 is net zo groot als die was bij de eerste worp. Net als het weer weet de dobbelsteen niet wat er eerder gebeurd is. Geheugen is dat een gebeurtenis een indruk heeft achtergelaten die als een teken voor iemand verwijst naar die vroegere gebeurtenis in een herinnering. Zo kan via het geheugen het verleden van invloed zijn op wat er gaat komen. Bij het weer is dat dus niet zo; het weer heeft geen geheugen.

Collega weervrouw Helga van Leur prijst Peter’s heldere uitleg. Maar dat het weer geen geheugen heeft, daar valt volgens haar wel wat op af te dingen. Want, zegt ze, het weer is onderdeel van de natuur en de natuur heeft wel een geheugen (Klopt, zie de klimaatverandering, de kraaiepootjes van Helga en mijn toenemende geheugenverlies). Dus, concludeert Helga met de ijzeren logica van de weervrouw: heeft het weer als onderdeel van de natuur ook een geheugen.

Of dit wel zo logisch is, dat laat ik even in het midden. Waar het mij hier om gaat is het volgende. Peter komt met een weermodel op de proppen:  het model van het gooien met een dobbelsteen.  Een kansmodel waarvan iedereen die op school op heeft zitten letten wel eens gehoord heeft. Het is een wiskundig model dat je kunt gebruiken om kansen te berekenen. En dat is toch het ideaal van kennis, niet waar? Dat je iets kunt berekenen. Hoe die kans uit te rekenen? Daar kom ik nog op. Wat Helga betwist is of dat model wel klopt.   En dat is een heel andere kwestie: de keuze (of constructie) van het juiste model. En dat is geen wiskunde. Helga legt uit waar dat geheugen van de natuur uit bestaat. Door de voortdurende droogte verandert er namelijk iets in de natuur: temperatuur, winden, verdamping, wolkenvorming. En dat heeft gevolgen voor de kans op regen. Zo’n complex model is volgens Helga beter om het weer te voorspellen dan het simpele model van Peter. (Dat weet Peter natuurlijk ook wel. Maar ja, zendtijd is kort dus moeten we niet te moeilijk doen. Zo transformeren de populaire media kennis tot een beetje kennis. En zoals G.H. Hardy al stelde in zijn Apologie van een wiskundige: “A little learning is a dangerous thing.”.)

Bovendien gaat Peter er vanuit dat een dobbelsteen geen geheugen heeft. En dat waag ik te betwijfelen. Want, “de natuur biedt weerstand aan de haar opgedrongen vorm door verslijt” (P.  de Bruin, S.J., Philosophie der Techniek, 1936) .  Door het werpen slijt de steen en verandert haar gedrag. Helga zou zeggen; die dobbelsteen van Peter (of beter nog: het gooien ermee) is een onderdeel van de natuur en de natuur heeft een geheugen dus de dobbelsteen heeft een geheugen. (Een redenering waarvan de correctheid zwaar belast is door de interpretatie van de deel-van relatie. Maar daar zou ik het hier niet over hebben.)

Ja, zal Peter hierop zeggen: ik heb het niet over een echte dobbelsteen. Klopt. Peter heeft het over een wiskundig model, over een wiskundig object. En wiskundige objecten (getallen, functies, grafen, meetkundige figuren, kortom structuren) zijn heel andere soorten dingen zijn dan de waarneembare, voelbare, zichtbare, harde of zachte dingen om ons heen; de fysieke objecten, waar wij als lichamelijke wezens mee van doen hebben.  Voor veel fysici zijn wiskundige dingen net zo echt als stoelen en andere dagelijkse objecten. Sommigen beschouwen wiskundige structuren zelf als echter dan de waarneembare dingen. In “Our Mathematical Universe” verdedigt de fysicus Max Tegmark de stelling dat er een externe werkelijkheid bestaat buiten onze waarneming en dat deze een wiskundig object is. De taak van de fysici is deze te relateren aan onze dagelijkse werkelijkheid.

En dan nu even rekenen. Hoe groot is de kans dat je een 6 gooit met een dobbelsteen? Een eerste gedachte is: 1/6. Waarom?  Er zijn 6 mogelijkheden. Die hebben allemaal dezelfde kans. De som van alle kansen is 1. Dus 1/6.  Dat zijn nogal wat aannames. Kennelijk heeft die dobbelsteen 6 kanten en is het een “eerlijke” dobbelsteen. Hoe weten we dat?  Hier komt weer het belangrijke onderscheid tussen wiskunde en fysica. Als onze eerlijke 6-kantige dobbelsteen een wiskundig object is, dan weten we dat de kans 1/6 is  op grond van onze definitie van een eerlijke dobbelsteen.  Daar is geen speld tussen te krijgen. “Eerlijk” is dan een term, die wijst naar een wiskundige eigenschap van een wiskundig object. Het wordt anders wanneer we het over een echte dobbelsteen hebben. Om daarvan te bepalen wat de kans op een zes is moeten we eerst kennis van deze steen verzamelen. Is dit wel een “eerlijke” dobbelsteen? Neen, natuurlijk niet. Het is immers geen wiskundig object. De vraag is of we deze echte dobbelsteen (of beter: het gooien ermee) als een wiskundig eerlijke dobbelsteen kunnen beschouwen.

Een antwoord vinden op die vraag gebeurt bij voorkeur door data te verzamelen: experimenten doen (vaak met de dobbelsteen gooien) en uitkomsten tellen. Als je 600 keer gegooid hebt en 105 keer een zes hebt gegooid, dan zeggen we dat de kans vrij groot is dat de kans om een zes te gooien met deze dobbelsteen 1/6 is. Het zijn de statistici die hierover hele ingewikkelde theorieen hebben opgesteld (waar de meeste studenten met enige huiver aan terugdenken) waar ze het overigens nog steeds niet over eens zijn wat nu het beste model is. (Ik zou bijna zeggen:  “Over onzekerheid valt niets met zekerheid te zeggen”, maar dit klinkt weer zo onlogisch.)  Van de fysicus Jaynes is de uitspraak dat sinds de wiskundigen de statistiek van de natuurkundigen hebben overgenomen (begin 20ste eeuw) ze er een zootje van hebben gemaakt. Een zootje misschien niet, maar wiskundigen maken wel van alles wat ze aanpakken iets anders dan het was.  Als een wiskundige het over een dobbelsteen heeft dan weet je dat hij het niet over een echte dobbelsteen heeft. Net zomin als een Turing machine een machine is, een formele taal een taal, of kunstmatige intelligentie echte intelligentie is.  Het is eerder gezegd (maar het wordt vaak vergeten): de wiskundige zegt A, bedoelt B, schrijft C, terwijl het D had moeten zijn.).  Dat is niet erg zolang we ons maar niet laten verleiden door de schoonheid van de koningin der wetenschappen en denken dat ze zegt wat ze bedoelt.

Terug naar het weer.  Mijn vrouw zegt: je hebt mooi praten, maar toch is de kans dat het 5 dagen achterelkaar droog is kleiner dan de kans dat het 4 dagen achter elkaar droog is. Ik weet niet hoe ze daar aan komt maar mijn gevoel zegt dat dat klopt. Vrouwenlogica: rijtjes van 4 van dezelfde dingen zijn delen van rijtjes van 5 van dezelfde dingen. En dat geldt ook voor de dobbelsteen van Peter: de kans op 5 keer 6 is kleiner dan de kans op 4 keer 6. Dus?  Is dus de kans dat het na vier droge dagen de volgende dag regent niet groter dan na drie droge dagen?  Zei de oude meester Laplace al niet dat om de kans te berekenen dat morgen de zon op komt je moet weten hoe vaak de zon al opgekomen is. Die kans wordt volgens zijn model elke dag groter! Zou dan de kans dat het morgen droog zal zijn ook niet elke dag dat het droog is groter worden?

Oeps! Ik moet de was binnen halen. Het gaat regenen.



Het is het magieste Nederlandse woord.

Het is tijd. Het gaat. Het is warm. Het regent. Maak het even.

Het is een voornaamwoord. Een onpersoonlijk voornaam woord.

Soms verwijst het naar iets bepaalds. Zoals in: Dat boek ? Ik vind het maar niks.

Het verwijst dan naar iets dat al eerder is opgevoerd: dat boek.

Waar verwijst het naar in: het is tijd, of in: het regent ?

Naar iets dat niet hoeft te worden opgevoerd. Omdat het er altijd al is.

Maar wat dat is …?



Wakker worden en wat we zoal nog meer niet doen

Vanmorgen toen ik wakker werd dacht ik:

Ik word wakker.

Of moet ik zeggen die gedachte kwam in mij op.

Want: wat doe ik eigenlijk ? Doe ik iets aan dat wakker worden ? Hoe sta ik daar eigenlijk zelf in ?

Van wie is die gedachte die in mij opkomt? Ben ik dat ?  Ik ?

Wakker worden. Ik zou niet weten hoe ik dat zou moeten doen.

Zoveel dingen die je niet doet.

Je ademt, je wordt ziek, je wordt verkouden, je wordt wakker,

Je valt in slaap, je gaat dood, je wordt geboren,

Je ziet dat het regent, dat het lente wordt, dat de avond valt,

Je hoort een koekoek,

Je wit een muur.

Je gaat maar eens naar bed.

 Van Arnold Geulincx is de uitspraak: quod nescis quo modo fiat, non facis.

Wanneer je niet weet hoe iets gebeurt dan doe je het niet.

En toch zeggen sommigen: we maken kinderen.

Of oorlog.

Coalitie Enschede Staat Pal Achter Twente

Zondag 29 april 2018 gaat de geschiedenisboeken van Enschede in als zwarte zondag.

De val van FC Twente van het hoogste voetbalplatform naar de Jupiler League betekent niet alleen voor alle voetballiefhebbers in Enschede een emotionele dreun.

Het is vooral ook een economische dreun. Het gaat hier om een miljoenenverlies van een onderneming die van grote waarde is voor een groot deel van de Enschedese bevolking.  Degradatie van FC Twente betekent dat vele arbeidsplaatsen zullen verdwijnen. Meer dan de miljoeneninvesteringen in de luchthaven Twente ooit hebben opgeleverd.

Enschede, de bakermat van het voetbal in Nederland.  Enschede, stad met  tientallen amateurvoetbalclubs, de moederschoot waaruit FC Twente in 65 werd geboren. Enschede, met een prachtig stadion waarin onlangs de finale van het Europese Voetbalkampioenschap voor dames werd gehouden.  Enschede heeft met FC Twente en de Grolsch Veste ondernemingen die hebben bewezen van groot belang te zijn voor de naam en de exposure van stad en gemeente.

FC Twente is niet een willekeurig bedrijf dat zich toevallig in Enschede vestigt en daarom wat bijdraagt aan de lokale economie. FC Twente is van Enschede.

Ik denk dat ik spreek namens al die mensen

  • die als speler, vrijwillliger, supporter betrokken zijn bij het voetbal in Enschede
  • die wekelijks op welke wijze dan ook betrokken zijn bij de de club FC Twente
  • die de grote waarde inzien die de volksonderneming FC Twente voor Enschede heeft

wanneer ik de politieke partijen van Enschede oproep om bij de coalitievorming afspraken rondom steun voor FC Twente te maken, afspraken die erop gericht zijn snel terug te keren op het hoogste platform.

Met name

  • die lokale politici die de betekenis van ondernemingen voor de lokale werkgelegenheid altijd hoog in het vaandel hebben staan (zoals wanneer het ging om weer vele miljoenen te investeren in de luchthaven Twente)
  • die lokale politici die altijd het burgerbelang van FC Twente voor de sportparticipatie door de jeugd en de ontspanning van de ouderen hebben ingezien.
  • die lokale polici die de iconische waarde inzien van een onderneming als FC Twente die optreedt op het hoogste platform voor de exposure en de economie van de gemeente Enschede.

Sta op voor een onderneming waarvan we met recht moeten kunnen zeggen dat die van en voor het volk is. Sta op voor FC Twente !

Het memo-debat: het verloren vertrouwen in “de overheid’’

Wij leven in een informatie-maatschappij. Onze samenleving draait op en om informatie. Gegevens (data) vormen een steeds belangrijker grondstof. Meer data is meer informatie. Wie meer informatie heeft, heeft meer macht.

Grote multinationals als Google en Facebook, drijven op de winst gemaakt met persoonlijke gegevens die ze verkopen aan allerlei bedrijven, organisaties en politieke partijen om gepersonaliseerde advertenties, selectieve en gefilterde informatie te sturen naar specifieke doelgroepen. De politie verzamelt data over burgers en woonwijken om haar predictive policing strategie uit te kunnen voeren.  De nieuwe Wet Inlichtingendiensten en Veiligheid (WiV) geven de AIVD en de MIVD meer legale ruimte om informatie te verzamelen over de burgers. Deze datavergaring gaat ten koste van de privacy van de individuele burger. Bovendien worden op basis van deze gegevens door abstracte algoritmes onverantwoordelijke besluiten genomen die het leven van individuele burgers treffen. De politie, de mediagiganten, de overheid, ze willen allemaal zoveel mogelijk informatie hebben over personen om hun gedrag te voorspellen en daarop hun inzet af te stemmen.

De Kamer heeft als volksvertegenwoordiging een belangrijke rol bij het controleren van de gangen van de overheid door de burger. Om die controle uit te kunnen oefenen heeft de Kamer informatie nodig.

Ook bij het recente debat over de nieuwe WiV ging het om informatie. Het ging over het heimelijk vergaren van persoonsgegevens, over het verantwoorden daarvan en over het delen van persoonsgegevens met anderen.

De voorstanders van de nieuwe wet WiV gaan er vanuit dat er voldoende controle is ingebouwd in de wet. De wet zou voldoende garanderen dat er geen misbruik kan worden gemaakt door de AIVD en de MIVD van de mogelijkheden die de wet biedt om ten behoeve van onze veiligheid burgers af te luisteren. Maar een wet is iets anders dan de uitvoering ervan in de praktijk. Mijn bezwaar tegen de nieuwe wet WiV is dat er ten onrechte vanuit wordt gegaan dat de diensten alle informatie die betrekking hebben op haar besluiten en aktiviteiten deelt met de verantwoordelijke ministers en de toetsingscommissie en dat de Kamer de nodige controle kan uitoefenen op wat er onder verantwoordelijkheid van de Ministers van Binnenlandse Zaken en Defensie gebeurt.  En dat deze toetsing mogelijk is binnen de beperkte tijd die beschikbaar is gezien de urgentie van de door de dienst voorgestelde interventie. In het bijzonder in het veiligheidsdomein is de veronderstelde openheid echter niet aan de orde. We horen regelmatig dat het niet in belang van de zaak is openheid van zaken te geven over “interne processen’’. Informatie delen zou economische belangen en veiligheidsbelangen schaden.

Uit het dividenddebat blijkt voor de zoveelste keer hoe moeilijk het is voor de Kamer om die informatie boven tafel te krijgen die nodig is om behoorlijk controle te kunnen uitoefenen op de regering, in het bijzonder op het kabinet. Stukken worden achtergehouden, geheugens worden gewist, er wordt een mist opgetrokken door woordenbrei en afleidingstactieken. De ministers zijn vaak ondeskundig op het gebied van de inhoud van hun ministerie (“het ligt buiten mijn comfort-zone’’ noemde Minister van Defensie Bijleveld dat onlangs in een interview) en in hoge mate afhankelijk van de informatie die de diensthoofden en andere ambtenaren met hun delen. Toch zijn de ministers formeel verantwoordelijk voor wat er gebeurt. Zo wordt er een formele muur opgetrokken waarachter de werkelijk verantwoordelijken hun onzichtbare werk kunnen doen. De formeel verantwoordelijke rest in het debat met de kamer niets anders dan gestamel en geschipper tussen trouw aan beleid en kabinet enerzijds en geloofwaardigheid anderzijds. Een geschipper waarvan de waarheid het eerste slachtoffer is.

“Hoe kunnen wij er als Kamer zeker van zijn dat wij de informatie krijgen die wij nodig hebben om ons werk te kunnen doen?’’  vroeg Lilian Marijnissen in het dividenddebat  (VK 26-04-2018).

De vraag stellen is haar beantwoorden: het is een kwestie van vertrouwen. En daar zit precies het probleem.

Het vertrouwen in de politiek, in Den Haag, in de regering is tanende. Bij veel burgers is het al volledig verdwenen. De meesten van hen keren zich dan ook af van de (landelijke) politiek.

Dat is funest voor een samenleving. Wanneer burgers zich niet meer serieus genomen voelen en het idee krijgen dat de bestuurders en de politiek verantwoordelijken telkens wegkomen met slimme woordspelletjes en wollig taalgebruik terwijl ze de zaak belazeren dan komen burgers op den duur in opstand. Wanneer onze regering het volk voor de kosten laat opdraaien van een maatregel die voordelig is voor buitenlandse grootverdieners zonder daarvoor verantwoording af te leggen dan is het niet vreemd wanneer burgers voor eigen gewin gaan. De burger zal zich steeds meer tegen de overheid opstellen. De burger zal zich steeds vaker verzetten tegen regels en wetten van de overheid.

Als de overheid haar beleid niet verantwoordt tegenover onze vertegenwoordigers in de Kamer moeten wij als burger ons dan nog verantwoorden tegenover de overheid?

De veiligheid is in het geding. Kabinetsleden zouden hun gedrag moeten veranderen en opener naar de burger en haar vertegenwoordigers moeten zijn in plaats van de burgers te minachten en te pleiten voor instrumenten om de burger op heimelijke wijze af te luisteren in plaats van een open dialoog met haar te voeren. De veiligheid van onze samenleving is niet gediend met een wet die door het kabinet wordt doorgevoerd met minachting van de bezwaren die een groot deel van de burgers er tegen heeft.

De letter van de wet WiV kan nog zo goed bedoeld zijn ik heb er geen vertrouwen in dat de regering de Kamer en daarmee de burger de nodige informatie zal geven zodat deze in staat is te controleren of de diensten zich wel aan de wet houden. Daarom ben ik tegen de uitbreiding van bevoegdheden van de veiligheidsdiensten.

De recente vertoningen in de kamer waarin het kabinet of een minister of staatssecretaris voor de Kamer verantwoording moest afleggen hebben er bij veel Nederlanders toe geleid dat de laatste restjes vertrouwen in de regering zijn verdwijnen. Dat is diep en diep triest.

De regeringspartijen mogen hopen dat het geheugen van de burger net zo slecht is als dat van de leden van het kabinet zodat ze bij de volgende verkiezingen gewoon weer op de VVD, D66, CU of CDA stemt.

Tot slot nog een kanttekening over het begrip liegen en wat wij “gewone’’ burgers “normaal’’ conversatiegedrag noemen.

Iemand die niet de waarheid spreekt hoeft nog niet te liegen. Liegen doet iemand wanneer deze tegen beter weten in beweert dat iets het geval is terwijl dat dus niet zo is. Oftwel: liegen doet iemand wanneer deze niet de waarheid spreekt terwijl hij of zij op dat moment wel weet wat waar is.

Het is dus moeilijk om te bewijzen dat iemand liegt. Hij of zij kan altijd zeggen ik wist niet anders, of mijn geheugen liet mij in de steek, of ik was onder invloed van pillen of alcohol. Voor een overtuigend bewijs zijn andere middelen nodig om aannemelijk te maken dat er gelogen wordt. Er zijn heel wat mensen in naam van de wet veroordeeld door rechters met heel wat minder bewijs dan in het memo-debat tegen Rutte is opgevoerd.

Liegen kan nog onderscheiden worden van misleiding (deceptie). Er is sprake van misleiding wanneer iemand moedwillig de suggestie wekt bij anderen dat iets het geval is terwijl hij of zij weet dat dat niet zo is. Bewust informatie achterhouden die de ander nodig heeft om een goede interpretatie van het gezegde te kunnen geven is een vorm van deceptie.

Wanneer Rutte zegt “ik heb geen herinnering aan een memo’’ terwijl hij daarbij een eigen interpretatie aan de term memo geeft waarvan hij weet dat deze niet de interpretatie is die de ander bij dat woord heeft, dan is dat misleiding. Rutte moet dan zeggen wat hij precies onder memo verstaat zodat er niet achteraf nog eens over gesoebat hoeft te worden. . Dat is wat wij “gewone’’ burgers “normaal’’ conversatiegedrag noemen. (Het voldoet aan de conversationele implicatie regels van Grice, zoals de politicus die communicatiewetenschappen of iets dergelijks heeft gestudeerd zich nog zal herinneren.)

“Oh u bedoelde zoiets? Maar dat is geen memo, dat is een kattebelletje.’’

Politici.  Bah!

De sleepwet: meer legale ruimte voor predictive policing

Predictive policing: voorkomen door te voorspellen

Een strategie waar de politie voor de misdaadbestrijding steeds meer op inzet is “voorkomen door voorspellen”: predictive policing. Door informatie te verzamelen over het (internet)gedrag van mensen en organisaties en die data op een slimme manier in een model te gieten kun je machines trainen om op basis van die data misdaden te voorspellen.  Die data heet “big data’’ omdat het veel is, de wetenschap heet data science, de techniek heet machine learning of social signal processing, en het product heet AI, artificiele of kunstmatige intelligentie, machines die situaties, personen, gedrag kunnen classificeren. De datamining technieken die gebruikt worden voor predictive policing zijn dezelfde als die door adverteerders en bedrijven als Cambridge Analytica gebruikt worden voor microtargeting: door te kijken wat iemand op het internet doet kun je voorspellen waarin iemand geinteresseerd is en of hij of zij gevoelig is voor bepaalde informatie.

De nieuwe wet geeft de AIVD en de MIVD ruimere mogelijkheden om alle vormen van communicatie af te luisteren (telefoontaps, social media, e-mails, etc) of in te breken indien ze dat voor de uitvoering van hun taken nodig achten. Ze kan internetproviders verplichten medewerking te verlenen. Samenwerking tussen de diensten en Nationale Politie, de Belastingdienst (FIOD) zijn in de wet geregeld. De wet biedt daarmee meer legale ruimte voor het verzamelen en verwerken van persoonlijke gegevens ten behoeve van predictive policing. De wet regelt beter dan de oude wet (2002) het toezicht, de controle, evaluatie en klachtenbehandeling.  Althans op papier. De vraag is hoe dat in de praktijk zal gaan. De verantwoordelijke Ministers van Binnenlandse Zaken en Defensie en de toezichthouders zijn afhankelijk van kennis en informatie. Daar zitten de pijnpunten.

Predictive policing is erop gericht de samenleving bedreigende criminele aktiviteiten te voorkomen door gebruik te maken van signalen die wijzen op de mogelijkheid dat die er aan staan te komen. Rutger Rienks schreef daar een rapport over namens de Nationale Politie: “Predictive Policing: kansen voor een veiliger toekomst.’’ (uitgave PolitieAcademie, 2015).

In het voorwoord van Rienks’ boek over Predictive Policing wordt de lezer uitgenodigd bij te dragen aan de discussie over de wenselijkheid van deze nieuwe policy die inmiddels al landelijk is “uitgerold’’. Hoewel Rienks ook aandacht besteed aan ethische bezwaren van predictive policy (big brother is watching you) is hij een enthousiast voorstander.

``Soms wordt aan mij de vraag gesteld of ik predictive policing wel een goede ontwikkeling vind. ‘Nou en of!’, zeg ik dan. Wie kan er nou op tegen zijn dat een politieapparaat beter zijn werk doet? Ieder slachtoffer van wat voor misdaad ook wil immers toch niets liever dan dat de misdaad waaraan hij of zij is blootgesteld voorkomen. Discussies over ethische kwesties en het recht op privacy van de burger versus de inbreuk hierop van de overheid spelen hierbij natuurlijk wel een belangrijke rol. Kijk alleen maar naar het feit dat er wetten worden gemaakt die voorschrijven wat wel en niet toelaatbaar is. Dit is van directe invloed op de effectiviteit van het apparaat.’’

Het is duidelijk waar het probleem zit: enerzijds wil je als burger geen slachtoffer worden van criminaliteit, of dat nu een terreur-aanslag is, een overval, inbraak, illegale vuilstort, of internetfraude. Je wilt dat proberen te voorkomen. Je wilt de politie zoveel mogelijk middelen in handen geven hun werk goed te doen. Anderzijds wil je ook niet dat je voortdurend in de gaten wordt gehouden door politie en veiligheidsdiensten. Iedereen is voor de waakzame veiligheidsdienst immers potentieel verdachte; de een misschien iets meer dan de ander. Bij velen heerst de vraag of we de diensten niet te veel ruimte bieden en hoe het gebruik daarvan gecontroleerd kan worden. Het is van zeer groot belang dat we als burgers vertrouwen hebben in de overheid en haar veiligheidsdiensten. Maar vertrouwen moet niet blind zijn; het moet gebaseerd zijn op inzicht in de capaciteiten van deze diensten en de politiek.

Is het verantwoord de veiligheidsdiensten en de verantwoordelijke ministers de middelen die de nieuwe wet biedt in handen te geven? Zijn er voldoende mogelijkheden ingebouwd voor toezicht en kritische evaluatie van het werk van de veiligheidsdiensten? Ik heb daar een aantal bedenkingen bij.

Informatie delen is geen gemeengoed in het veiligheidsdomein.

Voorstanders van de wet wijzen erop dat er voldoende toezicht is ingebouwd in het systeem om op een verantwoorde manier met de middelen om te gaan. Om dat toezicht te kunnen houden en om kritisch het gedrag van de diensten te kunnen evalueren is informatie nodig. Uit ervaring weten we dat het heel lastig is om bij een vermoeden van onrechtmatig handelen de nodige informatie boven tafel te krijgen.  Dat geldt ook bij controle van overheidsdiensten door de politiek. Het veiligheidsdomein is typisch een domein waarin men uiterst terughoudend is met het verstrekken van informatie. Dat maakt dat het houden van toezicht lastig is. De tekst van de wet getuigt weliswaar van de zorg om toezicht op naleving van de wet door de diensten, dat geeft echter geen garantie voor de praktijk.  Bovendien kent de wet noodzakelijkerwijs formuleringen die dermate vaag zijn (zoals:  “een goede taakuitvoering van de dienst”) dat het moeilijk is in concrete gevallen het eens te worden of wel of niet volgens de wet gehandeld is. Mogen we van iemand die op basis van partijpolitieke overwegingen Minister van Defensie is verwachten dat deze in staat is kritisch te staan tegenover het hoofd van de dienst? De wet biedt geen garantie voor een kritische toetsing door onafhankelijke partijen.

Toezicht en evaluatie (rapportage en klachtenafhandeling) vereisen niet alleen kennis en informatie van de processen maar ook kennis van de gebruikte tools. Dat brengt me op het tweede pijnpunt.

Verantwoord omgaan met artificial intelligence vraagt om een kritische houding ten aanzien van de mogelijkheden daarvan

Predictive policing, de strategie die in Nederland over alle korpsen is uitgerold, zal steeds meer gebruik maken van nieuwe technologie gebaseerd op methoden voor data analyse: machine learning. Inzet van politie is gebaseerd op voorspellingen die niet meer afhangen van een of ander Orakel van Delphi maar op resultaten van de “rationele wetenschappen’’ zoals de lector Intelligence van de Nationale Politie in haar voorwoord van het rapport over Predictive Policy schrijft. De “rationele wetenschap’’ en haar intelligente producten hebben in de ogen van veel mensen de voorspellende rol van de Griekse Goden overgenomen als het gaat om raadgevend advies. Als wetenschapper met vele jaren ervaring met onderzoek op het gebied van de wiskunde, informatica, machine learning en social signal processing deel ik het enthousiasme voor het bedrijven van wetenschappelijk onderzoek. Maar ik ken ook de beperkingen bij de toepassing in de praktijk. Predictive policing maakt gebruik van resultaten van onderzoek in de vorm van op data modellen gebaseerde procedures die voorspellingen doen. In principe komt het neer op het classificeren van gegevens op grond van een (soms) groot aantal kenmerken.  Geen enkele procedure zegt echter of een methode in een specifieke situatie tot de juiste voorspelling leidt. Geen enkele methode kan informatie geven over de betrouwbaarheid van de voorspellingen in een specifieke situatie. Het enige wat de wetenschap kan bieden is statistieken, gemiddelde verwachtingswaarden en kansuitspraken zoals “de kans dat de inwoner van deze wijk in deze stad een schuld heeft is zeventig procent’’. Of: “de kans dat dit lid van deze motorclub betrokken is bij criminele aktiviteiten is zoveel procent.’’  Ook betrouwbaarheidsmaten, door de wet verplicht, zijn gemiddelden. Bovendien zijn statistische modellen altijd gebaseerd op geselecteerde data.  De bias van die data is vaak onbekend bij de gebruikers van de technologie. Rienks kent zijn klassieken en heeft ongetwijfeld kennis genomen van de klassieke retorica: “Hoe veilig zou het zijn als de politie alles van te voren wist en alle vormen van criminaliteit zou kunnen voorkomen?’’. Dan kent hij ook de passage uit de Rhetorics van Aristoteles: “no art has the particular in view.’’ De wetenschap gaat niet over individuen, maar over klassen van individuen. “The particular is infinite and cannot be the subject of true science.’’ (Rhetoric I, II, 11-13).

Dit inzicht wordt een paar duizend jaar later, wanneer de statistiek zijn intrede heeft gedaan in de wetenschap, door Venn verwoord als  het Probleem van het Unieke Geval: “Every single thing or event has an indefinite number of properties or attributes observable in it, and might therefore be considered as belonging to an indefinite number of different classes of things.’’.  Sinds Reichenbach staat dit lastige probleem in de statistiek bekend als het Probleem van de Referentieklasse.  Het kiezen van de juiste referentieklasse om relevante voorspellingen te kunnen doen is een serieus probleem. Het speelt overal waar we proberen uitspraken te doen over een concrete unieke zaak op basis van statistieken. Een voorbeeld uit de rechtspraak is de zaak Shonubi een Nigeriaanse drugssmokkelaar die in de VS werd opgepakt en veroordeeld. Een artikel van Colyan et al. (2001) over deze zaak heeft de veelzeggende titel: Is it a crime to belong to a reference class? (The Journal of Political Philosophy, Volume 2, Number 2, pages 168-181).  Op grond van welke statistieken mag de rechter zijn strafmaat bepalen? Kun je in situaties die zich nu voordoen voorspellingen doen op basis van gegevens van anderen, en van oude data? In het statistisch universum is altijd alles als vanouds, zo is de aanname. Eens een gegeven blijft gegeven. Persoonlijke data blijft ons achtervolgen. Dat is de grote makke van op data gebaseerde systemen.

Op grond van welke referentieklassen doet de machine een uitspraak over bepaald gedrag, een  persoon of situatie? Intelligentie is het vermogen om in een concrete situatie in te zien wat het geval is en waar het om gaat om op grond van dat inzicht een besluit te nemen. Sommige mensen zijn van mening dat dit vermogen volledig door machines kan worden overgenomen omdat het zich in procedures en statistieken zou laten uitdrukken. Dat het nog niet altijd lukt is volgens hen een kwestie van tijd. Deze houding leidt tot een kritiekloos geloof in de uitvoer van de machine. “Machines zijn of worden binnenkort slimmer dan mensen’’ is een vaak gehoorde kreet in deze geloofsgemeenschap. Rienks: “Dat machines inderdaad slimmer worden dan mensen is niet onwaarschijnlijk.’’ De vraag is wie dat beoordeelt. Laten we dat oordeel over aan die intelligente machines of aan de makers van de machines?

De vraag is of de veiligheidsdiensten en de politiek voldoende doordrongen zijn van het inzicht in de beperkingen van de gebruikte technologie en daar in de praktijk ook naar handelen. Het geloof in de autonomie van de technologie staat een kritische houding ten aanzien van het gebruik in de weg. Verantwoordelijkheid voor beslissingen wordt afgeschoven op de gebruikte technologie.

Commercialisering van AI staat kritisch toezicht in de weg

De VS loopt voorop als het gaat om predictive policing.  CompStat wordt al sinds de jaren negentig in de VS gebruikt. In diverse staten wordt gebruikt gemaakt van Stingray devices voor het heimelijk tracen van mobiele telefoons. Critici in de VS wijzen op de gevaren die het gebruik van commerciele tools met zich mee brengt.

Conventional wisdom assumes that the police are in control of their investigative tools. But with surveillance technologies, this is not always the case. Increasingly, police departments are consumers of surveillance technologies that are created, sold, and controlled by private companies. These surveillance technology companies exercise an undue influence over the police today in ways that aren’t widely acknowledged, but that have enormous consequences for civil liberties and police oversight. (Elizabeth Joh in:  “The Undue Influence of Surveillance technology Companies on Policing’’ (2017))

De vraag is of de wet voldoende waarborgen biedt tegen het afsluiten van non-disclosure agreements met commerciele partijen die de tools leveren. Gezien de belangen van de markt is tevens de vraag hoe betrouwbaar productinformatie is. Het achterhouden van informatie of zelfs het verspreiden van onjuiste informatie maakt de taak van de toezichthouder er niet eenvoudiger op.

Naar een toekomst zonder criminaliteit?

Hoe mooi zou het zijn als we de toekomst konden voorspellen?’’ Het is lastig om te voorspellen waar predictive policing in de toekomst toe leidt en hoeveel macht we de politie en de inlichtingendiensten moeten geven. Welke scenario’s staan ons voor ogen? Op grond van het verleden hoeven we niet te verwachten dat criminele aktiviteiten uitroeibaar zijn. Wat we wel mogen verwachten is dat de bad guys, “onze’’ vijanden, over dezelfde middelen (gaan) beschikken als “wij’’, de “good guys’’ van onze veiligheidsdiensten. Wat we ook kunnen verwachten is dat onze diensten ten behoeve van haar taakuitvoering het de media, die een belangrijke rol speelt bij het aankaarten van mistoestanden, lastig zal maken bij het verzamelen van informatie over hun aktiviteiten. Eventueel door het verspreiden van fake data om de aandacht van de echte gebeurtenissen af te leiden. Journalisten zijn, evenals artsen en advocaten, kritisch over de nieuwe wet, omdat ze vertrouwelijke informatie moeten verstrekken. Wanneer “onze veiligheid” daar om vraagt. Nepnieuws en fake data zijn sowieso een bedreiging voor de effectiviteit van processen die gebaseerd zijn op data verkregen uit sociale netwerken. Hoe echt zijn de gegevens, teksten, fotoos, video-beelden, die via de media verspreid worden? Zijn we nog wel in staat fake data van echte data te onderscheiden?

Een niet te keren ontwikkeling?

Predictive policing is een haast niet te keren ontwikkeling ondanks het feit dat er bij een pilotevaluatie in 2017 geen positief resultaat werd gemeten. In het evaluatierapport “Predictive policing: lessen voor de toekomst: een evaluatie van de landelijke pilot” schrijven  Bas Mali, Carla Bronkhorst-Giesen en Mariëlle den Hengst in de conclusies:

Aanwijzingen dat predictive policing uiteindelijk leidt tot minder
(stijgende) criminaliteit hebben we niet kunnen vinden. De afstand tussen wat predictive policing kan zijn en wat het in de praktijk is, is dus groot.”

Waarom dan toch dat enthousiasme bij de politie voor predictive policing?

“Gegeven de professionalisering en positionering van IGP en de informatieorganisatie bij de politie is predictive policing een logische stap. De technologische ontwikkelingen en de steeds verdere informatisering van de samenleving maken ook dat dit soort ontwikkelingen, waarbij data meer en meer een rol spelen bij de keuzes in de uitvoering van het werk, niet meer weg te denken zijn.”

De drijvende kracht is het wijdverbreide en overheersende geloof in de informatisering, automatisering en slimme algoritmes gebaseerd op big data. Kortom: we moeten wel mee met de kudde. Crime wordt steeds meer cybercrime met inzet van AI van zowel de good guys als van de bad guys. Dat lijkt de onvermijdelijke toekomst waarin het zicht op de werkelijkheid steeds meer door big data en virtuele modellen wordt ontnomen. “Wij meten  niet; wij rekenen met modellen.”

Moeten we onze inspanningen niet meer richten op andere manieren om criminaliteit te voorkomen dan het stiekem afluisteren van burgers, artsen, advocaten, journalisten, politici, medewerkers van de politie, wellicht? Bijvoorbeeld door een open dialoog. “Ik praat liever met anderen dan dat ik ze afluister” zei Rob Bartholee van de AIVD. Dat lijkt me een goed uitgangspunt.