Test, test, test

In de serie Denken in tijden van Corona ga ik het hebben over testen en meten.

Het is 19 September 1648, toevallig (maar wat is toeval?) het jaar waarin de Tachtigjarige oorlog ten einde komt. Ik neem u echter niet mee naar Munster, maar naar de Puy de Dome, de berg in het Franse Massif Central.

Daar zien we Florin Perier, een zwager van de bekende wiskundige Blaise Pascal, vergezeld van een groepje mannen die we maar zullen aanduiden als dragers en administrateurs, de berg opklauteren. Bij zich hebben ze een glazen buis aan een kant gesloten en gevuld met kwik en een bak gevuld met hetzelfde vloeibare metaal. Op weg naar de top.

Beneden aan de voet, volgens hun berekeningen 3000 voet lager, heeft de heer Perier in een kloostertuin een zelfde buis met kwik rechtopstaand in een bak achtergelaten. Het kwik staat daarin zo’n 26 inch boven het kwik in de bak.

Boven gekomen meet Perier onder toeziend oog van zijn companen de hoogte van het kwik in de buis. Et voila! Het kwik staat iets meer dan 3 inch lager dan in de kloostertuin beneden.

Vanwaar dit gedoe met dit toestel dat later barometer zou gaan heten? Volgens David Wootton (in The Invention of Science) was dit de eerste keer dat er een experiment werd gedaan dat voldeed aan de eisen die we aan een wetenschappelijk experiment stellen: nauwkeurig uitgedacht, geverifieerd door getuigen, herhaalbaar en gevolgd door rapportage en publicatie van de resultaten. Maar waarom? Wat moest er getest worden? Wat was de vraag?

De vraag die de heren aan de Natuur stelden was: bestaat het Horror Vacui zoals Aristoteles en zijn volgelingen beweerden, of bestaat het niet? Heeft de Natuur een hekel aan lege ruimte en weerstaat ze de creatie ervan boven de kwikkolom of wordt de hoogte van het kwik boven in de buis uitsluitend bepaald door de druk van de lucht? Het antwoord dat de Natuur door dit cruciale experiment werd ontfutseld was klip en klaar: het Horror Vacui bestaat niet. En toch…

Revoluties, of dat nu in de politiek is of in de wetenschap of de kunst, roepen altijd de vraag op: waarom toen, waarom niet eerder? Zo ook hier.

Want had de kardinaal van de Roomse Kerk Nicolaus von Kues (aka Cusanus) twee eeuwen eerder de geleerden al niet opgeroepen dat er meer getest en gemeten moest worden? Ja, zeker had hij dat! Waarom moest het dan nog 200 jaar duren voordat dat gemeengoed werd? Het antwoord is zo simpel als boerenkool: de man schreef in het latijn en de geleerde heren waren niet van plan hun handen vuil te maken, met giftige stoffen te knoeien, of bergen te beklimmen. Kenmerkend voor de nieuwe wetenschap is namelijk 1) dat het hard werken is en 2) dat er geen einde aan komt. Hoe meer je weet, des te meer besef je dat je niet weet. Wat de kardinaal bedoelde zijn volk duidelijk te maken in zijn “De docta ignorantia” (1440) is dat we door meten en testen weliswaar de waarheid steeds beter kunnen benaderen, maar dat datgene waar het echt om gaat onbereikbaar is. De idee van het volstrekt luchtledige is een wijkende stip aan de horizon.

Immers… De Natuur laat zich niet wegverklaren door te testen en te meten. Het horro vacui bestaat wel degelijk. Ze is aanwezig in de angst voor het niet weten, in de onverzadigbare drift naar kennis, in de driftige vraag naar een Corona-app om het virus te bestrijden (waartegenover het religieuze besef van de criticasters die beweren dat techniek nooit een oplossing is omdat die buiten het bereik van de informatica ligt), in de hoofden van hen die 5G-zendmasten in brand steken.

Als een transfiniete grootheid beheerst het Horror Vacui ons leven als nooit te voren.

Houd moed!

“Fijn dat u luistert”

In de serie Denken in Tijden van Corona ga ik het nu hebben over het volgende.

Zo rond vijf uur begin ik te koken. Ik bedoel: ik begin met de voorbereiding van het avondeten (wij eten ‘s avonds warm, ook ‘s winters). Daarbij luister ik graag naar de radio en wel naar radio 1. Naar een praatprogramma met presentatrice Lara Rense. Waar ik naar toe wil is het volgende. En mijn vraag is dan vervolgens: hebt u dat nou ook?

Na het nieuws van 5 uur (kan ook half 6 zijn) komt ze terug met een welluidend

Fijn dat u luistert.

En dan betrap ik mij erop dat ik even denk “hoe weet ze dat ik luister?” En vervolgens: zou iedereen dat hebben (of is dit een begin van de aftakeling?).

Vandaar mijn vraag: hebt u dat nou ook? Ik vermoed van wel want zo bijzonder zijn wij niet.

Een vergelijkbare ervaring doet zich voor wanneer ik langs een mij onbekende weg afgestapt ben en voor een bord sta met een plattegrond. Daarop staat een pijl getekend die wijst naar een dikke rode stip en bij die pijl staat

U bevindt zich hier

Dan denk ik altijd: hoe weten ze dat? Ik ben hier nog nooit eerder geweest! Mijn vraag brengt me op haar beurt weer in verlegenheid want wie bedoel ik eigenlijk met “ze”?

Als denken mijn tong is dan is taal mijn zere kies. Ik heb iets met taal. En met techniek. Ik was vroeger taaltechnoloog. Ik probeerde de computer mijn taal te leren, Nederlands. Ik leerde haar woordjes, de Nederlandse grammatica. Ik leerde haar wat vragen zijn en hoe ze daar het beste op kon reageren. Ik dacht als je een computer kunt programmeren dan kun je haar ook leren een gesprek te voeren. Is niet helemaal gelukt. (Wat niet aan mij ligt; mocht u dat denken.) Na zo’n 40 jaren hieraan gewerkt te hebben dacht ik: wat is nou eigenlijk het probleem?

Ik ging daarover te rade bij de mensen die veel over taal en techniek nagedacht hebben. Dat zijn er een heleboel, maar drie springen er wat mij betreft wel uit. Wat betreft inzichtelijkheid, en daar ging het mij om. Hun namen beginnen toevallig (maar wat heet toeval? Daar ga ik het in een volgende “Denken in Tijden van Corona” over hebben) allemaal met een H: Hegel, Heidegger en Hollak. Hegel was de eerste die snapte dat informatica iets anders is dan klassieke mechanische technologie. En dat terwijl Napoleon nog op zijn paard door Europa trok en in Engeland de Industriele Revolutie gaande was. Hollak is de eerste die dat snapte. Hij is misschien de minst toegankelijke van de drie. Zijn “Hegel, Marx en de Cybernetica” en zijn inaugurele rede “Van causa sui tot automatie” zijn hoogtepunten van het denken over de moderne, autonome, mens en de automatie. (Ik volgde via bandopnames zijn Amsterdamse colleges en besprak die met Louk, mijn afstudeerdocent. Zijn die opnames nog ergens? Ik zou ze graag nog eens beluisteren.)

De meest toegankelijke moderne denker over taal en techniek is Heidegger. Een beetje een beladen figuur, en zijn Sein und Zeit is schier ondoordringbaar, maar zijn Hebel, der Hausfreund is een zeer sympatiek en lezenswaardig boekje over taal en techniek. Hij is overigens de enige van de drie die je nog op Youtube kan zien en beluisteren. O, machtige techniek!

Johan Peter Hebel (1760-1826) was schrijver, dichter, theoloog en pedagoog. Een liefhebber van volksverhalen die hij noteerde, bundelde en uitgaf in het Wiesentaler dialect. Bekend is het verhaal Kannitverstan (geen spelfout) over een timmerman uit Tuttlingen die voor het eerst over de grens gaat en Amsterdam bezoekt, niet beseffend dat men hem daar niet kan verstaan en op iedere vraag als antwoord krijgt kannietverstaan. Het verscheen in 1808 in Der Rheinländische Hausfreund. Je kunt het verhaal vast wel beluisteren op Youtube. In Tuttlingen staat ter ere van Hebel een standbeeldje dat Kannitverstan heet. Ook de jaarlijkse ereprijs van de Zuid-Duitse stad is daarnaar vernoemd.

Der Kannitverstan, Denkmal und Ehrengeschenk der Stadt Tuttlingen

Wat is er toch met de taal gebeurd? Dat is de vraag die opgeworpen wordt door mijn hierboven beschreven ervaring met Lara Rense. Het is precies de vraag die Heidegger in Hebel, der Hausfreund, aan de orde stelt. Het is precies de vraag die een blik kan werpen op de vraag die ik na vele jaren tevergeefs sleutelen aan machines waarmee je een gesprek kunt voeren mij stelde: Waarom lukt dat maar niet? Wat is eigenlijk het probleem?

De taal is niet meer wat het ooit was, onze moedertaal, de taal die in ons spreekt. Horen wij nog de taal uit Hebels schatkist? Vraagt Heidegger. De taal is, net als alles om ons heen, instrument geworden, een middel om informatie over te brengen, een besturingsmiddel. We zijn daar dagelijks getuige van in deze tijd van sociale media, denkende machines en sprekende robots. Heidegger wijst op de sprekende machine die meer is dan een bandopnameapparaat. De spraakmachine spreekt zelf; ze maakt zelf zinnen. Wat is de zin hiervan? En wie is dat zelf? Mensen zien het gebeuren maar ze zien niet wat het betekent, schrijft Heidegger. (H. gebruikt hier het woord Sinn, wat ook betekenis betekenen kan.) De eerste mannen die aan Kunstmatige Intelligentie werkten hadden zich als doel gesteld een persoon te maken. Wat volstrekt geen zin heeft. Want die zijn er al genoeg.

Toen ik nog collega’s had belde ik eens eentje op in verband met het werk. Ik kreeg haar dochter aan de telefoon die vertelde dat haar moeder even weg was en zo weer terug kwam. Het was een kort gesprek dat we vriendelijk afsloten met bedankt en tot ziens. Toen ik de collega even later tegenkwam en vertelde dat ik haar dochtertje aan de telefoon had gehad, zei ze na enig nadenken: “oh, dat was het antwoordapparaat”.

Een vreemd gevoel overkwam me en ik probeerde me het gesprek, dat dus eigenlijk helemaal geen gesprek was geweest, te herinneren. Een gevoel van vervreemding overviel me en je voelt je ook wel een beetje bedonderd. Ludwig Wittgenstein wijst in zijn Philosophische Untersuchungen zijn lezer op een man die hij aan de overkant van de straat ziet drentelen. Stelt u zich voor, zegt Wittgenstein, dat het geen man is, maar een machine. (We zouden zeggen een androïde.) Hoe voelt dat? Hoe ervaar je dat? vraagt hij dan. Dat gevoel.

Terwijl ik heel wat gesprekken met onze kunstmatige, sprekende avatars heb gevoerd. Maar dat waren lab-gesprekken; geen gesprekken in de echte wereld. Ik wist hoe het ding werkte (namelijk zoals het mannetje van Searle in zijn Chinese Room die bij iedere vraag zoekt naar een passende respons in een gigantische database van vraag-antwoord paren). Het ging er ons om te kijken of het ook werkte; bij anderen, zoals het bedoeld was. Het ging om de gebruikers-ervaring (de user experience, UX in het jargon). Werkte dit taalgebruik? Neemt de gebruiker de taal serieus, zoals ik de woorden van het antwoordapparaat van mijn college voor de woorden van een echte gesprekspartner hield? Zoals ik de woorden van Lara Rense voor echt zou moeten houden (als in een persoonlijke interaktie).

De mogelijkheid van taaltechnologie, van sprekende machines en andoides moeten we natuurlijk in de aard van de taal zelf zoeken. En met taal bedoel ik niet alleen woordtaal, maar ook gebarentaal. (Hegel noemt het woord ook een gebaar.) Taal heeft van zich zelf een zelfstandig bestaan: de woorden en gebaren betekenen ook al wat als niemand ze uitspreekt of maakt. Ook al kan hun betekenis veranderen door het gebruik. In zoverre is de taal altijd al een instrument dat ter beschikking staat. De op mensen lijkende robots maken gebaren die op die van mensen lijken en die de functie ervan moeten overbrengen: het knikken met het hoofd, het ophalen van de schouders, eye gaze, het ophalen van wenkbrouwen. Het zijn de kleine interactiegebaren die de moderne sociologen (als Erving Goffman, bekend van The Presentation of Self in Everyday Life) hebben geidentificeerd als betekenisvol in de communicatie. Behaviours heetten ze met een technische term: gedragingen, maar dan niet als uiting van een persoon, maar als op zich gestelde mechanische bewegingen, losgeweekt van de persoon. Die persoon is verdwenen, zoals de ziel van de moedertaal uit de taal die instrument geworden is verdwenen is.

Sociaal psycholoog Michael Argyle schrijft over de sociale gedragingen in zijn The Scientific Study of Social Behaviour (1957). Het is de basis van social skill learning: het aanleren van sociale gedragstechnieken. Spindokters leren hoe politici en media-mensen zich moeten presenteren. Wanneer je Goffman’s teksten over social face en face work leest (met face bedoel ik gezicht in de zin van je gezicht verliezen) weet je vaak niet of hij het over mensen heeft of over avatars. Hij heeft het over agents. Het gaat over gedragingen los van het onderliggende mechanisme, van kunstmatige agenten. De persoon is verdwenen uit het gedrag, dat eigenlijk geen gedrag meer is. Argyle besteedt in zijn boek meteen een hoofdstuk aan de ethische kant van de techniek van social skill learning waarvoor hij zelf met zijn nieuwe wetenschap de basis heeft gelegd. Het kan eenvoudig leiden tot fake gedrag. (Zie Trump !)

En dat is precies waar het in deze technologie om draait: opdat het werkt moet de gebruiker ervan het als echt beleven. Zie hier de ethische paradox van de moderne technologie: om te kunnen werken moeten we toestaan dat ze ons bedriegt; het moet net echt zijn en vooral intelligent lijken. En een taal spreken getuigt bij uitstek van intelligentie. Ethici stellen regels voor intelligente technologie. Ze zeggen dat het er niet te echt uit mag zien. Maar wat nu als het pas goed werkt en bruikbaar wordt als het er echt uitziet en doet alsof het intelligent is?

Ik moet Lara Rense haar: Fijn dat u luistert serieus nemen, voor wat het normaal betekent, anders werkt het niet. Ik moet het bordje Houd afstand: 1.5 meter! wel serieus nemen. Anders werkt het niet. En als het niet werkt dan komt er onder: Artikel 461 Wetboek van Strafrecht. En als dat ook niet werkt dan moet er gehandhaafd worden. Dan komt de politie de woorden van de president kracht bij zetten. Mensen, houdt afstand!

Daar staan we dan in een vreemde wereld die beheerst wordt door Corona en Media. We zouden zo graag onze moeder nog eens willen omarmen. Maar die lijkt al uit tijd en taal verdwenen.

Good goan!

A Causal Diagram on COVID-19 Infection

I want to know why my friend, 69, was home with 104 fever, reported to his dr., test negative for flu, pneumonia, finally on day 5 was tested for Covid-19, 3 days later positive, told to stay home, and now is near death on ventilator in hospital? Why so long to test????”

(One of the many tweets that express that we are desperately looking for causes. From: Twitter 25-03-2020)

The SARS-CoV-2 virus is rapidly spreading over the world. Every hour the media come with news about the Corona pandemic; the numbers of deaths, of people tested positive, of people admitted to Intensive Care units. Every day we can follow debates between politicians, experts and the public how to handle the various problems caused by the virus.  In the Netherlands we have to stay at home as much as possible, to wash hands regularly, to not shake hands and to keep a “social distance” towards one another of at least 1.5 meters. Schools, restaurants and many shops are closed. Elder people in community houses or living alone are among the most vulnerable. More and more countries decide to a complete lock-down.

Scientists, in particular virologists, epidemiologist, physicians explain their audiences the mechanisms behind the spreading of the virus to make clear the reasons for the measures taken by their governments (or to comment on them). Statisticians try to make sense out of the wealth of data collected by national and international health institutions. What questions can they answer based on their statistics?

People ask what the chances are they will be exposed to the virus when they go to the supermarket. Others want to know how long it takes before the pandemic is under control so that they can go to work and the children to their schools. But a lot is still unknown. The virus differs from those of known influenza epidemics.

A model on the individual level

National health institutions (in the Netherlands the RIVM) as well as international health organisations (in particular the WHO) gather and publish data about the numbers of infected people, as well as how many people died because of the virus. Researchers use this data to explore mathematical growth models to see if they can fit them to the data so they can be used to predict the virus spread, the peak, and when it will decline and how this depends on the policy. These models look on the level of the population of a whole nation, or a particular region (e.g. Lombardi) or even at a city (Wuhan). Sometimes they do look at the different age groups or gender differences. For example to predict fatality rates for different groups.

But these model do not look at the individual level. The causal model that I propose here differs from the epidemiological models. It models the factors that play a role in the effects of the virus on the individual level.

Monitoring Reproduction Number R0

An important societal quality to measure in case of a epidemic is the basic reproduction number of the virus R0 (R-naugth). Politicians and public health experts keep a close eye on this number. R0 represents the number of new infections estimated to stem from a single case. If, for example, R0 is 2.5, then one person with the disease is expected to infect, on average, 2.5 others. An R0 below 1 suggests that the number of cases is shrinking. An R0 above 1 indicates that the number of cases is growing. Of course the numbers counted are statistical measures over a population.

R0 depends on a number of factors. The number of people infected, the number of people vulnerable, the chances that a contact between people will make that the virus transfers from one to another person, how long people infected are able to affect other people. Some of these values are typical for a virus. Others can only be estimated from large populations. A definition of R0 refers to a scientific model of the complex mechanisms underlying the spreading of the virus. See this paper for the confusion about R0. All in all, it is hard to know the “real” value of R0. We can only estimate it.

Since spreading of the virus depends on the way people behave, policies try to steer peoples behavior. So they hope to control R0. In a similar way the doctor tries to influence a patient’s situation by application of some medical treatment. Since the doctor doesn’t know how the patient will react he will keep a close eye on the patient’s situation and adjust his treatment if required. A complicating factor is the time delay. A treatment will only have effect after some time. So in order to prevent critical situations we need to predict how the system that we try to control will behave in the future. So that we can adjust treatment in time. If you want to shoot a flying duck you need to estimate where it will be at the time the bullet will reach the point. All in all there are so many uncertainties, not in the least about how the public will respond in the long run to the measures taken by governments (e.g., to stay at home), and how this depends on expectations presented in the media. Maybe other values become more important after some time (e.g visiting family, go out for pleasure) so that people change their behavior.

Towards a causal Corona model

Many people get sick from the virus, some of them have only mild symptoms, a small percentage does not survive the attack.  Most of the ones that die are older and already have health problems. But there are exceptions. It seems that not all people get the disease. This raises our first question.

  • What are the factors that determine if a person will get COVID-19 ?

For a person to get a disease caused by a virus infection two things are necessary and sufficient: (a) the person is vulnerable for the virus and (b) the person is actually infected by the virus after he or she was exposed to the virus.

This is almost trivial logic of the classical potency act doctrine. Likewise: for a glass to break, the glass has to be breakable (vulnerable for breaking) and there must be some actor that actually breaks it.    

 Our first questions raises two follow-up questions:

(2) What are the factors that determine a person’s vulnerability for being infected?

(3) What are the factors that determine that the person’s gets exposed and infected with SARS-CoV-2?

Some people die after they got the disease, others survive.

(4) Which factors determine how serious the disease will become and what are the factors that determine the chances of survival?

If we have an answer to these questions we can predict which people run most risk of getting ill and what should be the best policy to prevent or control outbreak of the virus. To find answers we have to collect data. The more data, the better. Suppose we want to know what the effect is of age on chances to die because of corona, among those that are affected by the virus. We need statistics: for every patient we need age group, and effect, where effect is either survived or died. We can now estimate the probability for each age group. We might expect that the older the people are the smaller the chances to survive. Suppose we see an unexpected dip in the curve after the age group above 70. How can we explain this? Our data doesn’t tell. Was there a policy to not treat patients of this age group? Data alone is not enough to answer these questions and to make good predictions. We need to know the mechanisms behind it.

A plea for causal graphs

In The Book of Why (2018) computer scientist and philosopher Judea Pearl argues for the use of causal diagrams as a computational instrument to make causal inferences from data. Pearl, who invented Bayesian Networks, points at the fact that we can’t draw causal conclusions from data alone. We need causal intuition from experts about the case at hand. With such a causal model we can simulate experiments by setting values of variables of the causal model and see what the effects are on the outcome variables that we are interested in. Also, if we want to answer questions like “What if Mrs. S., aged 71, of which we know that she became seriously ill after being exposed to the virus and that she was not taken in hospital, had been taken in hospital care? Would she have died?’’

What is a causal diagram?

A causal diagram is a graphical structure with nodes and arrows between pairs of nodes. The arrows represent direct causal relations. The source of the arrow is the cause, the target node represents the effect of the causal relation. Figure 1 shows a causal diagram that could be a part of a causal graph for the analysis and prediction of the effect of age, medical condition and treatment on chances to survive.

Figure 1. A causal diagram

The diagram shows that Treatment depends on Age as well as on Condition. Treatment has effect on Lethality (chance to survive), but this is also dependent on Age and on Condition. Age influences Lethality through four different paths.

Causal diagrams can answer questions like “How does the lethality in the population change if we decide to give all infected people the same treatment independent of age? Or   “How does the recovery rate for the corona disease change if we enforce a complete lock-down instead of the actual soft “intelligent’’ lock down?”.

Such questions can only be answered correctly by means of a causal intervention in the diagram. In technical terms: by applying the do-operator on the intervention variable. (We give the variable a fixed value and compute the effect). This simulates more or less what we would do in a randomized controlled experiment. We learn how Nature works by bringing about some controlled change and observe how Nature responds to that. The validity of the conclusions that we draw from such simulations requires that the model is correct, no arrow between two nodes if there is no causal relation, and complete in the sense that all relevant factors and relations are in the model.

How do we know if the model is complete and correct? I am not aware of any convincing publication about validation of causal diagrams. In fact, a causal diagram is a theory that can at best be falsified, not proven to hold the truth. Pearl’s Book of Why describes some interesting episodes that show that the truth consists in the historical process of scientific research. Not outside this process. Although it helps that now and then someone stubbornly believes that she has seen the light and fights against the community’s doctrine. Those are the ones that make science progress. 

Causal Diagrams and Bayesian Networks

Nodes X and Y of a causal diagram represent factors that play a role in the model, with an arrow drawn from X towards Y if we conceive X as a “direct cause’’ of Y. Mathematically the factors X and Y are stochastic variables of various types: continuous, or discrete: ordered or categorical.

A causal network is a special type of Bayesian network. In a Bayesian network the arrows do not need to refer to direct causes. They stand for probabilistic “influence” without implying a causal direction.  For example, if we know that someone lives in an elderly home we can infer that he or she is most likely over 70 years of age. There might not be a direct causal relation in a strict sense between age and living in an elderly home, but if we got the information that mrs S. lives in an elderly home chances are raising she is over 70 years of age and not 15. In a Bayesian network to each node Y is attached a (conditional) probability table for P(Y|z) where z is a set of all variables that point at Y (the parent nodes of Y).  Thus when the network is X -> Y then node Y has a conditional probability table P(Y|X) and X has a table for the probability distribution P(X).

Where do the probabilities come from? Bayesian networks are quite tolerant about the source of the probability values: they are either computed from data (probabilities as relative frequencies) or based on expert opinions (probabilities as confidence measures of “belief states’’). For a comprehensive review about the use of Bayesian Networks in health applications refer to Evangelia Kyrimi et al. (forthcoming). One observation is that many researchers do not publish their network, nor do they comment on the design process.

Bayesian networks are used to compute (infer) the probabilities of some outcome variables given some known values of input variables (the observed ones). The computation is based on the classical Theory of Probability (Pascal, Fermat) and uses Bayes’ Rule for computing the unknown probabilities of variables.

Let me give an example. Let T be the variable that stands for the outcome of a corona test (its value can be positive or negative) and let D stand for the statement “patient tested has corona disease’’ (D=true or false). We know that there is some causal relation D -> T. In diagnostics we reason from test to disease, not in the causal direction. Suppose the test outcome is positive. Does the patient has the disease? Tests are not 100 % reliable and sensitive. We want to compute P(D=pos|T=pos), the chances that the patient has the disease, given that the test outcome is positive.

Bayes’ rule says:

P ( D=pos | T=pos ) = [ P ( D=pos ) / P ( T=pos ) ] * P ( T=pos | D=pos )

The second factor P ( T=pos| D=pos ), the probability that the test is positive, if we know that the patient has the disease, on the right hand side of the equation has known values. They are based on expert knowledge about the test mechanism explaining how the disease causes the test outcome. The first factor is a fraction: the numerator P (D=pos) is the prior probability, i.e., the chance that the patient has the disease before knowing the test outcome. The denominator P(T=pos) is the probability that the test is positive whatever the situation of the patient. There are small chances that the test shows a positive outcome in case the patient does not have the disease (a false positive).

Bayes rule is consistent with intuitive logic. As you can see from the formula on the right hand side of Bayes rule, the chances P ( D=pos | T=pos ) grow when the prior P (D=pos) grows. When almost everyone has the disease then chances that you have it when you have been tested positive are also high. On the other hand, the higher P( T = Pos ), i.e. the higher chances are that the test is positive (also for people that do not have the disease), the smaller the probability that a positive test outcome witnesses the occurrence of the disease.

When P( X | Y ) is not equal to P (X),  we call X and Y probabilistically dependent. This dependency should not be confused with causal dependency. P(D=pos|T=pos) differs from P(D=pos) but having a disease is not caused by a test.  Also correlation (a measure for co-occurrency) should not be confused with causation.    

What counts as a causal relation?

As we said before, what makes a causal diagram a special (Bayesian) network is that the arrows in the network represent direct causal relations. But what is a causal relation? Where do they come from?

Almost every day we express our beliefs in the existence of a causal relation between phenomena. Either in an implicit way, e.g., “If you don’t hurry now, you will get late.’’, or, explicitly, e.g., on a package of cigarettes: “Smoking causes lung cancer.’’, or “Mrs. Smith died because of corona.’’.  But if we come to think about it, it is not easy to tell what a causal relation is, and how we can distinguish it from other types of influencing between things that happen. The modern history of the idea of cause started with Aristotle’s theory of the four causes of being (see his Metaphysics). Only two of them have survived: the notion of efficient cause and the notion of final cause. In our modern mechanical scientific world view we see a cause as something that brings about some effect: a billiards ball that causes another ball to move and so on. We see chains of causes and effects and many causes that influence other things or processes. On a medical internet site I found “Smoking does not cause lung cancer’’. The motivation is:  (1) not everybody who smokes gets the disease, (smoking is not a sufficient condition to bring about the effect) and (2) some people get lung cancer and never smoked (it is not a necessary condition to bring about the effect). Indeed, after many years of debates and research (see Pearl’s account of this episode in the history of science in The Book of Why), the causal mechanisms of cancer development under the influence of smoking have been largely unraveled. We know that the primary effect of smoking is that the tar paralyzes and can eventually kill the tiny hair-like structures in the lungs. Lung cancer happens when cells in the lung mutate and grow uncontrollably, forming a tumor. Lung cells change when they are exposed to dangerous chemicals that we breathe. The tar makes the lungs more vulnerable for these chemicals. In that sense smoking is indeed a cause of lung cancer. The search for the “real’’ cause will only end when we have found a plausible theory that describes the chemical mechanism of the change of the lung cells.

In general, it seems that as long as cause and effect are two separate objects or processes our wish to know how nature works is not really satisfied. A successful and satisfying search for the real cause of a given effect eventually reveals that cause and effect are actually two sides of the same mechanism that we tend to objectify. In reality cause and effect are materially one and the same process. But this only holds at the end of the search for causes. In making a causal diagram we must take for a cause everything that has a direct influence on (the status of) the effect.  

To make a long story short: there is no agreement about what counts as a “cause’’, so we have to rely on our “causal intuition’’ and expertise in the relevant domains.    

Need for expert knowledge

I am not an expert in one of the relevant areas, but I take the challenge to make a causal diagram based on the information that I gathered from the literature and the internet. I have some experience in the design of such models, but in quite different areas. In the past I gave courses in Artificial Intelligence devoted to Reasoning under Uncertainty. We used (Dynamic) Bayesian Networks for Natural Language Processing and for recognition of participant’s behavior in conversations. In making it I have learned how challenging it is to make such a diagram. The Dutch newspapers and the Dutch RIVM provide statistics and background articles that I use to make the diagram.

My causal corona diagram is just the basic structure of a Bayesian network: I do not attach (conditional) probability tables to the nodes. Computing probabilities is not my concern. I am interested in the causal structure. The main function is to organize and visualize the connections between the most important factors that play a role in the process of getting caught by the corona virus.

The Corona Diagram

The core of the diagram is based on the simple idea that a subject will get sick if and only if two things hold: 1) the subject is vulnerable and therefore sensitive for being infected and 2) he or she is exposed and actually infected by the virus. This is as trivial as cheese and almost tautological. But therefore it is not less truthful.

Here is the kernel of the causal diagram in which Seriousness is the label for the variable that indicates how serious the disease of this person is.   

Now that we are in the middle of the pandemic the public policies focus on minimizing the chances of exposure and infection. Several factors influence a person’s vulnerability for viruses and infections in general. We currently do not have a complete picture of which factors are typical of influence for sensitivity for this new SARS virus.  

Figure 2. The core of the Corona diagram

SeriousNess:  indicates how seriously ill the condition of the patient gets. Values varies from Asymptomatic, Mild, Serious to VerySerious.

It is directly influenced by two factors:

Vulnerability : indicates how sensitive the patient is for the virus. It refers to the subject’s physical condition. Other relevant conditions belong to the second cluster of nodes.

Infection : Infection is when the virus has entered the body. It ranges from nill to a few to many.

When there is no Infection SeriousNess is nill. SeriousNess is determined by the degree of Infection and by Vulnerability. The factors that determine Vulnerability should answer the questions why this young man became seriously ill and needs hospital care where this woman shows only mild symptoms. Recent research indicates that Infection is a gradual thing (a person can be disposed to a few or many viruses) and that SeriousNess depends in a more complex way on the Infection grade (Or type? It might be that difference variants of the Corona virus make a difference here.)

Lethality indicates the chances to die. It depends on the Seriousness and the MedicalCare, i.e. the medical treatment, offered. There is no cure at the moment; only care can help the patient to survive.

Note: It is often difficult to say what the exact cause of death is. Statistics about populations may reveal how many deaths are the effect of the corona virus.

Infection is caused by Exposure (is the subject exposed to virus) and influenced by SelfHealthCare (did subject take hygienic precautions; wash hands, etc.).  SelfHealthCare is important to prevent Infection. That is why it is urged to wash hands with soap or alcohol regularly and not to touch the face.

Vulnerability and Infection are the two main factors. Both are necessary for becoming ill. As you can see there is no direct relation between the two, i.e. Vulnerability does not cause Infection nor the other way around.  However from data collected it will come out that there is a high correlation between the two, suggesting a causal relation. This will show for example when we collect data from medical staff taken into hospital care after they have been tested positive. We cannot conclude from this that in the general public there is a causal relation between the two. This “spurious’’ causal relation only holds for people that are actually infected. (See for an explanation of this phenomenon Pearl’s discussion of Berkson’s paradox in The Book of Why.)

Figure 3. The Corona causal diagram

What are the factors that influence these two main factors?

Vulnerability

This is influenced by:

                HealthCondition:  the physical condition. Some people say that the people that die after being Infected would die anyway within a year or so because of their bad health condition.

                ChronicCondition: chronic diseases: lung diseases, coronary, heart, diabetes. There are indications that a high percentage of patient taken in hospital have a too high BMI (body mass index).

                Gender: 2/3 of the patients that passed away after getting serious ill are male. 

GeneticFactors:  other genetic factors besides gender specific ones may play a role.

                ImmunizationStatus:  it is currently not known how the immune system responds to the virus. There is currently no vaccin. It is to be expected that people that recovered have lesser chances to become ill again. I am not aware of a proof that confirms this expectation. Current research seems to indicate that people that had only mild symptoms are not completely immune for the virus.

                Age: is directly related to a number of other factors. Age is also a factor in the Exposure cluster. Age is more a property that can be used as an indicator for certain inferences. Ageing as a proces influences many aspects of peoples’ life: work, social contacts, etc.  (See below for a discussion about ageing as multi-factor confounder).

Exposure

A subject can be exposed to the virus to several degrees dependent on the concentration of the virus in the locality where exposure occured and the duration of the contact. Exposure is determined by several factors:  mainly by social contacts and activities (type of work, hobbies).  Another factor is

VirusSpread: how much is the virus spread over the subject’s social environment?

If VirusSpread is high and SocialContacts is also high then chances for Exposure are high as well.[1]

It is difficult to get a good picture of the spread of the virus. Only a limited number is tested for the virus. Conclusions drawn from the data collected are most likely biased. Also, different countries have different policies, which makes merging data a real challenge. Even within the Netherlands different regions have different policies dependent on the test capacity available.  See below for a recent publication about a simulation study of the spreading mechanisms of the virus.

Personality: influences SocialContact (See also the comment about compliancy in the notes below.)

Household: apart from social contacts the direct contact with family members influence the chance to be exposed to the virus.

Activities: it makes a difference if the person lives on his/her windowsill or is an active participant in all kinds of social events and organizations.

How can a Corona diagram be used?

The causal diagram presented is the result of an exercise in making a causal diagram for a realistic case. There is need for expert knowledge to come up with a better model. It can be completed with probabilities based on available data.  

Eventually, a causal diagram like this for the Corona pandemic can be used to answer several questions, not just probabilistic questions: what are the effects of certain observations on the occurrence of other events?  But also causal questions: what is the effect of changing values on outcome variables? It can also be used to answer counterfactual questions on an “individual’’ level[2].

The diagram can also be used for qualitative analyses. How is Age related to Lethality? The diagram shows that the influence of Age goes through Sensitivity. Ageing makes people more sensitive for diseases. So if they are infected they run a risk for getting in a serious condition. If there is not enough medical care for the subject chances raise that he or she will die.

What is the impact of gender on lethality?  Data about the incidence of COVID-19 indicates that there is a high correlation between Gender and Seriousness. This suggest a direct effect of Gender on Vulnerability, i.e., that male subjects are more sensitive than female subjects. Statistics show that 2/3 part of all patients are male. But other genes of the human genome may play a role as well.

Health care workers, doctors and nurses in hospitals are more vulnerable than, e.g., computer programmers. The former run a higher risk of becoming exposed and infected than the latter group.  This is reflected in the Activities node in the diagram.

What is the impact of the ecological environment on chances to get ill? The influence of the environment is indirect via HealthCondition. Polluted air causes chronic lung diseases such as COPD which makes people more vulnerable. The risks of getting ill are higher in large urban areas (e.g., Wuhan, Madrid, North Italy, New York) than in traditional agricultural areas. People living in urban areas run more risk to get exposed because of the heavy use of public traffic.

Finally, such a diagram might also help in deciding for or to explain policies that aim at minimizing exposure for specific subgroups of citizens. Isolation of elderly people helps because it affects Exposure, a necessary condition for getting infected.

A note on confounding factors: age

Our diagram has a simple tree-like structure. It has two main branches that are not connected upwards: Seriousness and Infection are not directly connected. Each of the two branches have a tree-like structure themselves.

This implies that Seriousness and Infection are not related. This would be the case if the two branches had a confounding cause. A confounder C of X and Y is simply said a common cause of X and Y. Pearl gives in The Book of Why (2018) a better, mathematical, definition in terms of his do-operator. Since Age influences in fact not only Vulnerability but also Exposure via SocialContacts (not indicated in the diagram) Age is a confounder.

Pearl(2018) discusses a study among retired men that revealed an association between regular walking and reduced dead rates. Is there a causal relation between the two? According to Pearl, the experimenters did not prescribe who would be a casual walker and who would be an intense walker. So we have to take into account the possibility of confounders. “An obvious confounder might be age”. The causal diagram is shown below.

Figure 4. A causal diagram from The Book of Why (J. Pearl, 2018)

Confounding factors cause spurious correlations between other variables. If we want to know the effect of Walking on Mortality we should do that for fixed age groups. The situation would be different when Walking had a causal influence on Age, which is not the case (well, maybe it is).

Some other studies: testing for the virus and mortality

A recent analyses using collected datasets of over 17 million adult NHS patients of which a bit less than 5700 died attributed to COVID-19, confirms the relevance of most the factors in our model that determine chances on death caused by the Corona virus. The study reports (version 7th May 2020) numerical values for the impact of these factors on lethality: age, sex, medical conditions (chronic diseases), deprivation. Race is a factor: “Compared to people with ethnicity recorded as white, black people were at higher risk of death“. Behavioral factors, as the ones in our model, have not been studied. A nice causal diagram is missing in the report.

Some epidemiologists are active on twitter and discuss causal models. One of them is Ellie Murray. She likes to illustrate her model and ideas with nice handmade infographics. See figure below.

A nice illustration of a causal analysis by Ellie Murray on Twitter (May 8, 2020)

Besides the personal question “How are chances for this particular person that he or she will be infected by the virus and survive?’’, there are questions concerning the effect of policies as well as compliancy on the spread of the virus and on mortality. Other researchers focus on these and on the global effect of the pandemic on mortality in the general public. How much does the virus shorten life expectancy?

David Spiegelhalter (2020) discusses the issue of whether many deaths from COVID-19 would have occurred anyway as part of the `normal’ risks faced by people, particularly the elderly and those with chronic health problems who are the main victims of COVID. The current – 25-03-2020 – estimated infection fatality rate (percentage death among infected subjects) is anywhere between 0.5% and 1%.

Norman Fenton et al.(2020) illuminate the need for random testing to prevent bias due to the selection methods used now. They advocate the use of a causal model for the analysis of the results. They present an example of a causal model for a given country and its population in order to show that the COVID-19 death rate is “as much a function of sampling methods, testing and reporting, as it is determined by the underlying rate of infection in a vulnerable population.’’

Wilder et al.(2020) develop an agent based model for studying the spread of the SARS-CoV2 virus. “A key feature of the model is the inclusion of population-specific demographic structure, such as the distributions of age, household structure, contact across age groups, and comorbidities.’’ The aim of this study is “to evaluate the impact of age distribution and familial household contacts on transmission using existing data from Hubei, China, and Lombardy, Italy –two regions that have been characterized as epicenters for SARS-CoV2 infection –and describe how the implications of these findings may affect the utility of potential non-pharmaceutical interventions at a country-level.’’

Conclusion

Motivated by Judea Pearl’s The Book of Why in which he advocates the use of causal diagrams, interested in the mechanisms that play in the Corona disease, not disturbed by any expert knowledge in virology, epidemiology, or whatever relevant domain, I made a causal diagram. I hope I have explained what it is, what it can be used for and why it would be good to work on a better one.  

Rieks op den Akker, Lonneker, March 2020

References

David Spiegelhalter (2020), How much ‘normal’ risk does Covid represent? Blog posted March 21, 2020. https://medium.com/wintoncentre/how-much-normal-risk-does-covid-represent-4539118e1196

Judea Pearl & Dana Mackenzie (2018). The Book of Why : the new science of cause and effect. New York: Basic Books.

Judea Pearl (2001), Causality: models, reasoning and inference. Cambridge University Press, Revised edition, 2001.

Norman Fenton, Magda Osman, Martin Neil, Scott McLachlan. Improving the statistics and analysis of coronavirus by avoiding bias in testing and incorporating causal explanations for the data. http://www.eecs.qmul.ac.uk/~norman/papers/Coronavirus_death_rates_causal_model.pdf

Wilder, Bryan and Charpignon, Marie and Killian, Jackson and Ou, Han-Ching and Mate, Aditya and Jabbari, Shahin and Perrault, Andrew and Desai, Angel and Tambe, Milind and Majumder, Maimuna, The Role of Age Distribution and Family Structure on COVID-19 Dynamics: A Preliminary Modeling Assessment for Hubei and Lombardy (March 31, 2020). Available at SSRN: https://ssrn.com/abstract=3564800 or http://dx.doi.org/10.2139/ssrn.3564800

Kyrimi, E., McLachlan, S., Dube, K., Neves, M.R., Fahmi, A., & Fenton, N.E. (2020). A Comprehensive Scoping Review of Bayesian Networks in Healthcare: Past, Present and Future. ArXiv, abs/2002.08627.

Rieks did some mathematics and computer science. He has a PhD in computer science. He moved to dialogue systems research and natural language processing. He was Assistant Professor Artificial Intelligence and Human Computer Interaction at the University of Twente. He designed and used Bayesian Networks for modeling and prediction of conversational behaviors. He lectured logic and statistical inferencing in AI courses focusing on reasoning with uncertainty.

Notes:

[2] Real individuals do not occur in scientific models. Science is about categories. Individuals are abstract entities represented by a list of attribute/value pairs. In a counterfactual question to the model we change certain values of some individual to see what the effect would be had she had this property instead of the one that she has in the real world.


[1] Comment by Miriam Cabrita. Related to Exposure, I miss how the community (excluding the individual self) comply with the measures proposed to stop the virus. For example, one way or another everybody needs to do shopping. Let’s assume that an individual goes to the supermarket and takes all precautions given by the government and even more (e.g. washes hands carefully when arrives home, removes shoes). If the people in the community are sloppy (not to say  stupid), and keep going to the supermarket while sick, the chances that the individual is Exposed to the disease are much higher than in a community where everyone respects the rules. What if the people you live with do not comply with the rules of SelfHealthCare? Then you are also much more exposed to the virus.

Response by Rieks: Compliance is indeed a factor that affects VirusSpread. It maybe affected by Personality, i.e., some people are more compliant to authority regulations than others (youngsters, elderly, for different reasons). You need to know compliance to treatment to know the effects of treatment. You need to know if people were free to choose for or assigned to a treatment, since that affects compliancy. These are relevant issues in the current discussion in the Netherlands about the introduction of a corona app to trace, detect and warn people for corona. What can we do with the data collected? 

Revisiting Simpson’s Paradox

Most people involved in car accidents have a driver’s license

Has Simpson’s paradox anything to do with causality as Judea Pearl claims in The Book of Why ? In this book the computer scientist and philosopher of science describes the historical development of a mathematical theory of causation. This new theory licenses the scientist to talk about causes again after a period in which she could only report in terms of correlations. Will the Causal Revolution, in which Pearl playes a prominent role, eventually lead to a conversational machine that passes the Turing test?

The strange case of the school exam

A school offers courses in statistics. Two Professors are responsible for the courses and the exams. The contingency tables below show statistics about the students exam results in terms of passed (Positive) or not passed (Negative) for each of the two Professors.

The school awards the Professor with the best exam results. Professor B claims the award pointing at the first table. This table shows indeed that the relative frequencies of passing are higher for Professor B (2% negative result) than for Professor A (3% negative result).

Professor A objects against B’s claim. It was recorded which students were well prepared for the exam, and which were not. He compiled a table for the segregated results. Indeed, this second table shows that for both student categories the results of Professor A are better than for those of Professor B.

Which Professor wins the award?

The strange outcome of the statistics exams

The statistics in the aggregated table shows clearly that for the whole group of students prof B has better results than prof A, but for both subgroups of students it is reversed: prof A is better than prof B.

How is this possible?

This surprising outcome of the statistics exams is my favourite instance of Simpson’s paradox. The paradox is well known among scholars and among most students that followed a course in statistics. I presented it my students in a lecture to warn them for hidden variables. I have surfaced my slides again when I was reading Judea Pearl’s discussion of the paradox in The Book of Why.

Beyond statistics: causal diagrams

After he introduced Bayesian Networks in the field of Artificial Intelligence, Pearl invented causal diagrams and developed algorithms to perform causal inferences on these diagrams. In The Book of Why Pearl presents several instances of Simpson’s paradox to clarify that we cannot draw causal conclusions from data alone. We need causal information in order to do that. In other words: we need to know the mechanism that generated the data.

Causal diagrams are mathematical structures, directed acyclic graphs (DAGs) in which the arrows connecting two nodes represent a causal relation, not just a probabilistic dependency.

Figure 1 shows two possible causal diagrams for the case of the school exams.

Figure 1. Two causal diagrams for the school exams

Both networks can be extended to a Bayesian network with probabities that are consistent with the statistics in the tables. In both models the Professor and the Student, represented by the node labeled Prepared, are direct causes of the exam result, represented by the node labeled Passed. The diagrams differ in the direction of the arrow between the Prof node and the Prepared node. In the diagram on the left the causal direction is towards the Prof node; in the diagram on the right the cuasal direction is towards the Prepared node: the Professor determines how well students are prepared for the exam.

If the latter model fits the real situation the school should award Professor B. The decision should be based on the table with the combined results. The better exam results are the Professor’s credit.

The diagram on the left models the situation in which the preparedness of the students somehow determines the Professor.  In this case the school could award Professor A based on the results in the lower, segragated, table.

What has Simpson’s paradox to do with causality?

What makes Simpson’s paradox a paradox? There has been some discussion about this in the statistical literature. Simpson himself gives two examples of the phenomenon. One is about the chances of survival after a medical treatment where the contigency tables show that the treatment is good for males as well as for females but valueless for the race. Of course, such a treatment cannot exist. But what should we conclude from the tables? Again, the answer depends on the underlying mechanism, that can be represented by a causal diagram. Simpson suggests that the “sensible interpretation” is that we use the segregated results for the genders. It is a bit strange, indeed, to assume that the treatment affects the patient’s gender.

Pearl distinguishes between Simpson’s reversal and Simpson’s paradox. He claims that Simpson’s paradox is a paradox because it “entails a conflict between two deeply held convictions”. Notice that also in case there was no reversal different causal diagrams are possible.

Why does Simpson’s paradox reveal?

In Causality(2003) Pearl introduces the paradox in terms of conditional probabilities.

“Simpson’s paradox refers to the phenomenon whereby an event C increases the probability of E in a given population p and, at the same time, decreases the probability of E in every subpopulation of p. In other words, if F and ~F are two complementary properties describing two subpopulations, we might well encounter the inequalities

P(E | C ) > P(E | ~C)

P(E | C,F) < P( E | ~C,F)

P(E | C,~F) < P(E | ~C,~F)

“Although such order reversal might not surprise students of probability, it is paradoxical when given causal interpretation.’’ (Causality, p.174; italization is mine)

From the first inequality we may not conclude that C has a positive effect on E.  The effect of C on E might be due to a spurious confounder, e.g., a common cause of E and C.

In our example of Simpson’s paradox we could estimate conditional probabilities P(Passed|Prof)  from the contingency tables.

From the inequality

P(Passed=True|Prof = A) > P(Passed=True| Prof=B)

derived from the combined table we could conclude that the Professor has a causal influence on Passed, i.e. on the exam results. If we do this we give the inequality a causal interpretation. And this is clearly wrong! There could be other mechanisms (confounders) that make Passed dependent on Professor.

Why is Simpson’s reversal surprising?

Consider the following statement.

If a certain property holds for all members of a group of entities then that same property also holds for all members of all subgroups of the group and vice versa.

This seems to me logically sound. It holds for whatever property. The statement differs from the following.

If a certain property holds for a group of entities then that same property also holds for all subgroups of the group and vice versa.

The second one is about properties of aggregates. This is not a sound logical rule. It depends on the property if it holds truth.

If a student sees the contigency tables of the school exams and notices the reversal he might perceive this as surprising and see it as contradicting the first statement.. On second thought, he might notice that it is not applicable: there is no property that holds for all students. The student might think then that it is contradicting the second statement. But then he realizes that this is not sound logic. Simpson’s paradox makes him aware that the second rule, the one about aggragates does not apply here. The reason is that the property is not “stable’’. The property changes when we consider subgroups instead of the whole group. The property is a comparison of relative frequencies of events. In our example:

 6/600 < 8/600 and 57/1500 < 8/200

and for the merged group it holds that:

(6+57)/(600+ 1500)  > (8+8)/(600+200)

The abstract property hides, in a sense, the differences that occur in the underlying relative frequencies. The situation is like winning a tennis match: a player can win the match although her opponent wins most of the games. The outcomes of the games are hidden by counting the number of sets that each of the players wins. With set scores 6-5, 0-6 and 6-5 player A wins 2 sets to 1, but player B wins with 16 games to 12.

Indeed, “Simpson’s reversal is a purely numerical fact”.

What has Simpson’s paradox to do with causality?

Pearl’s claims that for those who give a physical causal interpretation of the statistical data, there is a paradox. “Causal paradoxes shine a spotlight onto patterns of intuitive causal reasoning that clash with the logic of probability and statistics” (p.190).

In The Book of Why he writes that it cost him “almost twenty years to convince the scientific community that the confusion over Simpson’s paradox is a result of incorrect application of causal principles to statistical proportions.”

It looks like it depends not only on the rhetorical way an argument is brought but also on the receiver if an argument or construct is perceived as a paradox.

The heading “ Most people involved in car accidents have a driver’s license’’ is conceived as funny by the reader in as far as it suggests for the reader a causal relation, i.e. that having a driver’s license causes car accidents.’’

How would a student of the Jeffrey’s and Jaynes’ school, i.e. some one who has an epistemological concept of probability perceive Simpson’s paradox?

When I saw Simpson’s paradox for the first time I was surprised. Why? Because of the suggestion the tables offer, namely that they tell something about general categories. Subconsciously we generalize from the finite set of data in the tables to general categories. If we compute (estimate) probabilities based on relative frequencies we in fact infer general conclusions from the finite data counts. The probabilities hide the numbers. In my view the paradox could very well be caused by this inductive step. We need not interpret probabilistic relations as causal to conceive the paradoxical character.

What are probabilities about?

At the time I was a student, probability theory and statistics was not my most popular topic. On the contrary! My interest in the topic were waken up when I read E.T. Jaynes’ Probability Theory. Jaynes is an out and out Bayesian with a logical interpretation of the concept op probability. According to this view probability theory is an extension of classical logic. Probabilities are measures of the plausibility of a statement expressing a state of mind. P(H|D) denotes the plausibility of our belief in H given that we know D. I use H for Hypotheses and D for Data. P(H|D) can stand for how plausible we find H after having observed D. Bayes’ rule tells us how we should update our beliefs after we have obtained new information. Bayes’ rule is a mathematical theorem within probability theory. It allows us to compute P(H|D) from P(D|H), the probability of D given some hypothesis, and P(H), the prior probability of H.

Jaynes warns his readers to distinguish between the concept of physical (or causal) dependency and the concept of probabilistic dependency. Jaynes theory concerns the latter, epistemological (in)dependencies, not causal dependencies.

Neither involves the other. “Two events may be in fact causally dependent (i.e. one influences the other); but for a scientist who has not yet discovered this, the probabilities representing his state of knowledge – which determines the only inferences he is able to make – might be independent. On the other hand, two events may be causally independent in the sense that neither exerts any causal influence on the other (for example, the apple crop and the peach crop); yet we perceive a logical connection between them, so that new information about one changes our state of knowledge about the other. Then for us their probabilities are not independent.’’ (Jaynes, Probability Theory, p. 92).

Jaynes’ Mind Projection Fallacy is the confusion between reality and a state of knowledge about reality. The causal interpretation of probabilistic relations is an instance of this fallacy. Logical inferences can be applied in many cases where there is no assumption of physical causes.

According to Pearl the inequalities of Simpson’s paradox are paradoxical for someone who gives them a causal interpretation. I guess Jaynes would say: the fact that these inequalities hold shows that we cannot given them a causal interpretation; they express different states of knowledge. You cannot be in a knowledge state in which they all hold true.

But how would Jaynes resolve the puzzle of the school exam? Which of the two Professors should win the award? Jaynes was certainly interested in paradoxes, but he didn’t write about Simpson’s paradox, as far as I am aware of. I think, he would not consider it a well-posed problem. Jaynes considered the following puzzle of Bertrand’s not well-posed:

Consider an equilateral triangle inscribed in a circle. Suppose a chord of the circle is chosen at random. What is the probability that the chord is longer than a side of the triangle?

Bertrand’s problem can only be solved when we know the physical process that selects the cord. The Monty Hall paradox discussed by Pearl, is also not well-posed, and hence unsolvable, if we don’t have information about the way the quiz master decides which door he will open. The outcome depends on the mechanism. Jaynes and Pearl very much agree on this. Jaynes relies on his Principle of Maximum Entropy to “solve” Bertrands’paradox. I don’t see how this could solve the puzzle of the school exam. Somehow Jaynes must put causal information in the priors.

How can Jaynes theory help the scientist in finding if two events are “in fact causally dependent’’ when probabilities are about the scientist’s “state of knowledge’’ and not about reality? After all scientist aim at knowledge about the real causes. We are not forbidden, Jaynes says, to introduce the notion of physical causation. We can test any well-defined hypothesis. “Indeed, one of the most common and important applications of probability theory is to decide whether there is evidence for a causal influence: is a new medicine more effective, or a new engineering design more reliable?’’ (Jaynes, p.62).

The only thing we can do is compare hypothesis given some data and compute which of the hypothesis best fits the data. Where do the hypothesis come from? We create them using our imagination and the knowledge we have already gained about the subject.

The validation of causal models

Causal diagrams are hypothetical constructs designed by the scientist based on his state of knowledge. Which of the two causal diagrams of school exam case fits the data best? We have learned that we cannot tell based on the data in the contingency tables: both hypothetical models fit the data. Gathering more data will not help us in deciding which of the two represents reality. We can only decide when we have extra-statistical information, i.e. information about the processes that made the data. Jaynes advocates the use of his principle of maximum entropy when we have to make a choice for the best prior. But the causal direction is not testable by data. So I do not see how this can solve the school’s problem.

But how does Pearl justify the causal knowledge presented in a causal model? How can we decide that this model is better than that one? The hypothetical causal models are in fact theories about how reality works. We cannot evaluate and compare them by hypothesis testing. Data cannot decide about causation issues. How do we validate such a theory then? It seems that we can at best falsify them.

Pearl doesn’t give an explicit answer to this critical question in The Book of Why. The answer is implicit in the historical episodes of scientific inquiries that he writes about; the quests and quarrels of researchers searching for causes. If there is something like the truth, it is in these historical dialectical processes. Not outside this process. Although it helps that now and then someone stubbornly believes that she has seen the light and fights against the establishment’s doctrine. Those are the ones that make science progress. The Book of Why contains a few examples of such stubborn characters. To quote Jaynes: “In an field, the Establishment is seldom in pursuit of the truth, because it is composed of those who sincerely believe that they are already in possession of it.” (Jaynes, p.613). Eventually, it is history that decides about the truth.

The Big Questions: Can machines think ?

In the final chapter of The Book of Why Pearl shares some thoughts about what the Causal Revolution might bring to the making of Artificial Intelligence. “Are we getting any closer to the day when computers or robots will understand causal conversations?’’ Although he has the opinion that machines are not able to think yet, he believes that it is possible to make them think and that we can have causal conversations with machines in the future.

Can we ever build a machine that passes the Turing test, a machine that we can have an intelligent conversation with as we have with other humans? To see what it means to build such a machine and what this has to do with the ability to understand causality, consider the following two sentences (from Terry Winograd, cited in Dennett (2004)).

“The committee denied the group a parade because they advocated violence.’’

“The committee denied the group a parade because they feared violence.’’

If a sentence like these occurs in a conversation with a machine it must figure out the intended referent of the (ambiguous) pronoun “they”, if it will be able to respond intelligently.

It will be clear that in order to do this, the machine must have causal world knowledge, not just about a few sentences, or about some “part or aspect of the world’’ (which part or aspect then?).  Such a machine might also be able to see the pun in “Most drivers that are involved in a car accident have a driver’s license.’’.

I worked for quite some time in the field of Natural Language Processing, building dialogue systems and artificial conversational agents. We haven’t succeeded up to now in making such machine, although results are sometimes impressive. Will we ever be able to build such a machine? It is an academic issue often leading to quarreling about the semantics, something that Turing tried to prevent with his imitation game.

What about responsibility?

What is not an academic issue, but a real practical one, is the responsibility that we have when using machines; computers and robots that we call intelligent and that we assign more and more autonomy and even moral intelligence.

I end my note about Simpson’s paradox that became a sort of review of Pearl’s The Book of Why, with emphatically citing another giant in the philosophy of science, Daniel C. Dennett.

“It is of more than academic importance that we learn to think clearly about the actual cognitive powers of computers, for they are now being introduced into a variety of sensitive social roles, where their powers will be put to the ultimate test: In a wide variety of areas, we are on the verge of making ourselves dependent upon their cognitive powers. The cost of overestimating them could be enormous.’’ (D.C. Dennett in: Can Machines Think?).

“The real danger is basically clueless machines being ceded authority far beyond their competence.” (D.C.Dennett in: The Singularity—an Urban Legend? 2015)

Great books are books that make you critically reflect and revisit your ideas. The Book of Why is a great book and I would definitely recommend my students to read it.

References

Daniel C. Dennett (2004) Can Machines Think? In: Teuscher C. (eds) Alan Turing: Life and Legacy of a Great Thinker. Springer, Berlin, Heidelberg (pp. 295-316)  https://link.springer.com/chapter/10.1007%2F978-3-662-05642-4_12  

Daniel C. Dennett(2015) The Singularity – an urban legend?  Published in What do you think about machines that think? Edge.com  https://www.edge.org/response-detail/26035

E.T. Jaynes (2003) Probability Theory: the logic of science. Cambridge University Press, UK, 2003.

Judea Pearl(2001) Causality: models, reasoning, and inference. Cambridge University Press, UK, reprint 2001.

Judea Pearl and Dana Mackenzie(2019) The Book of Why: the new science of cause and effect. First published by Basic Books 2018. Published by Penguin Random House, UK, 2019.

Stuart Russell and Peter Norvig(2009) Artificial Intelligence: A Modern Approach, 3rd edition. Published by Pearson, 2009.

E.H. Simpson(1951) The Interpretation of Interaction in Contingency Tables. Source: Journal of the Royal Statistical Society. Series B (Methodological), Vol. 13, No. 2 (1951), pp. 238-241. Published by: Blackwell Publishing for the Royal Statistical Society. Stable URL: http://www.jstor.org/stable/2984065

Van de maan af gezien zijn we allen even groot

In de serie Denken in tijden van Corona gaat het deze keer over de kwestie wat we met onze ouderen moeten.

Het Corona-virus waart door Europa. Nee, niet door Europa. Over de hele aardbol. Het begon onder de Chinezen, nog ver weg. Maar nu is het hier en bij de buren. Overal zit het. Zelfs in Amerika zit het al terwijl ze daar de boel zo goed dicht houden voor binnendringend gespuis. Het is er, maar je ziet het niet. Zoals meestal bij oorzaken.

Wat we wel zien zijn de gevolgen. De beelden van door het virus getroffenen op overvolle intensive-care afdelingen. De lijkkisten in rijen opgesteld wachtend om ter aarde besteld te worden. We mogen de deur niet meer uit van de regering die daarin geadviseerd wordt door de wetenschappers die dagelijks hun grafieken tonen en zich laten verleiden tot uitspraken waarvan ze weten dat ze die, hoe voorzichtig die ook zijn, niet waar kunnen maken.

Oma en opa, moeder en vader, tante en oom. De kinderen en kleinkinderen; we mogen ze niet meer opzoeken. Niet naar ons zomerhuisje in het buitenland. De media overspoelen ons bijna 24 uur per dag, 7 dagen per week met de aantallen positieve (dat is niet best) gevallen, IC-opnames en doden. En met meningen, heel veel meningen over hoe het anders had gemoeten, en over hoe het verder moet nu het gaat zoals het gaat.

Het is voorjaar. Normaal is dit de tijd voor de schoolexamens. Vorige week kwam het onvermijdelijke bericht dat de eindexamens dit jaar niet doorgaan. Wat een enorme teleurstelling voor al die examen-leerlingen. Ik kan me dat goed voorstellen. Het is alsof je te horen krijgt dat een belangrijke wedstrijd waar je al weken naar toe hebt geleefd is afgelast. Maar dan anders, veel erger.

Het bericht deed me denken aan mijn eindexamen. Voor Nederlands moesten we een opstel schrijven (misschien heette het wel essay). Je kon kiezen uit een aantal onderwerpen aangegeven door een stelling. Ik weet niet meer welke, maar mijn keus viel op: “Van de maan af gezien zijn we allen even groot.” (Ik heb het nog even opgezocht: het is een citaat van Eduard Douwes Dekker beter bekend als Multatuli.)

Ik kan me geen ene zin meer uit mijn opstel herinneren. Maar had ik er nu voor gestaan, in tijden van Corona, dan had het er misschien wel zo uit gezien.

Voor Asha.

Van de maan af gezien zijn we allen even groot

Dat klopt. Als je je maar ver genoeg van de mensen op aarde verwijdert, dan vallen de verschillen je niet meer op. Dan zijn alle mensen Chinezen. Dan zijn alle Turken en Marokkanen hetzelfde en precies Chinezen. Dan zijn alle Nederlanders even lang en even dik. Net als alle Chinezen.

Maar kom je dichterbij. Dan lijkt ieder mens anders te zijn dan de anderen. De een is 2 meter, de ander slechts 1 meter 50. De een heeft blauwe ogen, de ander groene. De een is dik, de ander dun. Die heeft een lange neus, de ander een houten been, een bril of een slecht gehoor. En als je heel goed kijkt dan zie je dat de een slechte vaten heeft, de ander slechtwerkende nieren of een gen-mutant dat de belofte inhoudt van een op handen zijnde bloedziekte, een prostaat- of borstkanker. De een is overmoedig en opgewekt van karakter en loopt de kans jong te sterven bij een tragisch ongeval, de ander is depressief en loopt rond met een gevoel van was ik maar niet hier.

Maar vanaf de maan gezien zijn we allemaal gelijk. Soms is het goed om die afstand te nemen. Door afstand te nemen kun je relativeren. Je ziet dan misschien beter de grote lijn, niet verblind door onbenullige details.

Ik moest daar aan denken in verband met de discussie over de triage naar aanleiding van de crisis in de ziekenhuizen ten gevolge van de Corona.

Corona legt veel problemen onder een vergrootglas. Een nijpend probleem is het tekort aan IC-bedden en IC-personeel. Niet alleen corona-zieken worden door dit tekort getroffen, ook anderen die behoefte hebben aan medische zorg. Er is een tekort aan medische zorg; aan mondkapjes, aan test-materiaal. Het eigenlijke probleem is dat al die voorzieningen net als de levens van de mensen eindig zijn en dat we moeten kiezen.

Asha ten Broeke maakt in haar column in de Volkskrant melding van de sluipende opkomst van een ander levensbedreigend virus. Ze schijft.

De NOS meldde dat ‘mensen die compleet hulpbehoevend zijn voor hun dagelijkse verzorging’ volgens richtlijnen bij ic-beddenschaarste niet meer worden opgenomen. Dat was onjuist, maar alarmbellen waren blijkbaar niet afgegaan ter ­redactie, zo normaal is zo’n notie inmiddels. Enkele Amerikaanse staten stelden in protocollen dat gehandicapte mensen geen goede kandidaten zijn voor beademing. Bert Wagendorp liet weten dat hij liever niet heeft dat schransende zwaarlijvigen ic-bedden bezet houden wanneer een geliefde van hem er een nodig heeft.

Asha werd boos.

Laat artsen aan het bed beslissen over leven en dood, en laten wij hen en elkaar respecteren door niet te speculeren over wie de moeite van het redden waard is. Laten we mensen blijven; mensen die we herkennen. Anders verliezen we tijdens deze crisis meer dan levens; dan verliezen we ons hart.

Ze kreeg veel bijval. Maar er waren ook die de noodzaak inzien van een protocol. Eerder was er Bij Nader Inzien al een discussie tussen ethici en moralisten, en wie is dat niet, over de kwestie of het nu, nu midden in de crisis, wel de tijd is voor zo’n discussie. Wat is de geschikte afstand tot de zaak om hier een goede beslissing over te nemen? Moeten we het aan de arts aan het bed over laten, zoals Asha betoogt? Of moeten we het aan een commissie van medici en medisch ethici, theologen en juristen over laten? Die ergens in een vergaderzaaltje op de maan een protocol produceren dat de arts daar beneden aan het bed voorschrijft of ze de stekker er uit moet trekken of door moet gaan met behandelen. Met een berekende kans op nog een jaartje voortleven; tot de dood er eventueel op volgt?

Ik ben erg benieuwd naar het algoritme. Welke factoren worden meegenomen in de afwegingen? Leeftijd? BMI? Chronische ziektes: diabetes, obesitas, hoge bloeddruk, lage rugpijn? Verwachte levensduur? Waarschijnlijk wel. Kwaliteit van leven? Maar welke factoren bepalen de kwaliteit van een mensenleven? Van mijn leven? Van het leven van Asha, van Marion, van Miriam, van Harm, van Jelle, van Roos, van Liesbeth. En wie bepaalt dat? En met welke vragenlijst? Ik zie dat helemaal niet zitten, zo’n protocol.

En dan is er nog de vraag of zo’n protocol dwingend wordt opgelegd. Of gaat het zo van: er is een protocol maar ga er verstandig mee om, dames en heren doctoren. In dat geval zou het nog acceptabel zijn. Maar is de arts aan het bed geholpen met een protocol waaraan hij niet gehouden is? Misschien wel.

Asha wil dat artsen aan het bed beslissen over leven en dood. Dat lijkt me een verkeerde voorstelling van zaken (ik zou 50 jaar geleden in mijn opstel hier het woord framing hebben gebruikt). Artsen beslissen niet over leven en dood. Dat doen moordenaars en rechters die een doodstraf opleggen. Artsen overleggen met alle betrokkenen, met hun geweten en zo mogelijk in de eerste plaats met de patient (wij dus, Asha) wat het beste is voor de patient. Niet voor de economie maar voor deze mens waar het hier en nu om gaat. Dat de artsen daarbij in overweging zullen moeten nemen welke middelen hun ter beschikking staan, dat zal duidelijk zijn. Geen mens mag het leven van een ander wegnemen. Geen mens kan de tragiek van de eindigheid van het leven en van de beperktheid van de middelen waarvan dat leven afhankelijk is wegnemen. Die tragiek hoort bij ons leven.

Ik hoop dat het helpt. Het ga je goed.

Prof. D.C. Dennett and the Power of the Computer

D.C. Dennet is a scientific philosopher. He is deeply concerned with questions about the human mind, consciousness, free will, the status of men and machine in the world of creatures. The stored program computer is a key concept in his philosophy. (For a bibliography see
https://adamwessell.wixsite.com/bioml/daniel-dennett ).

“Thinking is hard.” We think a lot but we often follow paths that mislead us from the truth. In “Intuition pumps” (2013) Dennett collected a large number of stories, thought experiments that he developed in order to think properly to find answers to nasty questions. Reading the book is a good way to introduce yourself into the rich world of one of the most important thinkers of today. I follow Dennett from the time he published The Mind’s I (1981) together with D. Hofstadter (I got a copy from my students when I left high school, where I teached mathematics and physics, back to the university.)

As I said, the computer plays a key role in Dennett’s thinking. I always felt that there is something wrong with the way he thinks about the computer but it was always hard for me to understand what it exactly was and most importantly how I could understand how his idea about the computer fits in his philosophy. In this essay I try to explain where I believe Dennett is missing an important point when he explains “where the power of the computer comes from”.

According to Dennet we do not need “wonder tissues”, to explain the working of the human mind. When we understand what a computer can do and when we see how computers work we will eventually see that we do not need to rely on “magic” to understand the human mind. Electronic circuits can perform wonderful things.

He explains his students how the computer works in order to unveal the secrets of the power of the machine. By showing the students where the power of the computer comes from he tries to make clear that the evolution of the machine eventually leads to a computer that equals the power of the human mind.

Where does the power of the computer come from? Or how does a computer work?

Difficult questions. For me at least. From the time I was a student (I studied mathematics and computer science in the 70s at the University of Twente in the Netherlands) these questions kept me busy. How do we have to think properly to find an answer? I read many texts that describe the working of the computer. I teached students how to program computers in various types of programming languages. I teached them in “Compiler Construction” courses how to implement higher order programming languages. I programmed computers in order to allow people having a conversation with the computer in Dutch or English. I gave courses in formal language theory, mathematical logic, computability theory, machine learning, and conversational analyses. I teached my students to program a Universal Turing Machine or Register Machine, the basic mathematical models of the stored program computer, precursors of all modern computers.

But I always felt that being able to program a computer, and being able to teach others how to program a Turing machine or a Register Machine does not mean that you can give a satisfying answer to the question: how does a computer work?

From Louk Fleischhacker, my master in Philosophy of Mathematics and Technology, I learned that a satisfying answer to the question how the computer works is hard to give without understanding mathematics, without understanding what it means to compute something. The computer would not be possible without a fundamental idea in metamathematics: that the language of arithmetics can be constructed as mathematical structure itself and that the arithmetical and logical operations can be formalized as operations on a formal language. This language becomes the interface, a programming language, to the mathematical machine. It is not for nothing that many people answer the question what mathematics is by saying that it is a special language. When we make a computation we manipulate tokens according to rules that we have learned.

There are at least two types of answers to the question how a computer works.

There is the technical answer. Dennett gives a technical answer. He explains in a very clear way how the register machine works by showing and teaching his students how to program the register machine. This machine is programmed using a very simple programming language: it has only three types of instructions. Step by step he explains what the machine does with the instructions. After he has explained how the machine can be programmed to add two numbers he asks his reader to be aware of the remarkable fact that the register machine can add to numbers without knowing what numbers are or what addition is. (I emphasize “without knowing” because it is a central idea in Dennett’s thinking: many creatures show intelligent behavior without knowing.)

Technical answers like this never satisfied me. They do not explain what we exactly mean by phrases like “what the machine does”.

As an answer to “how does a computer work?” I sometimes gave my students the following demonstration.

I hold a piece of paper for my  mouth and I shout “Move!”. The moving of the paper I then explained by saying:  “you see, the paper understands my command.” In a sense (Dennett would say “sort of” understands!). In what sense? Well, the meaning of the word confirms the effect of the utterance of the word: the paper moves as if it understands what I mean with uttering the word. This is an essential feature of the working of the computer. Note that the movement of the piece of paper is conditional on my uttering of the word. There is a one-to-one correspondence between the meaning of the word and the effect of uttering it.

The computer is a “language machine”. You instruct it by means of a language. The hardware is constructed so that the effect of feeding it with the tokens satifies the meaning that the tokens have. Therefore the programmer has to learn the language that the machine “sort-of” understands. The program is the key, the machine is the lock that does the work when handled with the proper key.

What has this to do with mathematics? Well; what is typical for mathematics is that mathematical expressions have an exact and clear meaning: there is no vagueness. There is a one-to-one correspondence between the effect of uttering the word and the physical effect caused by it, that represents the meaning of the word.

A demonstration I gave people in answer to the question “how does a computer compute the sum of two numbers?” runs as follows. I demonstrate how a computer computes 2 plus 3. First I put 2 matches on an overhead projector. Then I put another 3 matches on a second projector. Then one by one I move the three matches from the second projector to the first project. And look: the result can be read off from the second projector: five matches.

Explanation: the two and three matches stand for the numbers 2 and 3 respectively: there is a clear unambiguous relation between the tokens (the three matches) and their meaning, the mathematical object (the number 3). The moving of the 3 matches to the first projector stands for the addition operation: a repetition of adding one until there is no match left on the second projector. The equality of the 2 and the 3 as seperated units (representing the numbers 2 and 3) on the one hand and the whole of 5 matches (representing the number 5) is a mathematical equality. You might say that I execute a conditional branching instruction when doing the demonstration: if there is a match on the second projector take a match and put it on the first projector; else stop and read off the result. But also my execution is conditional on the procedure that I follow. In the stored program computer there is no difference in status between the program parts, the statements, and the numbers. The difference between statements or operators and numbers or operants is only in the minds of the designer and the programmer.

I think most people did not took my demonstration as a serious answer to the question how a computer works. But I believe it shows an essential feature of the computer. A feature that Dennett misses when he tries to explain the power of the computer.

According to Dennett the power of the register machine is in the conditional branching instruction. This construction tells the machine to check if a certain register contains the number 0 and then take a next step based on the outcome of this check. What is so special about this instruction?

“As you can now see, Deb, Decrement-or-Branch, is the key to the power of the register machine. It is the only instruction that allows the computer to “notice” (sorta notice) anything in the world and use what it notices to guide its next step. And in fact, this conditional branching is the key to the power of all stored-program computers, (…)’’ (From: Intuition Pumps and other tools for thinking. The same text – without the bracketed sorta notice – can be found in Dennett’s lecture notes The secrets of computer power revealed , Fall 2008).

What Dennett misses, and what is quite essential, is that every instruction is a conditional instruction. Not just the Deb instruction. The End instruction, for example, only does what it means when the machine is brought in a world state that makes the machine execute this instruction. Eventually this is the effect of our act of instructing the machine. When we instruct the computer by pressing a key or a series of keys the computer “notices something in the world” and acts accordingly. For example by stopping when we press the stop button. This is precisely the feature I try to make clear by my first demonstration with the piece of paper. The set up demonstration (the piece of paper held in front of the mouth) is such that it “notices” the meaning of the word “move”. How do we know? Because of the way it responses to it. We see that the computer responds in correspondance to the meaning and goal of our command and we say that it “understands” what we mean. Every instruction is conditional in the sense that it is only executed when it is actually given. Indeed, the machine does not know what it means to execute a command. A falling stone doesn’t know Newton’s law of mechanics. Does it? And yet, you might say that it computes the speed that it should have when it touches the ground. Sort of.

Yet, the conditional instruction is special in the sense that it is the explicit form of the conditional working of the machine.  It assumes the implicit conditional working of the instructions we give to the computer. Just like the application of the formal rule of modus ponens assumes the implicit use of this rule. (see Lewis Carrol’s funny story “What the tortoise said to Archilles”). We call a logical circuit logical because the description of the relation between the values of the input and output of the circuit equal that of the formal logical rule seen as a mathematical operator.

We distinguish a sentence from the act of someone expressing the sentence and meaning what it says. Somewhere in history of mankind this distinction was made. Now we can talk about sentences as grammatical constructs, objects that somehow exist abstract from a person that utters them in a concrete situation. Now we talk about “truth values” of sentences, we study “How to do things with words”; words and sentences have become instruments. Similarly, we analyse “conversational behaviors” (such “tiny behaviors” like head nods, eye gazes) as abstract gestures. And we synthesize gestures in “social robots” as simulations of “human conversational agents behavior”. Many people think that we can construct meaningfull things and events from meaningless building blocks if the constructs we built are complex enough. Complexity is indeed the only measure that rests for people that have a structural world view, a view that structure is basically all there is. (In Our Mathematical Universe: My Quest for the Ultimate Nature of Reality, Max Tegmark posits that reality, including life!, is a mathematical structure.)

Many people, including Dennett, think about the computer as something that is what it is abstract from the human mind, abstract from the user and the designer. As if the machine is what it is without the human mind for which it is what it is and does what it does. However, the real power of the computer is in the mind of the human who organises nature in sich a way that it can be used as representation of meaningfull processes.

The Turing test does not test how intelligent a machine is. It tests if the human mind is able to construct a machine that is able to make other minds believe that it is intelligent. This has consequences for the question who is ultimately responsible for what machines do. It has consequences for what we mean when we talk about “autonomous machines” or “artificial intelligence”.

Dennet sees the machine and the human mind as distinct realities that can exist seperately. For Dennett there is no fundamental difference between the computer that “sort of” understands and the human mind that “really” understands. The difference between the two is only gradual: they are different stages in an evolutionary proces.

Can robots become conscious? Dennett answers this question with a clear yes. In a conversation with David Chalmers about the question if superintelligence is possible Dennett posits:

“(…) yes, I think that conscious AI is possible because, after all, what are we?
We’re conscious. We’re robots made of robots made of robots.
We’re actual. In principle, you could make us out of other materials.
Some of your best friends in the future could be robots.
Possible in principle, absolutely no secret ingredients, but we’re not going to see it. We’re not going to see it for various reasons.
One is, if you want a conscious agent, we’ve got plenty of them around and they’re quite wonderful, whereas the ones that we would make would be not so wonderful.” (For the whole conversation (recorded 04-10-2019): https://www.edge.org/conversation/david_chalmers-daniel_c_dennett-is-superintelligence-impossible)

Can machines think? Dennett would answer this question with a clear yes, too. After all: people are machines, aren’t we? But he doesn’t consider this question as really important. The real challenge of artificial intelligence is not in this type of “philosophical” questions.

According to Dennett the real challenge of AI is not a conceptual but a practical one.

“The issue of whether or not Watson can be properly said to think (or be conscious) is beside the point. If Watson turns out to be better than human experts at generating diagnoses from available data it will be morally obligatory to avail ourselves of its results. A doctor who defies it will be asking for a malpractice suit.”

“The real danger, then, is not machines that are more intelligent than we are usurping our role as captains of our destinies. The real danger is basically clueless machines being ceded authority far beyond their competence.” (D.C.Dennett in: The Singularity—an Urban Legend? 2015)

I cannot agree more with Dennett’s than with this. As soon as machines are considered autonomous authorities they stop being seen as usefull technical instruments. They are considered Gods, magical masters, then. For me this is a consequence of the fact that machines are what they are only in relation to the human mind for which they are machines.

A.M. Turing, D.C. Dennett and many more intelligent minds are products of evolution. Machines are products of evolution as well. But there is a fundamental difference between natural intelligence as we recognize it in nature as a product of natural Darwinian evolution, and artificial intelligent machines that are invented by human intelligence.

As soon as we forget, for whatever reason or by whatever cause, this important difference will disappear.

D.C. Dennett, Intuition Pumps and other tools for thinking, W.W. Norton Publ.,2013. Translated in Dutch: Gereedschapskist voor het denken. Uitg. Atlas Contact, Amsterdam/Antwerpen, 2013.

L.E.Fleischhacker, Beyond Structure: the power and limitations of mathematical thought in common sense, science and philosophy. European University Studies 20(449), Peter Lang, Frankfurt am Main, 1995.

De willekeur van het statistisch model

Statistiek is lastig. Tijdens mijn studie toegepaste wiskunde in de jaren 70 werd het vak statistiek gegeven door wiskundedocenten.  Als vervolg op het vak kansrekening. Dat gebeurt nu nog vaak. Alsof statistiek een onderdeel van de wiskunde is. Voor mij was statistiek een struikelvak. Het enige vak waarvoor ik pas na vier pogingen een voldoende haalde. Vele jaren later, ik was toen al docent aan de universiteit, las ik het monumentale Probability Theory: the logic of science van de fysicus E.T. Jaynes. Vanaf toen werd me geleidelijk duidelijk wat kansrekening en statistiek met elkaar te maken hebben en dat statistiek beter door experimentele wetenschappers  (fysici of sociaal psychologen) onderwezen kan worden dan door wiskundigen. Althans wanneer je er meer mee wilt dan alleen een cijferbriefje halen.  Je leert pas wat statistiek inhoudt als je met gegevens moet worstelen om daaruit zinvolle informatie te halen.

In de Volkskrant van 8 september schreef Ionica Smeets in haar blog “Ionica zag een getal” over een studie die “laat zien hoe moeilijk het is om een ogenschijnlijk simpele vraag te beantwoorden met een statistische analyse.”

De ogenschijnlijk simpele vraag waar het in de betreffende studie om ging is de volgende:

Geven scheidsrechters bij voetbal eerder een rode kaart aan spelers met een donkere huidskleur dan aan spelers met een lichte huidskleur?

29 Onderzoekteams kregen de vraag voorgeschoteld. Alle teams kregen dezelfde data om te analyseren. De teams gebruikten allemaal een andere aanpak. 20 kwamen tot de conclusie dat er een “significant effect was”: donkere spelers kregen meer rode kaarten. De andere 9 teams vonden geen effect. Je kunt volgens mij op grond hiervan zeggen dat de kans dat statistici op grond van deze data tot de conclusie komen dat huidskleur een factor is die van invloed is op het oordeel van de scheidsrechter significant groter is dan 50 %.

Waarin verschilden nu die aanpakken? Ionica noemt een aantal zaken die je wel of niet mee kan nemen in je analyse van de data. De positie op het veld bijvoorbeeld. Krijgen verdedigers meer kaarten dan aanvallers en hoe zit met met de verdeling van huidskleur over deze twee posities in het veld? (De trouwe lezer van Ionica’s bog herinnert zich die over Simpson’s Paradox.)  Misschien moet je de huidskleur van de scheids meenemen? Of zijn of haar politieke voorkeur. Je kunt het zo moeilijk maken als je maar wilt.

Stel dat in de voetbalwedstrijden waarvan data beschikbaar is 50 keer een rode kaart aan een donkere speler werd gegeven en 10 keer aan een blanke speler. (Ik ga even aan het probleem voorbij van de vaagheid van de termen donker en licht als bepaling van de huidskleur. Of het bij vaagheid om een andere vorm van onzekerheid gaat dan die zich met kansrekening en statistiek laat modelleren is een fundamentele kwestie die de wetenschappelijk wereld ernstig verdeelt.)  Je kunt dan zeggen: dat is duidelijk: er werd vaker aan een donkere speler een rode kaart gegeven dan aan een lichte, namelijk 5 keer zo veel. Daar is geen speld tussen te krijgen.

Dat is echter geen antwoord op de vraag. De vraag is of scheidsrechters (in het algemeen) tijdens voetbalwedstrijden (in het algemeen) de neiging hebben om donkere spelers eerder een rode kaart te geven dan lichte spelers. Het woordje “eerder” in de vraag zoals die door Ionica werd gesteld wijst erop dat we een algemene bewering willen doen over het gedrag van scheidsrechters.

Statistiek is de wetenschap die probeert verantwoorde algemene uitspraken te doen op grond van (noodzakelijk) beperkte hoeveelheden data. Inductie problemen als deze worden aangepakt door een wiskundig model te maken dat zo goed mogelijk past bij de werkelijkheid en dat het mogelijk maakt te zeggen hoe goed de mogelijke antwoorden op de vraag zijn, gegeven de data die beschikbaar is.  Het maken van een model is geen wiskunde ook al is het resultaat een wiskundige formule of een rekenprogramma. Het is de expert (of erger: de politiek) die bepaalt hoe het model eruit ziet. Dat heeft soms alles van willekeur. De wetenschapper moet de gemaakte keuzes verantwoorden.

Het ligt voor de hand in het model mee te nemen hoeveel donkere en lichte spelers meededen. Stel dat er maar 10 lichte spelers meededen in al die wedstrijden. Of sterker nog dat er maar 1 lichte speler meedeed die 10 keer rood kreeg (uiteraard in verschillende wedstrijden). Wat zou dan de conclusie zijn? Je zou dan eerder geneigd zijn te zeggen dat de scheidsrechter lichte spelers eerder een rode kaart geeft dan donkere. Maar kun je dat wel zeggen als je data hebt van maar 1 speler met een lichte huidskleur? Zou het gedrag van deze ene speler door diens huidskleur worden bepaald? Wellicht eerder door het feit dat hij de enige blanke speler is tussen alleen maar donkere medespelers en tegenstanders.

De vraag waar het om gaat is of we op grond van de beschikbare gegevens kunnen zeggen dat voetbalscheidsrechters eerder een speler met een donkere huidskleur een rode kaart geven dan een speler met een lichte huidskleur juist vanwege de huidskleur.  Niet omdat het gedrag van spelers tijdens een wedstrijd bepaald wordt door de huidskleur maar vanwege de houding van de scheidsrechter ten opzichte van spelers met een donkere huidskleur.

De vraag is die naar een causaal verband tussen gedrag van scheidsrechters ten opzichte van spelers en de huidskleur van die spelers.  Wat statistici doen is zoeken naar correlaties tussen de waarden van variabelen. Maar correlatie is geen causale relatie. Bij een causale relatie gaat het altijd om inzicht, een theorie die uitlegt hoe een verband tot stand komt. Correlaties op grond van data analyses kunnen wijzen op een causaal verband. Statistiek is daarom slechts het begin van een studie. Helaas wordt dat vaak vergeten en zijn studenten al blij met een p-value die op een significante correlatie wijst. Aan theorie komt men niet toe.

De Regelmatigheidsaanname

Uit dit leuke praktijkvoorbeeld wordt ook duidelijk welke niet onbelangrijke aanname gemaakt wordt waarop de hele zin van statistiek en data analyse berust.  Dat is de Regelmatigheidsaanname. Toegespitst op deze specifieke casus zegt deze dat er sprake is van een zekere regelmatigheid of herhaalbaarheid in het gedrag van scheidsrechters en spelers waar het gaat over het verband tussen rode kaarten en huidskleur.

De grote vraag is of deze wel geldt. Op grond waarvan mogen we aannemen dat er zoiets bestaat als de scheidsrechter, het gedrag van blanke of donkere spelers? De toepasbaarheid van de wiskunde en het wiskundig denken in het algemeen staat of valt met de validiteit van het redeneren in zulke algemene begrippen.

Zoals Aristoteles al opmerkte: de wetenschap heeft niets te zeggen over specifieke individuen of situaties.  Ze spreekt zich slechts in algemene termen uit over abstracte categorieen.  Het kernprobleem van de statisticus is dan ook te bepalen wat de relevante categorieen in een specifieke casus zijn.

Is verantwoord gebruik van autonome technologie mogelijk?

Door de indrukwekkende mogelijkheden van de informatietechnologie laat men zich vaak al te gemakkelijk verleiden tot een overdrijving van de zelfstandigheid van de producten van die techniek. Wat principieel een relatieve zelfstandigheid is met betrekking tot het menselijk gebruik, wordt dan voorgesteld als een absolute zelfstandigheid, die ook buiten dit gebruik om zou kunnen bestaan. Buiten het gebruik om is echter bijvoorbeeld de werking van een computer slechts een natuurproces dat niet principieel verschilt van het vallen van een steen.

Bovenstaande tekst is uit “Arbeid en (kunstmatige) intelligentie” een essay uit 1989 van de filosoof Louk Fleischhacker. In dit essay legt Fleischhacker een verband tussen wat hij noemt de praktische problematiek van de autonome technische systemen (robots, expertsystemen) enerzijds en de theoretische vraag naar de mogelijkheid van kunstmatige intelligentie anderzijds. De praktische problematiek is de gebruiksonvriendelijkheid die erin bestaat dat dergelijke systemen “nog minder verantwoordelijkheidsgevoel bezitten dan de ergste bureaucraat!”. In beide vragen, de praktische en de theoretische, gaat het om de relatie tussen menselijk kunnen en het functioneren van automatische systemen.

Zo’n 20 jaar na het verschijnen van deze tekst lezen we in de populaire media nog wekelijks berichten over de indrukwekkende mogelijkheden van de informatietechnologie: de zegeningen enerzijds (vervelend werk wordt door computers en robots overgenomen) en de transhumanistische doemscenarioos waarin superintelligente robots (de Terminator) de mensheid bedreigen, anderzijds. Steeds meer experts op het gebied van de AI tonen hun verontwaardiging over de sensationele berichten in de media.  Zachary Lipton, van het machine learning department van Carnegie Mellon University, spreekt van de “sensationalized crap” die in de media verschijnt over sociale robots of chatbots die  gesprekken voeren en een eigen taal zouden ontwikkelen. Dit fantastische beeld van de mogelijkheden van kunstmatige intelligentie wordt gepresenteerd met verwijzing naar wetenschappelijk onderzoek terwijl het met de conclusies uit dat onderzoek niets meer te maken heeft.

Niet  alleen journalisten, ook wetenschappers die hun resultaten in voor de leek begrijpelijke woorden uit proberen te leggen dichten de producten van kunstmatige intelligentie menselijke capaciteiten toe. Zoals in onderstaand citaat uit een interview met Vanessa Evers, social robotica expert.

“Robots kunnen we menselijk gedrag laten herkennen door in een computer een enorme hoeveelheid plaatjes en videobeelden van gezichtsuitdrukkingen voor emoties in te voeren”. (…) “Plaatjes met een bepaalde stand van de mondhoeken en de ogen, die de robot herkent als lachen, verdriet, stress, woede, gecombineerd met stemgeluid. Na een tijdje heeft een robot dat in zijn zelflerende systeem opgeslagen en weet hij hoe daarop te reageren.”

Robots herkennen menselijk gedrag, en emoties, ze kunnen leren en betekenisvol reageren op hun omgeving. Moeten we dit soorten teksten letterlijk nemen? Wat is er mis met van gedrag te spreken als het om robots of machines gaat? We zeggen toch ook dat de computer iets uitrekent of dat de machine ons vraagt een wachtwoord in te tikken? De bruikbaarheid van de computer zit hem toch juist in het feit dat deze zelfstandig een taak kan uitvoeren: een vraag stellen, iets voor ons uitrekenen. Voor het uitvoeren van die taken zijn ze toch juist gemaakt!

Hoe zouden we anders moeten zeggen wat de robot of machine doet als we niet die woorden mogen gebruiken die we gebruiken als we beschrijven wat mensen doen? We zouden telkens wanneer we het over een technisch ding hebben de woorden tussen aanhalingstekens kunnen plaatsen om aan te geven dat we het gezegde niet letterlijk moeten nemen, maar alleen maar bij wijze van spreken: de robot “stelt een vraag” , of de computer “denkt even na”.  De filosoof D.C. Dennett gebruikt wel de “soort van”-constructie (zie zijn: “De ‘soort van’-operator”, Hoofdstuk 21 in “Gereedschapskist voor het denken”).  De computer soort van denkt na. Maar wat is het verschil tussen denken van de mens en het soort-van denken van de computer? Volgens Dennett is er geen principiele scheidslijn tussen “soort van” denken en “denken”.  Er is slechts een gradueel verschil tussen het functioneren van een sociale robot en het gedrag van mensen. Dennett lijkt de technische ontwikkeling te zien als een voortzetting van de evolutie zoals door Darwin beschreven. Hij zet zich daarmee vooral af tegen die filosofen en theologen die geloven in een Intelligente Ontwerper die alles wat leeft van boven af heeft ontworpen en in een Geest die gemaakt is van een wonderlijk soort stof dat bewustzijn mogelijk maakt. Voor Dennett leveren de door Turing bedachte oneindige tape machine en de door Hao Wang bedachte registermachine het bewijs dat voor gedrag dat wij als zinvol (intentioneel) ervaren het niet nodig is het bestaan van een wonderlijke soort stof of een Grote Ontwerper aan te nemen. De computer is uit gewoon materiaal gemaakt en toch kan hij rekenen.    Maar betekent dit ook dat de computer of de robot zo zelfstandig is dat deze verantwoordelijk is voor “zijn eigen” gedrag?  Dat de computer kan rekenen dat wil ik nog wel geloven. Maar wat als hij een rekenfout maakt? Of is wat de computer doet altijd goed?

Er lijkt geen principiele grens te zijn aan de mogelijkheden van de producten van de informatietechnologie. Wat nu nog een fantasie is, zoals robots die een eigen taal ontwikkelen, kan morgen werkelijkheid zijn. Althans even werkelijk als de computer die rekent of de robot die een gezicht herkent en daarop reageert door bijvoorbeeld de herkende persoon te begroeten.

Om bruikbaar te zijn moet de simulatie van menselijk gedrag door een machine door de gebruiker als echt worden ervaren. De door de machine gegeneerde geluiden moeten door de gebruiker van een natuurlijke gesproken interface agent (zoals Siri van Apple) als een zinvolle vraag worden geinterpreteerd. Zo’n gesprek kan een medisch diagnostisch gesprek zijn waarin de computer medische gegevens over de gebruiker of een ander persoon verzamelt op grond waarvan de computer vervolgens een advies geeft.  Achter zo’n adviserende software-agent zit een hele kennisbank met medische gegevens. Wat is de status van deze systemen? Kunnen we de beslissing hoe te handelen overlaten aan een expertsysteem? Kunnen we wel een verantwoorde beslissing nemen of we het advies van een expertsysteem volgen of niet? Daarvoor zullen we meer moeten weten over de werking van het systeem. Maar was het er ons niet juist om te doen dat we ons als gebruiker niet druk hoeven te maken over hoe het werkt?

De praktische toepassingen van AI, robotica en machine learning hebben een grote impact op alle terreinen van het leven, van medische expertsystemen en operatierobots tot de “killer robots” op het slagveld. Het gebruik van robots en andere intelligente systemen die “zelfstandig beslissingen kunnen nemen” roept vragen op over ethische aspecten van robot-gedrag en de juridische status van dergelijke intelligente systemen.

De Committee on Legal Affairs van het Europese Parlement schrijft begin 2017 een rapport met aanbevelingen voor de Commission on Civil Law Rules on Robotics.

Het rapport constateert o.a.

that humankind stands on the threshold of an era when ever more sophisticated robots, bots, androids and other manifestations of artificial intelligence (“AI”) seem to be poised to unleash a new industrial revolution, which is likely to leave no stratum of society untouched, it is vitally important for the legislature to consider its legal and ethical implications and effects, without stifling innovation;

Het rapport roept de Commission op “to explore, analyse and consider the implications of all possible legal solutions, such as:”

(59.f): “Creating a specific legal status for robots in the long run, so that at least the most sophisticated autonomous robots could be established as having the status of electronic persons responsible for making good any damage they may cause, and possibly applying electronic personality to cases where robots make autonomous decisions or otherwise interact with third parties independently;”

In een OPEN LETTER TO THE EUROPEAN COMMISSION ARTIFICIAL INTELLIGENCE AND ROBOTICS spreken politici, AI en robot experts, ethici en juristen hun verontrusting uit over de European Parliament Resolution on Civil Law Rules of Robotics, en in het bijzonder over de aanbeveling aan de European Commission in de hierboven geciteerde paragraaf 59 f) .

Uit de open brief:

The creation of a Legal Status of an “electronic person” for “autonomous”, “unpredictable” and “self-learning” robots is justified by the incorrect affirmation that damage liability would be impossible to prove.

From a technical perspective, this statement offers many bias based on an overvaluation of the actual capabilities of even the most advanced robots, a superficial understanding of unpredictability and self-learning capacities and, a robot perception distorted by Science-Fiction and a few recent sensational press announcements.”

From an ethical and legal perspective, creating a legal personality for a robot is inappropriate whatever the legal status model

AI onderzoekers tegen de ontwikkeling van killer robots

AI experts, waaronder Max Tegmark van het Future of Life Institute en Elon Musk (Tesla, OpenAI), technologiebedrijven (waaronder Google DeepMind) en wetenschappelijke organisaties op het gebied van de AI pleiten er bij regeringen voor om niet meer delen te nemen aan de ontwikkeling van, de handel in en het gebruik van dodelijke autonome wapensystemen.

“… if you belief that the final decision to take a life should remain a human responsibility rather than falling to a machine, then please consider signing the pledge …”

Wat is er zo bijzonder aan deze autonome wapens dat AI experts hier de grens trekken als het gaat om de ontwikkeling van autonome systemen?  Het korte antwoord is: het is de complexiteit.

Wat is een autonoom wapensysteem?

Het antwoord van Paul Scharre, militair expert en voormalig policy maker in het Pentagon voor het ministerie van defensie, luidt:

” I basically define an autonomous weapon as one that can complete an entire engagement cycle on its own. That is to say, it has all of the functionality needed to search for targets, to identify them, to make a decision about whether or not to attack them, and then to start the engagement and carry through the engagement all by itself. So there’s no human in this loop, this cognitive loop, of sensing and deciding and acting out on the battlefield all by itself.”

De reden om de mens uit de loop te halen en het systeem zelf te laten beslissen of er geschoten wordt is tijd. Of liever het gebrek aan tijd: er moet onmiddellijk actie kunnen worden ondernomen zodra de killer robot een verdacht object in beeld heeft.

Volgens internationaal oorlogsrecht zijn er twee belangrijke criteria voor het beoordelen van de rechtmatigheid van een militaire operatie tijdens een conflict. De actie mag alleen gericht zijn op militaire doelen en niet op burger-doelen. Het geweld moet proportioneel zijn. Een killer robot moet dus zelfstandig kunnen beoordelen of zijn sensoren een militair doel (wapendepot, vijandelijke eenheid) in het vizier heeft en of de situatie om een aanval vraagt. Daarnaast moet het bepalen of er kans is op “collateral damage”, zoals het treffen van een schoolgebouw dat vlak naast het wapendepot is gelegen, en of de schade die het aanbrengt “proportioneel” is.

Bovenstaande omschrijving van autonome wapens door Scharre komt overeen met die van Human Rights Watch (in: Mind the Gap: The Lack of Accountability for Killer Robots, 2015):

  • Fully autonomous weapons are weapons systems that would select and engage targets without meaningful human control. They are also known as killer robots or lethal autonomous weapons systems. Because of their full autonomy, they would have no “human in the loop” to direct their use of force and thus would represent the step beyond current remote-controlled drones.”

De Nederlandse ministers Koenders en Hennis-Plasschaert  vroegen (april 2015) de CAVV wat we daaronder moeten verstaan: “betekenisvolle menselijke interventie’’.  De CAVV houdt het voor mogelijk dat er in de toekomst volledige autonome systemen komen. Dan is de mens volledig uit de loop. Maar deze systemen kunnen juridisch niet verantwoordelijkheid worden gesteld voor hun gedrag. De commissie adviseert de regering bij eventuele toekomstige aanschaf van autonome wapens “toe te zien op toepassing van het concept Moral Responsible Engineering in de ontwerpfase, gelet op het belang van de toewijzing van verantwoordelijkheid en aansprakelijkheid.’’

Er is namelijk een “accountability gap’’: niemand kan volgens de huidige wetgeving op zinvolle wijze ter verantwoording worden geroepen wanneer een killer robot een foutje maakt en een paar kinderen opoffert voor het doden van een terreurverdachte.

“Kom over 5 jaar nog maar eens terug’’, adviseert de advies commissie de ministers, want de ontwikkelingen in de AI gaan zo snel. (Autonome wapensystemen, de noodzaak van een betekenisvolle menselijke interventie, Rapport No97 AIV / No 26 CAVV, oktober 2015).

Maar voorlopig, stelt de commissie vast, zullen er mensen in de wider loop zijn (minister van defensie, legerleiding) die volgens geldende recht ter verantwoording kunnen worden geroepen voor een interventie door bewapende drones. Het zijn mensen die technologie gebruiken.

“Betekenisvolle menselijke controle moet de mogelijkheid bieden de eisen van onderscheid, proportionaliteit en voorzorg na te leven. Of aan deze eisen daadwerkelijk wordt voldaan, is afhankelijk van degenen die beslissen over inzet van een autonoom wapen.” (CAVV rapport, 2015, p.35).

Het probleem is dat we precies moeten specificeren hoe een autonoom systeem moet functioneren zodat we het zelfstandig kunnen laten werken.  In de woorden van Paul Scharre:

It was hard to translate some of these abstract concepts like, “Humans should decide the targets,” to technical ideas. Well, what does that mean for how long the weapon can loiter over a target area or how big its sensor field should be or how long it can search for? You have to try to figure out how to put those technical characteristics into practice.

AI experts zijn het erover eens dat de belangrijkste vaardigheid die vereist is om bruikbare en verantwoorde AI systemen te maken bestaat in het precies specificeren wat je wilt dat het systeem doet in alle mogelijke situaties die zich voor kunnen doen. Maar kan dat wel? Is het wel mogelijk om onze vaak vage  formuleringen van wat wij bedoelen en willen te vertalen in gedragsregels voor een computer? Het antwoord op deze vraag hangt samen met het antwoord op de vraag of kunstmatige intelligentie eigenlijk wel mogelijk is.

Hoe zit het met het verantwoordelijkheidsgevoel van technische artefacten? 

Voor Fleisschhacker is de onverantwoordelijkheid de grens van de bruikbaarheid van autonome technologie.

Het zijn de mensen die met zogenaamde autonome technologie omgaan die uiteindelijk beslissen of ze een intelligent systeem als volledig autonoom systeem willen inzetten. De beslissing de “human out of the loop” te halen wordt door de gebruiker gemaakt en valt dus onder diens verantwoordelijkheid. Wel beschouwd is het in principe helemaal niet mogelijk de mens uit de loop te halen, want ook dat is het effect van een menselijk besluit.

Het vervangen van arbeiders door robots is een stap in een proces welke is voorafgegaan door het robotiseren van de arbeid. Robotiseren van arbeid is arbeid puur zien als functioneren, als het uitvoeren van taken volgens bepaalde procedures binnen een bepaald systeem. Het is het resultaat van het minitieus analyseren van taken zoals Taylor dat in de 19de eeuw voorstelde ten bate van de verhoging van de productiviteit. De persoonlijke en sociale betekenis van de arbeid, de voldoening die de persoon ervaart bij het werk, het belang van de arbeid voor de ontwikkeling van de vermogens. Dat alles telt niet mee voor de robotisering; er wordt van geabstraheerd. De functie kan door een technisch artefact worden uitgevoerd en daar gaat het om.  In het gerobotiseerde werk is de uitvoerder, slechts uitvoerder van procedures, die precies voorschrijven hoe de taken moeten worden uitgevoerd. De enige verantwoordelijkheid die de uitvoerder heeft is het volgen van de door het technisch management ontwikkelde procedures, die in toenemende mate ondersteund worden door computersystemen.  In de zorg en in het onderwijs waar het bij uitstek moeilijk is algemene regels op te stellen voor de werknemer zonder de individuele patient of leerling geweld aan te doen wordt robotisering als contra-produktief ervaren.  Mensen hebben geen zin meer in het werk. Het werk wordt als zwaar ervaren omdat men er geen voldoening meer in heeft, omdat men als werknemer niet gezien wordt als volwaardige persoon met een eigen verantwoordelijkheid voor de manier waarop het werk inhoud wordt gegeven.

 

Louk Fleischhacker,  Arbeid en (kunstmatige) intelligentie. In: Arbeid adelt niet. (Pieter Tijmes, red.). Kok Agora, Kampen, 1989.

Oscar Schwartz, The discourse is unhinged’: how the media gets AI alarmingly wrong, The Guardian, 25-07-2018

 

 

Een tegendraadse historie over de Hindoestaanse contractarbeiders in Suriname (een review)

“There has never been a document of civilisation which is not simultaneously one of barbarism”  (Walter Benjamin in: Theses on the Philosophy of History, 1940)

In 1863 werd in Suriname en de Nederlandse Antillen de slavernij officieel afgeschaft. Nederland liep daarbij niet voorop: de Deense (1803), Britse (1834) en Franse (1848) regeringen waren haar voorgegaan. De slavenhandel door de West-Indische Compagnie en de slavenarbeid op de koffie-, suiker- en tabaksplantages in de West waren een te welkome bron van inkomsten voor de blanke Nederlandse overheersers.

Om in de behoefte aan arbeiders voor het zware werk op de plantages te blijven voorzien werden de “vrijgemaakte’’ slaven verplicht contracten te tekenen om tegen betaling op de plantages te werken. De duur van deze contracten was eerst 10 en later 5 jaar. Er ontstond een tekort aan arbeiders nu het gedaan was met de slavenhandel uit Afrika. In 1872 sloot Nederland met de Britse regering een verdrag voor het werven van contractanten in Brits-Indië. Koningin Victoria, keizerin van India, tekende het pact. Voor Nederland tekende koning Willem III. Op 5 juni 1873 arriveerde de eerste lading van 399 “nieuwe slaven’’ vanuit Calcutta Suriname. Velen zouden nog volgen. Sommigen zouden de oversteek niet halen.

In “Beyond being koelies and kantraki” neemt de auteur, Margriet Fokken, de lezer mee terug naar de periode vanaf 1873 tot 1921 waarin zo’n 34.000 Hindostaanse inwoners van India als contractarbeiders werden verscheept naar Suriname.

De meeste van de eerste generatie Hindoestanen waren niet van plan zich in Suriname te settelen. Ze zouden eens weer terug keren naar India, naar hun thuisland, de sacrale samenleving waarin religie het dagelijkse leven in al haar aspecten bepaalde. Velen zouden echter in Suriname blijven. Met het aantal van 180.000 nazaten vormen de Hindoestanen in Suriname ongeveer 27 % van de huidige bevolking.  Die 34.000 is overigens maar een fractie van het totale aantal van 1.500.000 contractarbeiders (“indentured labourers’’) die tussen 1830 en 1917 in India werden geronseld om in de Britse, Franse en Nederlandse kolonieen in de West het werk op de plantages over te nemen van de bevrijde Afrikaanse slaven. Naar Mauritius vertrokken 452.000, naar Brits Guyana 239.00, naar Trinidad 144.000. (Bron: The legacy of Indian migration to European colonies, The Economist, 2 Sep 2017.)

Kaste, religie, sexe, en afkomst bepaalden naast de fysieke conditie hoe de mensen werden behandeld tijdens de werving, het verblijf in de “depots” in India en gedurende de overtocht naar Suriname. Deze factoren bepaalden ook welke posities hen werd geboden in de sociale hierarchie en waar ze werden geplaatst in Suriname.

Het beeld dat Hindoestanen politiek en cultureel passief zouden zijn wordt door Fokken op grond van haar uitvoerige archiefonderzoek waarvoor ze diverse historische documentatiecentra in Oost en West bezocht, gecorrigeerd. Daarbij maakte ze niet alleen gebruik van geschreven documenten; ook beeldmateriaal, en andere materialen (kleding, audio opnames) worden gebruikt om een beter beeld te geven van de identiteit van deze mensen die met de denigrerende term “koelies’’ werden aangeduid.

Het is voor een buitenstaander als ik verbazingwekkend te zien, getuige de vele referenties in het boek, hoeveel er al geschreven is over het verleden van de contractarbeiders in deze periode van de Europese geschiedenis. Wat dit boek daar aan toevoegt komt voort uit de eigen insteek van de onderzoekster. Fokken las en analyseerde het historisch materiaal met een open blik voor de persoonlijke individuele levens van de Hindoestanen, mannen, vrouwen en kinderen. Waarbij de positie van de vrouw bijzondere aandacht krijgt. In die zin is het ook een meta-historische studie; een studie die de identiteit van een volk zoals dat in historische documenten wordt geconstrueerd, op kritische wijze onderzoekt. Daarbij in retrospect deze mensen een identiteit verlenend die meer recht doet aan de individuele (en sexe) verschillen die schuil gaan onder de abstracte benaming “koelie”, waarmee de Hindoestaan als een dommekracht werd (en wordt) weggezet. Met deze benadering “van onderaf’’ leest ze als het ware tegen de richting in van de verhalen die door de overheersers over deze periode zijn opgetekend. Daarbij geeft ze gehoor aan de oproep van de bekende joodse schrijver Walter Benjamin (Hij pleegde zelfmoord, in 1940, om aan de vernietiging in de Arbeitslager te ontkomen.) die van mening was dat de historicus het als zijn taak moet zien om tegendraadse geschiedenis te schrijven (“to brush history against the grain”).

Wat brengt een blanke Nederlandse studente uit een middelklasse gezin met een katholieke en baptisten achtergrond ertoe om een studie te beginnen naar de oorsprong van de hindoestanen in Suriname? Zelf schrijft ze daarover:

“My motivation for pursuing this particular topic of research came from an interest in colonial history, minority groups, gender, and subjectivity developed during the history programme I followed at Groningen University between 2005 and 2011. These interests can be traced further back to encounters with negative depictions of non-Western people in politics and in the media and being in school with ‘refugees’.”

En:

“My complete lack of knowledge about Surinamese history was the main incentive to see this as an important topic of research.”

Beschaving is een dun vliesje

We oordelen vaak al te makkelijk over migranten en mensen met een andere culturele achtergrond in Nederland. Wat leidt tot het negatieve beeld van niet-Westerse mensen. Of het nu om eerste generatie politieke vluchtelingen gaat die door de IND in opvangcentra geplaatst worden of om nazaten van de 65.000 Turkse “gastarbeiders’’ die tussen 1960 en 1973 in de Nederlandse textiel werk vonden, of om de Poolse en Roemeense contractarbeiders die op onze moderne plantages en in de bouw het werk opknappen onder arbeidsvoorwaarden die voor de Nederlandse kaaskoppen onacceptabel zijn. De oppervlakkige oordelen over de “koelies”, de “joden”,  de “moslims” komen voort uit luiheid, desinteresse en een afkeer van integratie met “andere culturen” vaak uit angst voor verlies van de eigen status. Volgens onze minister van Buitenlandse Zaken de VVD-er Stef Blok zou deze houding genetisch bepaald zijn. Een poging van deze minister om de populistische cafe-praat over “de anderen” van een geleerde bodem te voorzien, een uiterst dubieuze manier om deze houding goed te praten. Beschaving is een dun vliesje; zo blijkt maar weer eens.

Gelukkig zijn er nog mensen in ons land die zich vanuit een echte interesse voor mensen uit andere culturen wel verdiepen in de achtergrond en de geschiedenis van de migrant, de man of de vrouw, die ze als buurman, als klasgenote, of hoe dan ook ontmoeten.

Fokken beperkt zich in dit boek tot een hele specifieke groep van migranten in een heel specifieke periode van ons verleden en in die beperking toont ze zich een meester. Haar zeer lezenswaardige boek verdient een ruim lezerspubliek.

Het proefschrift van Margriet Fokken is (helaas) uitsluitend als commerciele uitgave beschikbaar (uitgeverij Verloren, 2018). Op de pdf bij de Letteren Faculteit van de RU Groningen rust een embargo van 2 jaar.

Fokken M. Beyond being koelies and kantráki: Constructing Hindostani identities in Suriname in the Era of Indenture, 1873-1921. [Groningen]: Rijksuniversiteit Groningen, 2018. 378 p.

 

Het weer heeft geen geheugen

Het is nu al enkele weken achterelkaar droog. Er valt geen druppel regen. “Dan zal het morgen wel gaan regenen.” zegt een mevrouw bij de kapper. “Ja, dat zit er dik in. Net nu de schoolvakantie begint.”, zegt de kapster.

Volgens weerkundige Peter Kuipers Munneke heeft de kans dat het morgen regent niets te maken met hoe lang het al droog is.  “Het weer heeft geen geheugen”.  Zegt hij op bezwerende toon. “Het is net als met dobbelen”, legt hij uit. Ook al heb je 5 keer achterelkaar een 6 gegooid, de kans op een 6 is net zo groot als die was bij de eerste worp. Net als het weer weet de dobbelsteen niet wat er eerder gebeurd is. Geheugen is dat een gebeurtenis een indruk heeft achtergelaten die als een teken voor iemand verwijst naar die vroegere gebeurtenis in een herinnering. Zo kan via het geheugen het verleden van invloed zijn op wat er gaat komen. Bij het weer is dat dus niet zo; het weer heeft geen geheugen.

Collega weervrouw Helga van Leur prijst Peter’s heldere uitleg. Maar dat het weer geen geheugen heeft, daar valt volgens haar wel wat op af te dingen. Want, zegt ze, het weer is onderdeel van de natuur en de natuur heeft wel een geheugen (Klopt, zie de klimaatverandering, de kraaiepootjes van Helga en mijn toenemende geheugenverlies). Dus, concludeert Helga met de ijzeren logica van de weervrouw: heeft het weer als onderdeel van de natuur ook een geheugen.

Of dit wel zo logisch is, dat laat ik even in het midden. Waar het mij hier om gaat is het volgende. Peter komt met een weermodel op de proppen:  het model van het gooien met een dobbelsteen.  Een kansmodel waarvan iedereen die op school op heeft zitten letten wel eens gehoord heeft. Het is een wiskundig model dat je kunt gebruiken om kansen te berekenen. En dat is toch het ideaal van kennis, niet waar? Dat je iets kunt berekenen. Hoe die kans uit te rekenen? Daar kom ik nog op. Wat Helga betwist is of dat model wel klopt.   En dat is een heel andere kwestie: de keuze (of constructie) van het juiste model. En dat is geen wiskunde. Helga legt uit waar dat geheugen van de natuur uit bestaat. Door de voortdurende droogte verandert er namelijk iets in de natuur: temperatuur, winden, verdamping, wolkenvorming. En dat heeft gevolgen voor de kans op regen. Zo’n complex model is volgens Helga beter om het weer te voorspellen dan het simpele model van Peter. (Dat weet Peter natuurlijk ook wel. Maar ja, zendtijd is kort dus moeten we niet te moeilijk doen. Zo transformeren de populaire media kennis tot een beetje kennis. En zoals G.H. Hardy al stelde in zijn Apologie van een wiskundige: “A little learning is a dangerous thing.”.)

Bovendien gaat Peter er vanuit dat een dobbelsteen geen geheugen heeft. En dat waag ik te betwijfelen. Want, “de natuur biedt weerstand aan de haar opgedrongen vorm door verslijt” (P.  de Bruin, S.J., Philosophie der Techniek, 1936) .  Door het werpen slijt de steen en verandert haar gedrag. Helga zou zeggen; die dobbelsteen van Peter (of beter nog: het gooien ermee) is een onderdeel van de natuur en de natuur heeft een geheugen dus de dobbelsteen heeft een geheugen. (Een redenering waarvan de correctheid zwaar belast is door de interpretatie van de deel-van relatie. Maar daar zou ik het hier niet over hebben.)

Ja, zal Peter hierop zeggen: ik heb het niet over een echte dobbelsteen. Klopt. Peter heeft het over een wiskundig model, over een wiskundig object. En wiskundige objecten (getallen, functies, grafen, meetkundige figuren, kortom structuren) zijn heel andere soorten dingen zijn dan de waarneembare, voelbare, zichtbare, harde of zachte dingen om ons heen; de fysieke objecten, waar wij als lichamelijke wezens mee van doen hebben.  Voor veel fysici zijn wiskundige dingen net zo echt als stoelen en andere dagelijkse objecten. Sommigen beschouwen wiskundige structuren zelf als echter dan de waarneembare dingen. In “Our Mathematical Universe” verdedigt de fysicus Max Tegmark de stelling dat er een externe werkelijkheid bestaat buiten onze waarneming en dat deze een wiskundig object is. De taak van de fysici is deze te relateren aan onze dagelijkse werkelijkheid.

En dan nu even rekenen. Hoe groot is de kans dat je een 6 gooit met een dobbelsteen? Een eerste gedachte is: 1/6. Waarom?  Er zijn 6 mogelijkheden. Die hebben allemaal dezelfde kans. De som van alle kansen is 1. Dus 1/6.  Dat zijn nogal wat aannames. Kennelijk heeft die dobbelsteen 6 kanten en is het een “eerlijke” dobbelsteen. Hoe weten we dat?  Hier komt weer het belangrijke onderscheid tussen wiskunde en fysica. Als onze eerlijke 6-kantige dobbelsteen een wiskundig object is, dan weten we dat de kans 1/6 is  op grond van onze definitie van een eerlijke dobbelsteen.  Daar is geen speld tussen te krijgen. “Eerlijk” is dan een term, die wijst naar een wiskundige eigenschap van een wiskundig object. Het wordt anders wanneer we het over een echte dobbelsteen hebben. Om daarvan te bepalen wat de kans op een zes is moeten we eerst kennis van deze steen verzamelen. Is dit wel een “eerlijke” dobbelsteen? Neen, natuurlijk niet. Het is immers geen wiskundig object. De vraag is of we deze echte dobbelsteen (of beter: het gooien ermee) als een wiskundig eerlijke dobbelsteen kunnen beschouwen.

Een antwoord vinden op die vraag gebeurt bij voorkeur door data te verzamelen: experimenten doen (vaak met de dobbelsteen gooien) en uitkomsten tellen. Als je 600 keer gegooid hebt en 105 keer een zes hebt gegooid, dan zeggen we dat de kans vrij groot is dat de kans om een zes te gooien met deze dobbelsteen 1/6 is. Het zijn de statistici die hierover hele ingewikkelde theorieen hebben opgesteld (waar de meeste studenten met enige huiver aan terugdenken) waar ze het overigens nog steeds niet over eens zijn wat nu het beste model is. (Ik zou bijna zeggen:  “Over onzekerheid valt niets met zekerheid te zeggen”, maar dit klinkt weer zo onlogisch.)  Van de fysicus Jaynes is de uitspraak dat sinds de wiskundigen de statistiek van de natuurkundigen hebben overgenomen (begin 20ste eeuw) ze er een zootje van hebben gemaakt. Een zootje misschien niet, maar wiskundigen maken wel van alles wat ze aanpakken iets anders dan het was.  Als een wiskundige het over een dobbelsteen heeft dan weet je dat hij het niet over een echte dobbelsteen heeft. Net zomin als een Turing machine een machine is, een formele taal een taal, of kunstmatige intelligentie echte intelligentie is.  Het is eerder gezegd (maar het wordt vaak vergeten): de wiskundige zegt A, bedoelt B, schrijft C, terwijl het D had moeten zijn.).  Dat is niet erg zolang we ons maar niet laten verleiden door de schoonheid van de koningin der wetenschappen en denken dat ze zegt wat ze bedoelt.

Terug naar het weer.  Mijn vrouw zegt: je hebt mooi praten, maar toch is de kans dat het 5 dagen achterelkaar droog is kleiner dan de kans dat het 4 dagen achter elkaar droog is. Ik weet niet hoe ze daar aan komt maar mijn gevoel zegt dat dat klopt. Vrouwenlogica: rijtjes van 4 van dezelfde dingen zijn delen van rijtjes van 5 van dezelfde dingen. En dat geldt ook voor de dobbelsteen van Peter: de kans op 5 keer 6 is kleiner dan de kans op 4 keer 6. Dus?  Is dus de kans dat het na vier droge dagen de volgende dag regent niet groter dan na drie droge dagen?  Zei de oude meester Laplace al niet dat om de kans te berekenen dat morgen de zon op komt je moet weten hoe vaak de zon al opgekomen is. Die kans wordt volgens zijn model elke dag groter! Zou dan de kans dat het morgen droog zal zijn ook niet elke dag dat het droog is groter worden?

Oeps! Ik moet de was binnen halen. Het gaat regenen.