Author: admin

In de serie Een Gouden Boekje – de serie waarin ook het bekende verhaal Wim is weg verscheen – is het verhaal over Het Koekemannetje wel het meest gevraagd door onze kleinkinderen. En niet alleen bij onze kleinkinderen is Het Koekemannetje geliefd. Ook ouders en grootouders spreekt het verhaal aan. Waarom is dat zo? Ik heb me vaak afgevraagd wat dit verhaal eigenlijk betekent. Want dat het niet zomaar een verhaaltje is, dat was me al snel duidelijk. Maar waar gaat het over?

De betekenis van dit verhaal schoot me plots te binnen toen ik in Our Mathematical Universe van Max Tegmark zat te lezen over het fenomeen Singulariteit. Dat is een toestand die optreedt wanneer er superintelligente computers bestaan die veel slimmer zijn dan wij mensen. De uitvinder en futuroloog Ray Kurzweil voorspelde dat de technologie in 2035 zover gevorderd is. Dat zou fijn zijn want dan hoeven we niet lang meer te wachten voordat de ICT-problemen bij onze overheidsinstanties opgelost zijn. Die superintelligente computers kunnen daar vast wel een oplossing voor bedenken. Kortom ik sta nogal sceptisch tegenover dit grootse idee.

Nu ik weet waar het verhaaltje over gaat vind ik Het Koekemannetje een Heel Belangrijk Verhaal en ik pleit ervoor Het Koekemannetje op te nemen in de lijst van ons Nationaal Cultureel Erfgoed, naast Jan Salie en het koekhappen, zodat onze regering ervoor moet zorgen dat ieder kind het ieder jaar een keer voorgelezen krijgt. Opdat we de wijze les van dit verhaal nooit zullen vergeten.

Voor wie het verhaaltje niet kent volgt hier eerst een samenvatting. Daarna leg ik uit waar het eigenlijk over gaat. Ik leg vervolgens uit wat Max’ Grote Idee behelst. Deze sectie geeft een samenvatting van Tegmark’s ‘bewijs’ dat “onze wereld” de wereld van de programmeerbare wiskundige machines is. Deze sectie kan de lezer die niet geïnteresseerd is in de moderne fysica en in Max’ bewijs overslaan. De relatie met mijn voorstel is immers tamelijk toevallig. Ten slotte zal ik uitleggen waarom Het Koekemannetje tot ons cultureel erfgoed behoort.

Het Verhaal

Het verhaal gaat zo – ik geef een korte samenvatting. Een oud vrouwtje bakt elke dag een koekemannetje voor haar man die daar gek op is. Op een dag, als het baksel ligt af te koelen in de keuken en het vrouwtje haar tuintje wiedt, begint het koekemannetje aan een eigen leven. Hij staat op, springt van de keukentafel en rent het huisje uit, de weg af, de wijde wereld in. Het vrouwtje ziet hem voorbij rennen en gaat achter hem aan. Stop! stop! roept ze. Maar het koekemannetje rent en rent en roept “je kan me toch niet pakken, ik ben de koekeman!”

Ze komen al rennend langs het oude mannetje die er ook achter aan gaat. Ze passeren een vriendelijke koe en een bruine beer en ook die rennen achter het koekemannetje aan roepend: stop! stop! Maar het koekemannetje rent en rent en herhaalt “je kan me toch niet pakken, ik ben de koekeman!” Dan komt het koekemannetje bij de rivier en daar zit de slimme vos. Die nodigt het koekemannetje uit op zijn rug om hem zo naar de overkant te zwemmen.

Als de vos met het koekemannetje op zijn rug naar de overkant zwemt laat de vos zich zakken, het koekemannetje wil niet nat worden en springt op. De vos vangt hem op in zijn grote bek en eet het koekemannetje in één hap op. “En dat is wat er met alle koekemannetjes moet gebeuren.” Zo eindigt dit spannende verhaal van het koekemannetje. Maar waar gaat het over?

Waar het over gaat

Het koekemannetje staat voor een Belangrijk Idee, dat ontspruit in het brein van een Groot Denker. Een idee dat een eigen leven gaat leiden en dat anderen aanspreekt die het idee achtervolgen. De vos staat voor de ontmoeting van het Belangrijke Idee met de harde werkelijkheid, waarin het idee wordt geconfronteerd met de vergankelijkheid waar alle Belangrijke Ideeën thuis horen.

Max Tegmarks werkelijkheid

In Our Mathematical Universe geeft de fysicus, cosmoloog en oprichter van het Future of Life Institute Max Tegmark antwoord op de prangende vraag “Hoe komt het dat de wiskunde zo goed onze werkelijkheid beschrijft?” Zijn antwoord is kort gezegd: ons universum, ons heelal inclusief ons zelf, is een wiskundige structuur. Wie het niet met zijn stelling eens is, zoals ik, (klopt de verhulde aanname in de vraag wel?) en er de tijd voor neemt om zijn 400 pagina’s lange bewijs door te ploegen, die zegt wellicht: Max zou best eens gelijk kunnen hebben. De kritische vraag is: wat bedoelt hij met “ons Universum”? Wiens Universum? Het blijkt het Universum van de fysica te zijn, en dan nog van een heel bepaalde opvatting binnen de fysica, die zowel de cosmologie als de quantummechanica omvat.

Het kenmerk van de moderne wetenschap, het kenmerk van alle kennis van de moderne mens, sinds het einde van het gezag van de Kerk, is dat deze hypothetisch van karakter is. Al onze kennis is van de vorm “als dit en dat dan is het zus en zo”. Tegmark poneert twee hypotheses.

De eerste is de Externe Realiteit Hypothese (ERH): Er bestaat een externe fysische werkelijkheid onafhankelijk van ons mensen.

De meeste fysici zijn het volgens Tegmark hier wel mee eens. Behalve wellicht solipsisten en de aanhangers van de Copenhagen interpretatie van de quantummechanica. Een niet te verwaarlozen groep overigens.

Wat is een ‘externe’ werkelijkheid? Hoe ziet een werkelijkheid eruit die niet door mensen gezien wordt? Het is een vreemde vraag. Zoiets als “Wat is het geluid van één klappende hand?” maar dan net even anders. Het is deze vraag die nogal wat stof deed opwaaien toen Erwin Schrödinger met zijn kwantumvergelijkingen kwam. Die had hij bedacht toen hij, geveld door een tuberculoseaanval, in een sanatorium in de Zwitserse bergen lag. Wat moet je anders doen. Deze wiskundige vergelijkingen (ze staan in zijn grafsteen gebeiteld) beschrijven de kwantumtoestand van een systeem. De grote vraag was: hoe moeten we deze interpreteren? Waar gaat dit over? De Copenhagen interpretatie komt erop neer dat je zegt: vaagheid en onzekerheid zijn een kenmerk van de werkelijkheid zelf. De dingen zijn vaag en er is onzekerheid. Een deeltje bevindt zich niet op één bepaalde positie maar op meerdere een beetje. Het zijn eigenlijk wolkjes. Zoals de wolkjes om de temperatuurgrafiek waarmee de weerman ons zijn voorspelling voor het weer voor de komende week laat zien.

Maar geldt dat dan ook niet voor de toestand van dingen die we in ons dagelijkse ervaringswereld observeren, zoals een stoel of Schrödingers kat? Die bestaan, net als Schrödinger zelf, immers volgens de fysici uit kwantumdeeltjes. Maar die kat is dood of levend. Niet een beetje dood en een beetje levend tegelijk. De tegenstanders zeggen: vaagheid en onzekerheid wordt door ons mensen gemaakt. Dat komt door onze waarneming. Als we afzien van observaties dan zien we een werkelijkheid die geen onzekerheden kent. Tegmark huldigt deze visie. Hij is aanhanger van de Veel Werelden Interpretatie van de kwantummechanica. Alle mogelijke fysische toestanden bestaan werkelijk. Het zijn de vele mogelijke voorspellingen van een theorie. De toestand van de wereld van de observaties is één van deze mogelijke werelden. Alles tezamen genomen vormen deze een gigantisch complexe mathematische structuur, een Hilbert ruimte, waarin ieders leven een pad is langs een trajectorie, een baan door Einsteins tijdruimte, een ruimte waarin tijd een dimensie is zoals hoogte, breedte en lengte. De fysici en alle andere mensen moeten in deze immense ruimte ergens te identificeren zijn als Self-Aware Substructures (SAS).

De tweede hypothese is de Wiskundig Universum Hypothese (WUH): Onze externe fysische realiteit is een wiskundige structuur.

Het bewijs van WUH volgt in twee stappen uit de aanname ERH.

De eerste stap is dat een volledige beschrijving van de ‘externe’ werkelijkheid (iets waar de fysici naar streven, een Theorie van Alles) ook voor aliens en supercomputers, wezens die niet begrijpen zoals wij mensen begrijpen, een volledige beschrijving moet zijn. Anders gezegd: iedere vorm van taalgebruik in zo’n beschrijving dat refereert aan de typisch menselijke bestaansvorm, ‘human bagage’ noemt Tegmark dat, moet uitgesloten zijn van de beschrijving van de externe werkelijkheid. Namen als ‘proton’, ‘neutron’, ‘waterstof’, en ‘helium’ zijn door ons verzonnen namen die verwijzen naar composities van oplossingen van Schrödinger vergelijkingen voor een basissysteem bestaande uit een zeer klein aantal (max 5) quarks, waarbij een quark een golffunctie is, een wiskundig object! In zijn boek laat Tegmark zien hoe ver de fysici al zijn in het mathematiseren van de werkelijkheid. Alles, de kosmische ruimte, de sub-atomaire deeltjeswereld en alles wat daaruit is opgebouwd lost in de laboratoria van hun brein op in wiskundige formules.

De tweede stap is dat er geen onderscheid gemaakt wordt tussen de beschrijving van een wiskundig object en dat object zelf. De beschrijving van de externe realiteit is simpelweg deze realiteit.

In het algemeen is een wiskundig object een structuur, een verzameling met elementen waartussen relaties bestaan. Tegmark illustreert aan de hand van een paar voorbeelden hoe je van alles een wiskundig model kan maken en dat je de menselijke termen, zoals bord, stuk, niet nodig hebt om dit model, deze structuur, te beschrijven. Je kunt alles met 0-en en 1-en coderen in grote tabellen. Hij geeft als voorbeeld het schaakspel. Daarvan kun je veel beschrijvingen geven maar deze zijn allemaal equivalent (homomorf) . De unieke wiskundige structuur zelf is de equivalentieklasse van al deze mathematische beschrijvingen. Een simpeler voorbeeld dat wellicht meer aanspreekt is het rationaal getal. De fysicus Roger Penrose vertelt in The Road to Reality over zijn tante die ondanks het feit dat ze best slim was, niet in staat was om met breuken te rekenen. Ze leed aan een vorm van dyscalculitis. Ze begreep niet hoe je het wegstrepen (cancellation) werkt: dat je voor 6/8 ook 3/4 kan schrijven en hoe je breuken kan optellen als ze niet dezelfde noemer hebben. Het helpt echt niet als je zo iemand uitlegt dat een rationaal getal de equivalentieklasse is van een verzameling van paren van getallen: { (3,4),(6,8),(12,24),…} .

De externe wereld van fysici zoals Tegmark staat mijlenver af van die van ons gewone mensen. Net zo als de tekening van een driehoek ‘ver afstaat van’ de wereld van de driehoek zelf. Daar zit eigenlijk geen afstand tussen. Het zijn onoverbrugbare werelden. De figuur verwijst naar het object, zoals het cijfer 5 verwijst naar het getal 5 en de term 6/8 verwijst naar het rationale getal dat we ook met 0,75 kunnen aanduiden. Tegmark maakt nogal een grote stap wanneer hij zegt dat vanwege het feit dat er zoveel verschillende cijfersystemen zijn waarmee je de getallen kunt aanduiden en kunt rekenen je kunt concluderen dat er buiten die cijfers niets anders is dan een verzameling van cijfers die hetzelfde aanduiden.

Hij kent het probleem dat Hilbert in 1900 formuleerde: kunnen we alle wiskundige kennis in een wiskundige taal vastleggen? Wiskundigen hebben aangetoond dat de wiskunde zichzelf niet kan funderen. Er zijn onberekenbare functies. Maar hoe zit het met de berekenbare wiskundige functies? Is de wereld van de fysici misschien de wereld van alle berekenbare functies? Zijn niet alleen die modellen die met behulp van de computer door te rekenen zijn valide wetenschappelijke resultaten in de fysica? De intelligente rekenmachine is de ideale werkelijkheid van de fysica, van de mathematische wetenschap.

Bestaan getallen ook in een wereld als er geen mensen zijn? Bestond de Stelling van Pythagoras al voordat deze werd ontdekt of is hij door de mens gemaakt? Is 1 en 1 ook 2 als er niemand is voor wie dit zo is en die dit beweert? Is de ruimte begrend?

Wie maakt zich nou druk om dit soort vragen?

Zodra de vraag in je opkomt of je beeld van de werkelijkheid wel klopt met de echte werkelijkheid ontstaat er een onzekerheidsrelatie. De wetenschap bestaat uit verhalen die de zo ontstane onzekerheden moeten verdrijven. Sommige van die verhalen worden Grote Verhalen: Artificial Intelligence, Singulariteit, een Virusvrije Wereld. Ze spreken ons aan, we worden aanhangers en we rennen er achter aan om ze te verwerkelijken. Het zijn de grote verhalen die samen onze cultuur maken.

Het Koekemannetje Cultureel erfgoed?

Cultuur is een vanzelfsprekendheidsmachine. De term is van de medisch antropoloog Sjaak van der Geest die in zijn inaugurele rede “Hoe gaat ‘t?” voor de antropologie de schone taak zag tegenwicht te bieden tegen het etnocentrisme, omdat dit cultuurgoed meestal inhoudt dat “onze cultuur” beter is dan andere vreemde culturen. Dat onze rituelen en verhalen waardevoller zijn dan die van andere culturen. Je neemt iets op in een Nationaal Museum omdat je de vanzelfsprekendheden van je cultuur niet meer als vanzelfsprekend ervaart. Zo is het ook wanneer je een taal of dialect op een nationale culturele erfgoedlijst plaatst. Het is de dood in de pot, de bevestiging van de teloorgang van de taal of het dialect. Moeten we dan Het Koekemannetje wel op de Culturele Erfgoedlijst plaatsen? Zou dat niet het einde van Het Koekemannetje betekenen?

Maar misschien is dat wel juist wat er met alle koekemannetjes moet gebeuren!

“De geest zit niet in elkaar” (L.E. Fleischhacker)

Sommige mensen hebben de onweerstaanbare behoefte alles uit elkaar te halen.

Je kent dat wel. Je fiets, een lamp, de grasmaaier of de zonnetracker is kapot. Je denkt laat ik eens kijken wat er loos is en of ik dit kan repareren. Na een poosje analyseren en klooien blijkt het kapotte onderdeel zodanig in elkaar te zitten dat als je het uit elkaar haalt je het niet meer in elkaar krijgt. Omdat een metalen of plastic lipje afbreekt of zijn veerkracht verliest of omdat het in elkaar geklonken is zodat alleen grof geweld het uit elkaar kan halen. De fabrikant heeft de onderdelen niet in elkaar gezet om ze weer uit elkaar te halen. Is het ding kapot dan zit er niets anders op dan een hele nieuwe te kopen. Soms denk ik wel eens dat “ze” het er om doen. Onze wegwerpmaatschappij.

Maar hier gaat het niet om de problemen die we tegen komen als we dingen uit elkaar willen halen die in elkaar zitten, zoals een fiets of een maaimachine. Hier gaat het over de problemen die optreden als we dingen uit elkaar willen halen die niet in elkaar zitten. Zijn die er dan? Vroeg iemand. Dat is een goeie vraag en daarover gaat dit stukje.

Er zijn twee domeinen die zich opdringen. Het lichaam en de taal.

Wat het eerste betreft. Wie een nieuwe knie, heup, of borst heeft of een ander onderdeel van zijn lichaam heeft laten vervangen die weet dat dit geen triviale reparatie is. Ik ben geen medicus maar ik denk dat deze het me me eens zal zijn dat het lichaam nu eenmaal geen machine is. Omdat het lichaam wel iets van een machine heeft kunnen we ons er toe aan zetten het als een machine te behandelen. Maar we lopen steeds tegen problemen aan die ons wijzen op het feit dat het lichaam niet in elkaar zit zoals een machine in elkaar zit. Een orgaan, zoals een nier of long is onderdeel van een organisme, geen onderdeel van een machine. We zien dat ook bij het toedienen van medicijnen. Deze hebben meestal ‘bijwerkingen’. Onbedoelde neveneffecten. Dat is kenmerkend wanneer een organisch geheel wordt behandeld alsof het een machine is. Bij het lichaam is sprake van een andere deel geheel verhouding dan in de techniek. ‘Onbedoelde neveneffecten’ komen we ook tegen in de vorm van natuurprocessen, zoals luchtvervuiling, plastic soep, klimaatverandering, die het gevolg zijn van ons ingrijpen in de natuur om ons het leven aangenamer te maken.

Een tweede domein waar dit het geval is is het taaldomein. Ook daar lopen we voortdurend tegen problemen aan die te maken hebben met het feit dat we zaken benaderen alsof ze in elkaar zitten terwijl dat hoogst problematisch is. We doen dat op twee manieren.

De eerste manier. We proberen de betekenis van een taaluiting te bepalen terwijl we deze taaluiting uit zijn context halen. We citeren mensen en confronteren ze met uitlatingen die in verschillende contexten heel verschillende geïnterpreteerd kunnen worden.

De tweede manier. We proberen de betekenis van een taaluiting te bepalen door deze te analyseren en de betekenis op te bouwen uit die van de onderdelen. Alsof het om een rekensom gaat. Bij een rekensom kun je de onderdelen eerst apart uitrekenen en vervolgens die van het geheel uit de resultaten van de onderdelen. Bijvoorbeeld als je 2*(3+5) moet uitrekenen dan kun je eerst 3+5 uitrekenen. Vervolgens vervang je 3+5 door 8 zodat je 2*8 krijgt. Dit leert iedereen op school. Je kunt een onderdeel, zeg x, van een formule, zeg x+y, vervangen door een andere, zeg 8, wanneer deze dezelfde waarde heeft als het onderdeel, dus als x=8. Dat dit mag is vanwege de geldigheid van het principe van compositionaliteit. Dat zegt dat je in uitdrukkingen delen mag vervangen door delen die hetzelfde betekenen (dezelfde waarde hebben) zonder de betekenis (waarde) van het geheel te veranderen. Het vervangen doet niets met de context waarin het vervangen wordt. Zoals je in een machine een radertje door een ander radertje kan vervangen als het maar hetzelfde aantal tanden heeft en net zo groot is. Het is dus niet toevallig dat machines zo goed kunnen rekenen. Maar kunnen ze ook met onze gewone taal omgaan en uitrekenen wat de uitdrukkingen van onze taal betekenen?

Het Principe van Compositionaliteit is aan het eind van de 19de eeuw geformuleerd door de wiskundige en logicus Gottlob Frege (1848-1925). Hij werkte aan een betekenistheorie voor beweringen.

Een voorbeeld: als de bewering “Jan gaat naar school” waar is, en Jan is de broer van Piet dan is de bewering “De broer van Piet gaat naar school” ook waar. Je kunt het onderdeel “Jan” vervangen door het onderdeel “de broer van Piet” omdat deze dezelfde verwijzing hebben.

Er zijn echter constructies waarin dit niet opgaat.

U wist dat de broer van Piet naar school ging? Nee, ik zei dat ik wist dat Jan naar school ging, maar ik wist toen niet dat dat de broer van Piet was.

In een debat zegt een kamerlid tegen de Minister U beweert dat U over deze zaak geen kennis had. Minister: Ja. Kamerlid: Maar U hebt dit memo over deze zaak zelf ondertekend. Minister: Maar ik wist toen niet dat dit memo daarover ging. Overigens is dat geen memo maar een kattebelletje.

Intensionele zinsconstructies zoals deze creëren ondoorschijnende contexten.

Is dat erg? vraag je je misschien af. Ja, dat is het, want we willen dat contexten transparant zijn. Het probleem is dat we vaak niet door hebben dat er sprake is van ondoorschijnende contexten. Daardoor ontstaan veel misverstanden.

Hoe groot is de kans dat het aantal chemische elementen groter is dan 100?

Hoe groot is de kans dat 112 groter is dan 100?

Omdat het aantal chemische elementen gelijk is aan 112 zou je kunnen denken dat de vorige twee zinnen hetzelfde betekenen. Waarom is dat niet zo? Omdat de context die door de zinsconstructie gemaakt is niet ‘doorschijnend’ is.

Zinsconstructies die ondoorschijnende contexten creëren komen vaker voor dan u denkt. (Dit is er één. Dat had u waarschijnlijk wel gezien.)

Bij de volgende paren zinnen hangt de interpretatie van dezelfde onderdelen sterk af van de totale context.

Een lid van het OMT wordt altijd bedreigd. Een circel heeft altijd een omtrek.

Iedereen kan winnen. Iedereen kan een drankje krijgen.

Je kunt woorden en zinnen niet zo maar uit hun verband halen zonder de waarheid, wat er werkelijk gezegd is, geweld aan te doen. Frege had dat ook wel door. Hij onderscheidde directe rede en indirecte rede. In “Jan zegt dat …” kun je wat op de plek van de … staat niet vervangen door iets anders. Logisch semantici sporeken soms van modaliteit de dicto en modaliteit de re. Komt de noodzaak of mogelijkheid toe aan het zeggen (de kenner) of aan het gezegde, de zaak zelf (het gekende)?

Er is een getal dat noodzakelijk groter is dan zeven.

Het is noodzakelijk dat er een getal is dat groter is dan zeven.

De onderstaande twee beweringen kunnen allebei waar zijn.

Iedereen kan winnen. Er kan maar één winnen.

Machines snappen dat niet. Omdat ze in elkaar zitten. Ze moeten de taal ‘letterlijk’ nemen want ze hebben geen benul van een wereld buiten de taal. De wereld waarnaar de taal verwijst.

Sommige dingen zitten nu eenmaal niet in elkaar. Zoals de geest. De geest zit niet in elkaar. Het lijkt me goed om ons dat af en toe te realiseren wanneer we aan het analyseren gaan de zaak weer uit elkaar gaan halen en conclusies trekken op grond van uitspraken die uit hun ‘ondoorschijnende’ context zijn gehaald.

De betekenis van een uiting is een geheel dat niet analyseerbaar is. De onderdelen van de uiting moeten niet opgevat worden als bouwstenen waaruit de betekenis wordt opgebouwd. Dit kan het best geïllustreerd worden aan de hand van een plaatje zoals de beroemde haas-eende-kop van Jastrow.

In de figuur zien we een eende-kop dan wel een haze-kop. Een deel van de tekening is noch een deel van de eende-kop noch een deel van de haze-kop. Als deel is het een lijnstukje waaraan we als geïsoleerde figuur geen betekenis kunnen geven. Dat is niet zo vanwege de ‘dubbelzinnigheid’ van de tekening. Ook een eenzinnige figuur heeft een betekenis die een geheel is dat niet gezien moet worden als het resultaat van een samenstel van betekenissen van de onderdelen van de figuur. Alsof het bij het interpreteren van een figuur om het berekenen van de waarde van een rekenkundige expressie zou gaan.

“De grens tussen mens en techniek is veel minder scherp dan velen geneigd zijn te denken.” (Peter-Paul Verbeek in: De Grens van de Mens, 2011)

Inleiding: twee benaderingen van techniek

De (ethische) stelling die ik hier inneem is dat de techniek haar waarde vindt in de betekenis die deze voor de mens heeft. Dat lijkt misschien een open deur. Toch krijg ik wel eens de indruk dat alles in de wereld om de ontwikkeling van nieuwe technologie gaat. Alsof die een eigen waarde heeft. Wat zegt de filosoof hierover?

Ik ben met twee nogal verschillende benaderingen van de techniekfilosofie in aanraking gekomen. Die houden er verschillende opvattingen van techniek op na.

Met de eerste kwam ik in aanraking tijdens mijn studie wiskunde en informatica aan de toen nog Technische Hogeschool Twente. Filosofie van de wiskunde en de informatica vulde een groot deel van mijn studie. Ik was daarmee in aanraking gekomen via mijn leermeester Louk Fleischhacker, filosoof met als achtergrond logica en wiskunde. Hij werkte op het Mathematisch Centrum waar hij promotieonderzoek deed bij Curry op het gebied van de combinatorische logica. Toen die vertrok volgde Louk zijn interesse voor de wijsbegeerte. Ik verdiepte me in het gedachtegoed van Louk’s leermeester, de Amsterdamse filosoof Jan Hollak. “Hegel, Marx en de Cybernetica” was het eerste artikel dat ik van Hollak las. Ik snapte er helemaal niets van. Maar ik had wel het gevoel dat er iets van waarde in zat. Wat had de cybernetica van Norbert Wiener met de filosofieën van Hegel en Marx te maken? Ik las Hollaks inaugurele rede “Van Causa sui tot Automatie”, over het moderne Godsbegrip, de relatie met het causaliteitsbegrip. Zelfreflectie, het denken dat zichzelf probeert te begrijpen, en zichzelf veroorzakende processen, automaten, daar ging het over. Alle twijfelachtige wetenschap die het gevolg was van de Cartesiaanse methode, het gevolg van een universeel twijfelexperiment.

Mijn belangrijkste motief was dat ik, wiskunde- en informaticastudent, wilde begrijpen hoe een computer werkt. U zou kunnen denken dat je daarover toch genoeg leert bij het volgen van een informatica-studie. Dat is een begrijpelijke gedachte, maar die colleges gaven niet het antwoord op de vraag die ik had: hoe werkt de computer nou eigenlijk? Je kunt heel veel technische uitleggen lezen over hoe de computer werkt (zie bijvoorbeeld hoe de filosoof D.C. Dennett uitlegt hoe de register machine ‘werkt’). Maar ze raken niet de kern van mijn vraag. Men zegt dat de computer kan rekenen, dat machines kunnen denken. Maar hoe dan? Is dat misschien alleen ‘bij wijze van spreken’ zo? Maar waarom zo spreken?

Ik volgde colleges bij Maarten Coolen in Amsterdam die toen bezig was te promoveren bij Theo de Boer. In “De Machine Voorbij” geeft hij zijn interpretatie van de (historische) ontwikkeling van de techniek, waarvan de programmeerbare machine, de zelfregulerende automatie, de (voorlopige?) eindfase is. Voor Maarten Coolen was Hollaks filosofie van de ontwikkeling van de technische idee een belangrijke inspiratiebron. Een kernprobleem is de vraag naar de verantwoordelijkheid voor een technologie die steeds autonomer wordt en die een eigen dynamiek lijkt te hebben. De complexiteit maakt dat niemand meer voor de ontwikkeling van nieuwe technologie verantwoordelijk kan zijn omdat niemand volledig snapt hoe het werkt en waar het toe leidt. Hoe autonoom is die moderne mens eigenlijk die zich tot uitdrukking brengt in de zichzelf programmerende machine? Louk en ik keken vooral naar de relatie tussen de ‘zelfreflectie’ van de wiskunde zoals die zich in de metamathematica in het begin van de 20ste eeuw voltrok (met Frege, Russell en Wittgenstein als ‘grote’ denkers) en de programmeerbare machine. Louk promoveerde bij Hollak op een proefschrift getiteld “Over de grenzen van de kwantiteit”. Wat voor grens? Waartussen?

De geest heeft de neiging zich in ruimtelijke termen, zoals ‘grens’, uit de drukken. Dat kan erg misleidend zijn.

Met de tweede benadering van de techniek kwam ik in aanraking via het werk van Peter-Paul Verbeek. Het is een benadering die veel dichter bij het ontwerp en de effecten van concrete technische projecten en dingen staat. Ihde’s mediatie theorie en Latours mens-beeld nemen een belangrijke plaats in in het denken van Verbeek. Ik noem deze de ethische benadering omdat in deze filosofie de ‘morele’ kant van de techniek een centrale plaats inneemt. Wat doet dit ding met de mens en hoe verandert deze techniek de wijze waarop de mens de werkelijkheid ziet?

De ethische vraag hoe te handelen wordt in zekere zin mede door de techniek beantwoord. Dat doet ze door vorm te geven aan de manier waarop we dingen interpreteren en door nieuwe mogelijkheden van handelen te creëren. Verbeek wijst er in diverse van zijn boeken en artikelen op dat de technische dingen vanwege hun bemiddelende rol in het menselijk handelen in zekere zin zelfs een ‘moreel actorschap’ toegekend kan worden. (zie bijvoorbeeld zijn “Moraliteit voorbij de mens”).

De tweede benadering is een heel andere dan de eerste. Heidegger zegt in Die Frage nach der Technik dat het wezen van de techniek iets anders is dan techniek (“Die Technik ist nicht das gleiche wie das Wesen der Technik”.) Je zou kunnen zeggen dat de eerste benadering zich meer richt op het wezen van techniek, de technische idee, terwijl de tweede kijkt naar wat de verschillende technieken doen. Toch gaan beide over moderne zaken als informatica en media. De filosofie van Hollak sluit meer aan bij de grondslagenproblematiek in de wiskunde, bij de automatisering, de onderwerpen van mijn studie.

Na mijn studie werkte ik in de onderzoekgroep Human Media Interaction aan interfaces tussen mens en machine. Ik leerde de machine onze taal spreken, zodat mensen in hun eigen taal met de machine kunnen communiceren. Ik leerde machines om uit teksten informatie te halen over eigenschappen van de schrijvers ervan. Je leert machines via de taal de werkelijkheid kennen. Ik werkte aan persuasieve technologie, coaching systemen die mensen helpen om hun bloedsuiker en/of gewicht op peil te houden. Aan avatars die de rol van een verdachte in een politieverhoor kunnen spelen. Tegenwoordig kan iedereen appjes op zijn mobieltje zetten die deze functies uitvoeren. Het onderzoek van Verbeek naar de verschillende vormen van mediatie sluit direct aan bij dit soort mens-machine-interaktie-projecten.

Waar in het denken van Hollak en zijn leerlingen (Maarten, Louk) komen de ethische vragen met betrekking tot de technologie aan de orde? Het is een kwestie die voor mij lange tijd onduidelijk was. Ethiek lijkt helemaal geen thema in die antropologische benadering van techniek. Dit is slechts schijn. Een schijn die veroorzaakt wordt door het feit dat het juist voortdurend gaat om de menswaardigheid van de techniek, om wat de mens van zichzelf in de techniek uitdrukt en in hoeverre hij daarin slaagt. In de poging zichzelf te begrijpen en aan zichzelf te werken brengt de mens tot uitdrukking wat menswaardig is. De filosofie is bij uitstek het domein waar gepoogd wordt dit zelfbegrip tot uitdrukking te brengen.

In “The moral roots of conceptual confusion in Artificial Intelligence research”
zegt Niklas Toivakainen: “My main claim in this paper will be that the project of AI — as the project of any human endeavor — is itself inextricably a moral matter.” Hij vindt de moraliteit in de methode en het denken van de AI zelf. Ik denk dat in de techniekfilosofie van Hollak c.s. de impliciet morele kant van de technologie tot uiting komt.

Verbeek zoekt naar “de grens van de mens” en hoopt deze te vinden in de verschillende relaties die de mens met de dingen heeft. We zien, zegt hij, een toenemende mate van versmelting van mens en techniek. Het roept de vraag op wat er bedoeld wordt met ‘de grens tussen mens en techniek’. Ik zal proberen aan de hand van een tweetal grensconflicten dit te verhelderen. Daarna keren we terug naar de menswaardigheid van de techniek. We zullen zien dat de menswaardigheid het centrale thema is van zowel de antropologische als van de ethische benadering van de technologie.

Grensconflicten

De mens heeft de neiging zich in ruimtelijke termen uit te drukken: afstand, grens, diepte, hoger, lager, binnen en buiten, uiten, wijzen, aanwijzen en nog veel meer. Wellicht hebben we hier te maken met een karaktertrek van de moderne geest. Een karaktertrek die tot nogal wat grensperikelen aanleiding geeft. Een kritische analyse van deze eigenschap lijkt me zinvol, zo niet nuttig, om inzicht te krijgen in de werking van de geest. Maar hoe doe je dat? Hoe analyseer je de geest?

De aanname is dat het taalgebruik een kijkje biedt in wat er in de geest omgaat. De filosofie houdt zich bij uitstek bezig met de geest en de wijze waarop deze zich uit. Zij moet het van de taal hebben. De geest uit zich in haar activiteiten en creaties. We richten ons hier op de technologie als creatief domein van de menselijke geest en de wijze waarop de filosofie daarover reflecteert. Ik bekijk twee technische domeinen van de geest waar grensperikelen zich voordoen. Deze betreffen de morele grenzen van de technologie. Het eerste domein is het speelveld van de genetische technologie ter ‘verbetering’ van de mens. Het tweede domein is dat van de ontwikkeling van sociale robots. Bij beide gaat het in zekere zin om het maken van een betere mens.

Eerste grensconflict: over de grens van de mens

Ter gelegenheid van zijn aanvaarding van het ambt van hoogleraar Filosofie van Mens en Techniek aan de Universiteit Twente sprak op 15 oktober 2009 Peter-Paul Verbeek zijn inaugurele rede uit vanaf de kansel van de kerk op het oude marktplein in Enschede. De plek past bij deze techniekfilosoof en ethicus die liever op het marktplein en op festivals zijn boodschap aan het volk verkondigt dan in de stoffige torens en muffe collegezalen van de universiteit aan een elitair gezelschap.

Het doel van de filosofie van Peter-Paul Verbeek is uiterst praktisch. Ze moet de basis vormen voor een ethiek die zich inzet om “op een goede en verantwoorde wijze vorm te geven aan de verwevenheid van mens en techniek.” (p.112). Ethiek moet niet van buiten af grenzen opleggen aan de techniek, maar ‘begeleider’ zijn en zoeken naar manieren om technieken te ontwikkelen die bijdragen aan ‘het goede leven’. Verbeek is dan ook regelmatig in design-labs te vinden. Hij neemt zitting in werkgroepen met ingenieurs en medici die aan nieuwe technologie werken, zoals onlangs nog in een nationaal project voor het maken van een Corona app. De bijdrage van de ethicus bestaat uit het onderzoeken van de mogelijke effecten die nieuwe technologie op het leven van mensen heeft. Hoe draagt deze techniek bij aan ‘het goede leven’? Wat doet deze techniek met de mens en de samenleving?

Zijn ethische legitimering van de technologie is gebaseerd op een mensopvatting die sterk door technologie wordt bepaald. Nu heeft de historische stand van de techniek vaak metaforen geleverd voor het karakteriseren van de mens. Zo was hij ooit pottenbakker, horlogemaker of programmeur. Het mensbeeld dat Verbeek schetst – en daarin schaart hij zich bij andere filosofen, is de mens als grensverleggend wezen. En dat houdt tevens in dat hij de grenzen van zichzelf, als subject verlegd. De menselijke geest is ‘zelfconstitutie’ (p.134). De mens is wezenlijk zelfmakende mens. De metafoor die gebruikt wordt om de mens te karakteriseren wordt door Verbeek dus niet ontleend aan een bepaalde vorm van techniek, maar aan een wezenlijk kenmerk van de technologie als zodanig, namelijk haar grensverleggende karakter. De mens is techniek en technoloog. Hij werkt aan zijn toekomst waarin het leven beter is dan nu.

Verbeek laat zich vooral inspireren door de nieuwste medische en biogenetische technieken. Deze leveren sterke staaltjes van de ‘verwevenheid van mens en techniek’. Descartes zag de medische kennis al als het belangrijkste product van zijn nieuwe filosofische methode: de mens als rationeel denkend subject dat meester is over de natuur. Het bestrijden van ziektes, het verlengen van de levensduur, wellicht het volledig uitbannen van het verouderen zijn de taken die hij voorstelt om aan te werken. Recombinant DNA-technologie, ‘pre-implantatiediagnostiek’, het telen van nieuwe soorten, het zelf ter hand nemen van het ontwerp van de mens, het ligt in het verlengde van Descartes visionaire blik op de mogelijkheden van de nieuwe mens.

De ironie wil dat Descartes door de nieuwe “technetici” als één van de belangrijkste grondleggers gezien wordt van een metafysica die subject en object, mens en machine in twee domeinen van elkaar scheidt. Tegenover het denkend subject verschijnt het res extensa, de zielloze en willoze uitgebreidheid, waarin het gezonde verstand zich uit kan drukken. Het grensbegrip duidt zowel op een verdeling binnen de uitgebreidheid als op de verdeeldheid van denken en wereld.

Deze metafysica is volgens hen de basis van een humanisme, dat de autonome mens plaatst tegenover de wereld, een mensbeeld dat o.a. door Heidegger is bekritiseerd. Een goede verstaander van de technologie ziet dat deze scheiding in werkelijkheid niet bestaat. Vanuit het oude denken moeten we dus zeggen dat de grens tussen subject en object, tussen mens en techniek vervaagt of zelfs is opgeheven.

Verbeeks houdt een pleidooi voor een nieuwe ethiek. Maar tegen welke club richt hij zich eigenlijk? Want wie zal nog ontkennen dat de mens zichzelf vorm geeft? Het ligt vrij subtiel. Het pleidooi richt zich tegen diegenen die dit zelfontwerp willen sturen; niet door de ontwikkeling van nieuwe technologie te ‘begeleiden’, door aan de ontwerptafel te gaan zitten, maar ‘van buiten af’, door vanaf de kant te roepen waar de morele grenzen van het speelveld dreigen te worden overschreden.

Waarop baseren deze stuurlui zich? Waar komen hun morele grenzen vandaan? Verbeek wijst in zijn boek op het feit dat er helemaal geen debat is over ethische kwesties. Er is een veelheid van meningen en men accepteert elkaars mening. Dat komt omdat de regels van de stuurlui gebaseerd zijn op zaken die je nou eenmaal geloofd. Daar valt niet over te praten. Over ethiek valt net zo min te twisten als over goede smaak. Ondertussen gaat de technische geest door in het exploreren van haar mogelijkheden. De religieuze mens verwijst naar de menselijke waardigheid die in het geding zou zijn. Verbeek noemt Habermas als voorbeeld van zo’n ‘externalistische’ ethicus, een kantlijner. En waar beroept deze zich op?

Op het autonomiebeginsel! De mens zou door de nieuwste technologie in zijn autonomie worden bedreigd. Maar dan toch zeker wel door die mens zelf. We willen en mogen wel programmeren, maar niet geprogrammeerd worden. Maar wanneer de werkelijkheid van de mens bestaat uit zelfprogrammering dan kan het één niet zonder het ander voorkomen. Ze zijn twee kanten van dezelfde technologie. Wie een technisch instrument maakt maakt ook een handleiding hoe er mee om te gaan. De programmeerbare machine veronderstelt en realiseert de mens als programmerend. We moeten er voor waken dat er een scheiding ontstaat tussen programmeurs en geprogrammeerden. Alsof die er nog niet is! De oplossing zou dus bestaan uit het democratiseren van de technologie. De gebruikers beslissen mee aan de ontwerptafels. Technetici stellen daarbij vragen als “wat doen pillen die ons minder somber maken met onze authenticiteit?” of “wat gebeurt er met de kwaliteit van ons bestaan” als nieuwe medische technologie net zo vanzelfsprekend is als een kunstgebit?”. Of ze werpen zich op als opstellers van regels voor het programmeren van het mensenpark. Of in dat park behalve mensen ook robots rondlopen voor wie dezelfde regels moeten gelden? Daarover gaat het tweede grensconflict.

Ondertussen zit de filosoof met een probleem. Hij probeert de grenzen die hij zelf denkend maakt weer op te heffen. Verbeek ziet de grens tussen mens en techniek vervagen. Ik dacht terwijl ik onderzoek deed op het gebied van de Kunstmatige Intelligentie dat ik bezig was te begrijpen waarin de mens zich van de techniek onderscheidt. De programmeerbare machine is immers, had ik geleerd, de uitwendige objectivatie van het humanistisch mensbeeld, de rationele mens (men leze de inaugurele rede van Jan Hollak, Van Causa sui tot Automatie, 1967). Hoe verder de techniek zich ontwikkelt hoe beter het onderscheid zichtbaar kan worden.

De automatie toont, voor wie het wil zien, dat het moderne mensbeeld, de idee van de autonome mens, niet voldoet. De automatie toont dat de mens daar voorbij is; dat hij meer is dan wat hij van zichzelf in technologie tot uitdrukking brengt.

In eerste instantie dacht ik dat die twee benaderingen van de techniek tot opvattingen leiden over de relatie tussen mens en techniek die met elkaar in strijd zijn. Dat is niet het geval.

“Philosophie der Techniek”

In zijn “Philosophie der Techniek” doet de filosoof P. de Bruin een poging het bijzondere karakter van de menselijke techniek te beschrijven. Ook dieren kennen techniek. Of het nou aan de bijzondere samenstelling van het menselijk genoom ligt of niet, feit is dat het technische instrument of een methode van werken door de mens uitgedacht, niet gebonden is aan een concrete situatie, waarin deze door iemand is bedacht of toegepast is, zoals bij het dier, maar zelfstandigheid heeft. “De mens is het enige dier dat aan zijn instrument zelfstandigheid geeft: dat zijn instrument als weergave van zijn concept beschouwt; dat middelen maakt voor algemeen gebruik; dat instrumenten vervaardigt om er instrumenten mee te fabriceren, die eerst langs een omweg, soms langs vele omwegen tot directe dienst aan de mens terugkeren of die alleen maar gebruikt worden om er kennis mee te vermeerderen. Daarin ligt het onderscheidend kenmerk en niet in de fabricatie van doelmatige instrumenten, in de combinatie van natuurkrachten om een gesteld doel te bereiken, b.v. een hoog hangende vrucht.” Anders dan het dier heeft de mens een van de behoeftebevrediging bevrijde verstandelijke voorstelling. De Bruin wijst op het wetenschappelijk karakter van de menselijke techniek. Experimentele wetenschap en techniek zijn twee kanten van een zelfde geestesleven. Zonder vrij denken geen experiment en geen techniek.

“De techniek is derhalve de beheersing van de werking der natuur in een nieuwe algemene vorm door het verstand uitgedacht of gevonden.” De “eerste eigenschap” van de menselijke techniek is volgens De Bruin de eindeloze herhaalbaarheid. Dit is uiteraard slechts in principe zo. Dat wil zeggen afgezien van de slijtage en de eindigheid van de bouwstoffen, die door toepassing van de techniek worden verbruikt. Heidegger heeft gewezen op het feit dat de technologie de aarde als Bestand ziet, als bron van grondstoffen.

De technische vinding is niet alleen uitvoerbaar of bruikbaar voor de uitvinder ervan. Net als een stelling in de wiskunde is ze geldig voor iedereen zodra deze een keer bewezen door iemand bewezen en meegedeeld is. Op dezelfde manier is een geslaagd experiment een bewijs van de werking van een techniek. Ook de leerbaarheid deelt de techniek met de wiskunde, die bij uitstek mathesis is, leerbaar.

“De handelingen van de mens zijn technisch, juist voor zover zij berekenbaar zijn.” Het is dan ook niet toevallig dat de ontwikkeling van de techniek geleid heeft tot de techniek van de rekenende programmeerbare machines. Dat deze machines ook taalmachines zijn, dat wil zeggen op taal reageren en zich in taal uiten is geen toeval. Het is het gevolg van het feit dat de taal de lichamelijke uiting van de denkende geest is.

De zelfstandigheid van de menselijke techniek heeft twee aspecten. Eerstens werkt deze volgens een door het verstand gevonden algemeen geldend concept. Ten tweede heeft het technische ding de zelfstandige werking van de natuur, die “op algemeenheid is aangelegd”. De natuur werkt volgens algemene wetten. Niet alleen de hamer, ook de logische schakeling werkt als natuurkracht. Maar de functie die het uitoefent ontleent het aan het ontwerp, aan de creatieve berekende en door middel van experimenten geteste combinatie van werkingen van de natuur.

De zelfstandigheid van het technisch instrument is volgens De Bruin op twee wijzen beperkt. De natuur verzet zich tegen de haar opgelegde vorm door verslijt. Ten tweede: “de zelfstandigheid is steeds afhankelijk van de medewerking der mensen.” (p.446).

De gebruiker van het instrument moet zich steeds meer aanpassen naarmate deze zelfstandiger wordt. De mens leeft synchroon met de tijd van de machine. Dat geldt niet alleen voor de klassieke machines, de materiële productieprocessen (denk aan de lopende band), maar ook, en meer en meer, voor de informatie- en communicatietechnieken. Niet alleen in de sfeer van de arbeid, maar ook in de privé-sfeer wordt de moderne mens door social-media en massa-media geleefd.

Het is de economische toepassing van techniek die niet alleen dreigt de menselijke arbeid te mechaniseren tot een mensonwaardig functioneren, maar ook de burger dreigt te ontwaarden tot een stuurloze consument. Dit gaat zover dat dit de identiteit van het individu raakt. Zijn consumentgedrag bepaalt wie hij is.

De Bruin wijst op de veelgemaakte fout techniek te verwarren met het economisch gebruik van techniek. “De technische handeling is niet minder ingenieus, vernuftig, in één woord technisch, wanneer zij zich ten doel stelt een zo zwak mogelijke verlichting te verkrijgen.” Dit doet denken aan het werk van de kunstenaar Gerrit van Bakel die machines maakte die zo langzaam mogelijk voortbewogen.

“Men mag een begrip niet begrenzen door dingen die er buiten staan. De techniek heeft maar één grens: het natuurlijke en formeel-logisch onmogelijke.” (p. 461)

In zijn ”De Structuur van het Economisch Arbeidsbegrip” doet de Bruin een poging het begrip arbeid te analyseren en te definiëren. Hierin gaat hij expliciet in op het probleem van de vage grenzen tussen fenomenen in de werkelijkheid. Over het begrip grens zegt hij: “vloeibare grenzen en vastomlijnde begrippen zijn niet elkaars tegengestelde maar elkaars complementen.” Het onderkennen van grensvervaging veronderstelt een inzicht in het begripsonderscheid. De vaste kern van het begrip techniek, de technische idee is dat het een verstandsvorm is die op een uitwendige wijze wordt gerealiseerd. Die uitwendigheid en die verstandsvorm horen bij elkaar. Als verstandelijk denken drukt de geest zich uit in ruimtelijke termen. Het is de sfeer van de kwantiteit, waar de mens technische de natuur aangrijpt om deze te veranderen. De filosofie probeert de onderscheiden bepalingen, subject en object, weer op te heffen in een poging het verstand met de werkelijkheid te verzoenen. De techniek probeert de grens tussen subject en object tussen geest en natuur op te heffen maar ze blijft als robot tegen over de maker staan.

De onmiddellijke lichamelijkheid waarin de techniek is ingebed is de innige band die de mens van nature met de natuur heeft. De lichamelijke mens is als lichamelijk geen ‘tegenover’ van subject en object: het lichaam is beide, ‘le çorps-sujet’ (Merleau-Ponty). “In de meest fundamentele en steeds aanwezige ervaring van ons eigen bestaan is de coëxistentie met onze wereld ondoordacht aanwezig en wel primair geconstitueerd door onze lichamelijkheid”. (F.J.J. Buytendijk, Prolegomena van een antropologische fysiologie, p.30). Taal en techniek delen als intelligente uitwendige objectivaties van de geest in de lichamelijke eenheid van subject en object, van geest en materie. Maar het zijn wel uitwendige objectivaties, het subject is er niet als subject in aanwezig. De machine imiteert slechts een beeld van subjectiviteit. Wanneer A.G. van Melsen zegt dat het kennen niet geheel buiten de sfeer van het stoffelijke ligt, dat water “weet” wat het moet doen als het verwarmd wordt, dat natrium “weet” hoe te reageren met chloor, dan is dat weliswaar een metafoor maar toch drukt het ook een zeker eigenschap van de stof uit namelijk een functioneel weten dat net als bij de mens het handelen bepaalt. (Van Melsen, Natuurwetenschap en Techniek). In de techniek gebruiken we dit “weten”, deze intelligentie van de natuur op slimme wijze.

Het besef van de uitwendigheid van de techniek is de bron van de ethiek. Weliswaar is de mens techniek maar het gaat niet om de techniek. Het gaat om de waardigheid van de mens die zich erin uitdrukt. De mens moet het van de uitdrukking hebben maar gaat er niet in op. Dat is de gemeenschappelijke ethische kern van beide benaderingen in de techniekfilosofie. De mens moet aan techniek werken maar er ook buiten staan en het beschouwen met de vraag is dit waar ik mezelf in vindt?

Dit is allemaal erg abstract. Concreet bestaat de mens als individu, als persoon met een eigen lichaam en karakter. De medische technologie sleutelt aan de individuele mens; niet aan de arbeid, de machines in de fabrieken, maar aan de persoon door middel van zijn lichamelijkheid. Of het nu om een nieuwe knie ter ‘verbetering’ van het loopvermogen gaat of om ‘verbetering’ van de psychische vermogens.

Wanneer Verbeek het over de morele kant van de techniek heeft dan doelt hij op de concrete techniek in haar relatie tot het gebruik. Daar ligt de verwarring tussen techniek en economie op de loer. Voor Verbeek is de techniek nooit neutraal. Voor de Bruin zit de waarde van de techniek in de algemene bruikbaarheid. De techniek moet dienstbaar zijn aan de mens. Het behoort tot het wezen van de techniek berekenbaar en herhaalbaar te zijn. Maar wil techniek techniek blijven dan moet de mens grenzen opleggen aan de mechanisering waartoe ze uit zich zelf geneigd is. “De techniek is niet mogelijk zonder een leidend verstand dat nog vrij over zichzelf beschikt.” (p.449). De controle door de mens is van dezelfde aard als de wijze waarop we over ons lichaam beschikken en er tevens voor zorgen.

Men zegt: mensen gaan op robots lijken en omgekeerd gaan robots op mensen lijken. Maar voor wie? Dan toch in elk geval voor diegene voor wie dat lijkt. Maar die weet dan toch van het verschil. Dat de gelijkenis slechts uitwendig is.

De uitwendige kant van de lichamelijkheid speelt ook een centrale rol in de technologie van de sociale robots. Dat zijn robots die onze taal spreken (dingen met taal doen) en andere sociale gebaren maken die emoties opwekken bij de mensen die er door aangesproken worden.

Tweede grensconflict: moeten robots rechten hebben?

Een andere arena waar ethiek en techniek in de clinch liggen is waar technische dingen als ‘autonome’ machines worden opgevat. Daar willen de nieuwe technetici het morele van het subject de grens overhevelen naar het domein van de technische objecten die ook subjecten zijn, want “zelf beslissingen nemen”. De titel “Moralizing Technology” van een boek van Verbeek nodigt de vraag uit waar het over gaat: is de techniek object of subject van het moraliseren? Morele actor zijn betekent het vermogen hebben vrij te kiezen in bepaalde situaties. Wanneer de vraag aan de orde komt of machines wel vrij zijn om te kiezen, relativeren de technetici de vrijheid van het menselijk subject. De mens is ook door technieken bepaalt. Maakt de mens niet altijd gebruik van techniek en bepalen de technische mogelijkheden niet voor welke beslissingen de mens in zijn leven komt te staan? Zo vervaagt ook hier de grens tussen mens en techniek. Ik denk overigens dat in deze hele discussie vrijheid en keuzevrijheid worden verward. De mens is niet vrij omdat hij in bepaalde situaties keuzes kan maken, maar omdat hij inziet wat hij wel en niet wil. Hij kan ook weigeren voor een bepaalde keuze gesteld te worden. Hij kan zelf bepalen wat de alternatieven zijn. Voor wie werkelijk vrij is is er vaak maar één mogelijkheid.

David Gunkel (2017) spreekt van de “ontologische status” van de technische artefacten. De broodrooster en de nietmaschine hebben dezelfde ‘ontologische status’ als een sociale robot. Toch is er een verschil in ‘sociale status’ en daarmee van hun ‘morele status’.

Kate Darling (2012) schrijft, “our robots are nowhere close to the intelligence and complexity of humans or animals, nor will they reach this stage in the near future. And yet, while it seems far-fetched for a robot’s legal status to differ from that of a toaster, there is already a notable difference in how we interact with certain types of robotic objects.”

We hebben de neiging tot antropomorfiseren, zegt Darling, We projecteren onze eigen cognitieve vermogens, emoties en motieven op onze technische artefacten, sociale robots en androides, terwijl deze vermogens niet eigen zijn aan deze mechanismen.

“Social robots play off of this tendency by mimicking cues that we automatically associate with certain states of mind or feelings.” (Darling)

“But it is this emotional reaction that necessitates new forms of obligation in the face of social robots” (Gunkel, 2017). Sociale robots worden niet alleen gezien als morele actoren, subjecten die morele acties uitvoeren, maar ook als morele subjecten zoals huisdieren.

“Given that many people already feel strongly about state-of-the-art social robot ‘abuse,’ it may soon become more widely perceived as out of line with our social values to treat robotic companions in a way that we would not treat our pets” (Darling 2012).

Moeten we sociale robots niet beschermen tegen misbruik en vernieling door het uitbreiden van wetgeving? Of is bestaande wetgeving voldoende? De waarde die de robot heeft is immers gerelateerd aan de waarde die deze heeft voor de eigenaar ervan. Wat dat betreft is er geen verschil met het beschermen van een broodrooster tegen vernieling. Willen we de broodrooster zelf via juridische middelen beschermen tegen vernieling of misbruik door de eigenaar? We beschermen op die manier ook dieren en natuurgebieden vanwege de waarde die ze zelf hebben. Niet vanwege de economische waarde voor de mens.

Verschillende onderzoeken hebben laten zien dat mensen op een emotionele manier op sociale robots reageren ook al weten ze dat het om technische artefacten gaat. Ook mensen die in zekere zin weten hoe de robot werkt zeggen empathie te hebben alsof het om een huisdier gaat. We moeten de vaak nogal suggestieve onderzoeksverslagen wel met de nodige korreltjes zout nemen. Het gaat om laboratorium-onderzoek waarvan de ecologische validiteit vaak betwijfelbaar is. Bovendien is het taalgebruik wanneer we over robots praten nogal suggestief. We spreken van een ‘intelligente’ robot die ‘zelf beslissingen neemt’ also we daarmee hetzelfde zouden bedoelen als wanneer we dit van een mens zeggen. Het gaat hier echter om een ander taalgebruik. Intelligente machines zijn niet in dezelfde zin intelligent als intelligente mensen. En als we zeggen dat een robot een beslissing neemt dan is dat echt iets anders dan wanneer we dat van een mens zeggen. Darling spreekt van “projectie”. We zeggen dat iets buiten ons doet wat wij eigenlijk zelf doen. Maar kunnen we niet doen wat de machine doet zonder de machine. Een breimachine breit anders dan een mens. Een wasmachine wast anders dan een mens. Dus is het geen projectie. Het vermogen van het technische ding is een uitwendige objectivatie van het menselijke vermogen zijn rationele wil op een doelmatige wijze aan de natuur op te leggen door aan de natuurkrachten te gehoorzamen. Het gaat om een samenspel tussen mens en natuur. Een samenspel dat in het verlengde ligt van zijn lichamelijke vermogens en die nooit helemaal buiten spel komen te staan. Hoe intelligent en autonoom de machine ook voor ons lijkt te werken altijd is er fysische interaktie nodig tussen mens en machine. De gebruiker moet de machine in een bepaalde toestand brengen, een toestand die de gebruiker deelt met de machine.

Machines zijn niet slechts instrumenten. Zegt men. Ze voeren ‘autonoom’ acties uit, Ze ‘nemen beslissingen’. En daarvoor zijn ze ook ontworpen. Maar zijn ze dan ook verantwoordelijk voor hun acties? De hamer is niet verantwoordelijk voor de mogelijke schade die veroorzaakt kan worden door iemand die dit instrument hanteert. Maar hoe zit dat met de zelflerende machine, zoals de chatbot Tay van Microsoft? Deze zelflerende Twitterbot heeft Microsoft het schaamrood op de kaken bezorgd. De chattende robot ‘TayTweets’ veranderde binnen 24 uur in een Holocaust-ontkennende nazi met racistische teksten als ‘Hitler had gelijk ik haat Joden’.

“Machine learning systems like AlphaGo and Tay introduce complications into the instrumentalist way of assigning and dealing with responsibility. They might not be moral agents in their own right (not yet at least), but their design and operation effectively challenge the standard instrumentalist theory and open up fissures in the way responsibility comes to be decided, assigned, and formulated. (Gunkel, 2017).

Ik maak bezwaar tegen de tegenstelling mens machine. De mens heeft ook iets machine-achtigs. Het rekenende denken is machinaal denken. De automatische rituele handelingen zijn mechanisch, onnadenkend uitgevoerd. Wie leest of luistert laat zich door de woorden programmeren. We reageren automatisch op bepaalde signalen uit de omgeving, zonder erbij na te denken, alsof we zo geprogrammeerd zijn. De sprekende geldautomaat maakt gebruik van dit automatisme wanneer deze ‘zegt’ “voer uw pas in”. We reageren daarop alsof er iemand is die ons dit vraagt te doen. De machine heeft het taalgebruik van ons overgenomen. En het werkt zodra het in de juiste situatie gebruikt wordt. Hier werkt de zelfstandigheid van de talige uitdrukking.

Het pad dat we hebben aangelegd nodigt ons uit om te begaan. Is het pad daarom verantwoordelijk voor ons gaan? Rekken we de betekenis van moraliteit en verantwoordelijkheid niet te veel op wanneer we deze toepassen op dingen; op niet-lichamelijke entiteiten?

De lichamelijke eenheid van subject en object

Verwevenheid, versmelting en mediatie zijn termen die Verbeek gebruikt om de relatie tussen mens en techniek te karakteriseren. Techniek medieert ons waarnemen, kennen en handelen. Dat kan alleen maar bij de gratie van onze lichamelijkheid waarin de grens tussen subject en object tussen geest en materie, tussen mens en techniek al is opgeheven. Door onze lichamelijkheid zijn we altijd al buiten en één met de natuur. We zien en zijn zichtbaar tegelijk. We delen de toetsen en de taal met ons toetsenbord. Door onze lichamelijkheid zijn we aanwezig voor de ander en drukken we – of we dat willen of niet – uit wie we zijn en hoe we tegenover die ander en de situatie staan. In de lichamelijkheid vinden we de oorsprong van de taal als uitdrukkingsmiddel en communicatiemiddel. De mens heeft beheersing over de onmiddellijke symbolische ‘senso-motorische uitdrukkingsbewegingen’ (Jan Peters, Metaphysica, 133c) waardoor deze worden tot in vrijheid gestelde tekens waarmee hij zich tot de ander kan wenden. De tegenstelling tussen de taligheid en de lichamelijkheid van het mens-zijn die Peter Sloterdijk in een reactie op Heidegger’s Brief over het Humanisme opperde lijkt dus nogal oppervlakkig.

De mens heeft altijd aan zichzelf gewerkt om zich te verbeteren. “Om mens te worden”, zeggen sommige filosofen. Door sociale technieken, alfabetisering en opvoeding, door biotechnieken, het verbeteren van voedsel en leef-omstandigheden. Zouden we wellicht de mens kunnen verbeteren door te sleutelen aan zijn lichaam, waardoor ook de geestelijke vermogens van de mens en daarmee zijn gedrag kan worden verbeterd? Nu het menselijk genoom in kaart is gebracht kunnen we gaan kijken welke genen verantwoordelijk zijn voor welke lichamelijke en psychische ongewenste afwijkingen. Human enhancement technologie als toepassing van het genomics onderzoek ligt in het verschiet. Tegenstanders wijzen op de menselijke waardigheid. Poliopatienten en armoezaaiers hebben gewoon pech. Laat de natuur en het toeval zijn werk doen. In de ogen van de religieuze mens zijn het “de uitverkoren kinderen van God” die onze steun en aalmoes verdienen. Kunnen we straks de genen in ons genoom identificeren, die verantwoordelijk zijn voor onze intelligentie, voor de menselijke waardigheid, voor Francis Fukuyama’s factor X “the one essential human quality underneath that is worthy of a certain minimal level of respect”?

Descartes scheidde subject en object, en bedacht de rationele methode van het verstandelijk denken als techniek om de kloof over te steken en tot ware kennis te komen. Objectief is datgene wat verantwoord wordt door de methode, dat wat verschijnt voor en door het instrument. De wetenschap moet objectief zijn, dat wil zeggen dat haar resultaten gepresenteerd moeten worden als resultaat van een bepaalde methode. Voor Descartes was de wiskundig methode de ideale methode om tot kennis te komen. Veel wetenschappers delen die opvatting. Kennis die nog niet in de vorm van wiskundige en programmeerbare rekenmodellen kan worden gepresenteerd is nog niet echt wetenschappelijke kennis.

“Onder methode nu versta ik de zekere en gemakkelijke regels die zo zijn dat wie er exact aan voldaan heeft, niets onwaars ooit voor waar houdt. Zo iemand komt zonder enige nutteloze vermoeienis van het denken, maar door de wetenschap stapsgewijs voortdurend te vermeerderen, tot de ware kennis van al die dingen
waartoe hij in staat zal zijn.” (Descartes, Oeuvres de Descartes, vertaling Th. Oudemans, Echte Filosofie, p. 77).

Waartoe de moderne mens in staat is dat heeft de geschiedenis ons afdoende laten zien. We moeten aan ons zelf blijven werken, maar het wordt tijd de methodes en technieken eens kritisch te bekijken op hun menswaardigheid. De stand van de techniek dwingt ons daartoe. Daarbij lijkt het me goed ons te realiseren dat problemen van de techniek geen technische problemen zijn en dus niet door middel van dezelfde methodes en denkwijzen opgelost kunnen worden als die waardoor ze zijn ontstaan. De uitdaging is een manier te vinden die de techniek overleeft.

Bronnen

Darling, K. (2012). Extending legal protection to social robots. Will projecting emotions onto objects lead to an extension of limited legal rights to robotic companions? IEEE Spectrum.

Gunkel, D. J. (2012). The machine question: Critical perspectives on AI, robots and ethics. Cambridge, MA: MIT Press

Gunkel, D.J. (2017). Mind the Gap: Responsible Robotics and the Problem of Responsibility. Ethics and Information Technology, 2017.

Verbeek, P.-P. (2008). De grens van de mens. Over de relatie tussen mens en techniek. In: Technologie en mensbeeld. Annalen van het Thijmgenootschap, jrg. 96, dl. 3, 2008.

Verbeek, P.-P. (2011). De grens van de mens. Over techniek, ethiek en de menselijke natuur. Lemniscaat, 2011.

In Trouw van 19 mei 1992 stelde Prof. dr.ir. Egbert Schuurman, filosoof en Eerste-kamerlid voor de RPF en later Christen Unie, dat er een wezenlijk verschil is tussen de organische natuur en de anorganische natuur. Hij wilde daarmee een bijdrage leveren aan de discussie over de ethische vragen die de nieuwste methoden in de biotechnologie opwierpen. Het was de tijd waarin de Ziedende Bintjes, een door de inlichtingendienst als staatsgevaarlijk aangemerkte actiegroep, proefveldjes met door Wageningse onderzoekers met gen-technologie gemanipuleerde aardappelen op brute wijze omploegden. De Ziedende Bintjes vonden de biologische boeren aan hun zijde. Ook zij keerden zich net als de Genespotters tegen het onderzoek op het gebied van recombinant DNA-technologie, een gen-technologie waarmee we planten en dieren nieuwe eigenschappen kunnen geven. Een collega van Schuurman. Prof. Mol, bezette de eerste leerstoel voor onderzoek op dit gebied aan de Vrije Universiteit. Het is er niet bij gebleven. Knutselen aan het DNA is een populaire en economisch gezien interessante bezigheid.

Volgens de techniekfilosoof en ethicus Schuurman is biotechnologie het vormgeven aan de organische natuur. Daarmee overschrijdt de mens een morele grens. Grenzen zijn er echter om te verkennen en dat kun je het beste maar van twee kanten doen. De vraag is wat die grens eigenlijk is. Schuurmans maakt in zijn artikel niet duidelijk waarin de organische natuur dan “wezenlijk” verschilt van de anorganische natuur. En waarom zou dit verschil dan een ethische grens voor de technologie vastleggen? Het twijfelachtige argument dat hij geeft is dat biotechnologie tot verlies van diversiteit zou leiden. We zouden alleen nog maar één soort aardappelen in de supermarkt kunnen kopen. Namelijk die met de beste eigenschappen. En dat zou dan voor alle organische producten van de nieuwe technologie opgaan.

Het door Schuurman vastgestelde ‘wezenlijke’ verschil blijkt voor de chemicus te zitten in het al dan niet aanwezig zijn van koolstof in de bouwstenen van de stof waaruit het ‘natuurlijk’ element bestaat. Maar waarom zou een cel niet net zo goed ontleed en veranderd kunnen en mogen worden als een molecuul ? Voor de moderne gentechnoloog is het allemaal een kwestie van manipuleren van datastructuren en informatieoverdracht tussen structuren. Of dat nu een cel heet of een molecuul. Wat in elkaar zit kun je uit elkaar halen. En wat je uit elkaar kan halen kun je in nieuwe combinaties weer in elkaar knutselen.

De morele drempel die Schuurman probeerde op te werpen bleek niet bestand tegen de tentakels en de nieuwsgier van de technologie. Ook al is er wetgeving die gen-technologie probeert aan banden te leggen. Maar wetten zijn zelden bestand tegen de druk waarmee technologie en economisch belang ons behoeftige bestaan voortdrijft.

Dat bleek onlangs weer toen de Corona-pandemie vroeg om zo snel mogelijk een vaccin te ontwikkelen. Daarvoor is DNA-technologie nodig. Europese wetgeving stond dat echter in de weg. Maar nood breekt wet. Gezien de ernst van de situatie werd de Europese Wetgeving Genetisch Gemodificeerde Organismen aangepast. Een uitzondering op de beperkingen van het gen-technologisch onderzoek werd gemaakt voor het ontwikkelen van een vaccin tegen het coronavirus ter bestrijding van COVID19. Wie kan daar tegen zijn?

Het bloed kruipt waar het niet gaan kan. Techniek is te leuk om de werkelijkheid te laten voor wat het is. Bovendien, het kan immers altijd beter.

Student Bertrand Burgers presenteerde vorige maand op de Dutch Design Week zijn afstudeerproject, de Baby Builder, “a playful exploration of genetic engineering.” Daarmee kunnen aanstaande ouders hun eigen kind ontwerpen, nog voor het geboren wordt. Spelenderwijs de grens over.

“Ook mensen die naar eigen zeggen niets moeten hebben van gentechnieken, draaien toch aan de knoppen als ze daarmee hun kind gezonder en slimmer kunnen maken.” schrijft Willem Schoonen in een artikel in Trouw van 26-11-2020.

Wat moreel toelaatbaar is dat bepaalt niet de ethicus of de techniekfilosoof. Dat bepalen we met zijn allen. Moreel is wat mensen doen, niet wat ze vinden maar waar ze behoefte aan hebben. Daarbij gelden andere wetten. Bijvoorbeeld het principe van de mimetische begeerte van de filosoof René Girard.

De grondgedachte van de mimetische begeerte van René Girard is simpel:`De mens begeert wat anderen in zijn omgeving begeren.’

Of, zoals we in het Trouw artikel kunnen lezen:

“Ingrijpen in de natuur voelt voor veel mensen verkeerd, zegt een betrokken wetenschapper, maar als ze kans krijgen hun kind mooier en beter te maken kunnen ze de verleiding niet weerstaan. Alleen de gedachte al dat jij heel principieel niet modificeert, maar alle andere ouders wel…”

De techniek bepaalt wat mogelijk is, de mimetische begeerte bepaalt wat we mogen, dat wil zeggen wat we acceptabel vinden.

Harry Mulisch is dood. Daarmee is zijn sterfelijkheid wel bewezen. Mijn sterfelijkheid moet nog bewezen worden. Ik ben namelijk niet dood. Want als ik ben is mijn dood niet en als mijn dood is ben ik niet.

Deze week was dan eindelijk de uitspraak in de zaak Nicky Verstappen. Het was spannend. Wat zal het oordeel van de rechter zijn? Zou hij de verdachte Jos de B. schuldig verklaren aan de dood van de jongen? Ik was en ben er “heilig van overtuigd” dat Jos de B. schuldig is. Maar waar was hij precies schuldig aan? En hoe wist ik dat zo zeker? Ik ken die man immers helemaal niet. Wie kent hem eigenlijk wel? Behalve zijn advocaat Gerald Roethof. Ik ken alleen de verhalen uit de media. En hoe vaak zitten het volk en het gevoel er niet naast? Wij horen regelmatig over rechterlijke dwalingen. In de zaak Lucia de B. wisten ook heel veel mensen zeker te weten dat ze schuldig was aan de dood van wel zeven oudjes en een paar babies. Later bleek het bewijs niets waard te zijn. Een misrekening van een stelletje getuige “deskundigen” gesteund door foute statistische modellen. De rechter zal zich er wel voor willen hoeden dat de zaak zaak Nick Verstappen later in het archief rechterlijke dwalingen terecht komt. Het was allerminst zeker dat Jos de B. veroordeeld zou worden tot het door het OM ten laste gelegde. “Het kan alle kanten op gaan” sprak de verslaggeefster Saskia Belleman haar twijfels uit.

“De meeste mensen zullen wanneer ze de school hebben verlaten nooit meer een wiskundig bewijs onder ogen zien. Maar er is een ander soort van bewijzen. Ze komen voor in zaken waar bijna iedere volwassene vroeg of laat mee te maken krijgt. Sterker nog, voor sommige mensen zullen bewijzen van dit soort belangrijker zijn dan alle andere zaken in hun leven. Ik doel op de bewijzen die spelen in de rechtszaal, bewijzen zonder welke het recht inderdaad blind zou zijn.”

Schrijft L. Jonathan Cohen in de Introduction van The Probable and the Provable (1977/1991).

Wat een heerlijk en schoon vak is de wiskunde toch! De volstrekte zekerheid dat iets wel of niet het geval is. De bewijskracht van het zuivere denken in eenzinnige termen, zonder bijbedoelingen. Heerlijk vond ik het alleen op mijn zolderkamertje puzzelen op een bewijs. De vaste structuur van de problemen waarvoor een oplossing moest worden gevonden. Definities, gegeven, te bewijzen, bewijs. Vooral in de meetkunde ging het er vaak om de juiste hulplijn te vinden. Wanneer deze, na soms uren puzzelen, of een rondje lopen, gevonden was, was het zaak het bewijs in logische stappen uit te schrijven. En daaronder schreef je dan met gepaste trots deze opgave weer volbracht te hebben: QED, Quod Erat Demonstrandum, Hetgeen te bewijzen was. (of Q.E.D.D.E als het een erg lastig bewijs was). Geen speld tussen te krijgen. Ik behoor tot die weinige mensen waar Cohen het over heeft, die later zelf een stelling meende te moeten formuleren. Ik was er van overtuigd dat het klopte maar het heeft me zeker een jaar slapeloze nachten en veel hoofdpijn gekost voor ik tevreden was met een bewijs. Ik stuurde het op naar een tijdschrift (Theoretical Computer Science), niet omdat het belangrijk was, maar omdat ik er zo veel tijd aan besteed had. Tijd die anders verloren zou zijn (ik dacht toen dat dat bestond: verloren tijd). Ik heb twee jaar moeten wachten totdat de editor het manuscript met mijn bewijs (zo’n 12 pagina’s lang) goedkeurde. Hij was net verhuisd van de VS naar Parijs en er was een briefje van mijn promotor voor nodig met daarin de vraag of mijn bewijs misschien in een verhuisdoos was verdwenen. Wat een verschrikkelijk vak is het toch, die wiskunde!

Maar toch.

Calculemus! riep de rechtsgeleerde en wiskundige Gottfried Wilhelm Leibniz in de rechtszaal uit. Laten we uitrekenen wie er gelijk heeft. En hij ontwierp een taal waarin je zowel de door voor- en tegenstanders opgevoerde beweringen als de feiten kon uitschrijven. Met daarbij een getal dat aangaf hoe groot de kans werd geacht dat de beweringen waar zijn. Met behulp van een paar rekenregels kon dan worden uitgerekend welke kant het kwartje zal vallen. Die rekenregels had Leibniz van de geleerde Blaise Pascal, de regels van de kansrekening, een stukje wiskunde waar iedere student tegenwoordig mee lastig gevallen wordt. Omdat overal zoveel onzekerheid is.

Was het maar zo dat de rechter in de zaak Nicky Verstappen over een rekenmachine kon beschikken (een opvolger van de eerste door Leibniz ontwikkelde calculators) die met de zekerheid waarmee ik QED onder mijn bewijzen schreef een uitspraak doet: schuldig. Eventueel voorzien van een kans dat dat ook werkelijk zo is, een mate van geloof, zeg maar. Zo’n machine is er niet. Recentelijk hebben ook in Nederland nog een aantal AiO’s zich onder leiding van onder andere Prakken en van Koppen stukgebeten op het probleem: hoe kunnen we de rechters mechanische hulpmiddelen bieden, software pakketten, die ze kunnen gebruiken om tot een verantwoorde uitspraak te komen. Het heeft een aantal proefschriften opgeleverd. En eeuwige roem voor de promovendi. (zie het werk van Bex, Timmer en Vlek).

In The Probable and the Provable, het boek waaruit bovenstaand citaat komt legt de auteur uit waarom de redeneerregels van de kansrekening van Pascal niet de regels zijn die men in de rechtszaal hanteert en zou moeten hanteren. Peter van Koppen en Henry Prakken hebben vanuit weer andere hoeken overtuigend aangetoond dat de door de AiOs onderzochte methodes niet praktisch toepasbaar zijn. Conclusie?

Bewijzen en bewijzen is twee. De wiskunde is een prachtig vak, maar ze is niet toepasbaar in de weerbarstige praktijk van de rechtspraak. “There is always room for doubt”. Tegenwoordig maken we overal wiskundige modellen van waarmee we rekenen om tot besluiten te komen. In de economie, in de biologie, de virologie, de geneeskunde, voor de bestrijding van het corona virus. Maar ze werken geen van allen, of slechts tot op zekere hoogte. Waarom? Omdat het geen wiskunde is. Omdat ze niet de eeuwigheidswaarde hebben van de bewezen meetkundige stellingen. Omdat ze slechts hypothetische en geparametriseerde uitspraken kunnen opleveren. Als ons model en onze metingen kloppen dan zou het kunnen zijn dat. De werkelijkheid is veel te rijk en we moeten met argwaan luisteren naar de geleerden die de zaken simpel voorstellen. De Godsbewijzen zijn daarvan de meest aansprekende voorbeelden.

Neem Anselmus’ Godsbewijs. Dat gaat zo:

“De dwaas zei in zijn hart: er is geen God. Maar zelfs de dwaas zal moeten toegeven dat hij zich iets kan voorstellen zodat niets groter is dan dat iets. Maar als dat iets niet echt, maar alleen in het verstand bestaat, kunnen we ons iets nog groters voorstellen: namelijk iets dat óók nog bestaat. We hebben nu duidelijk een tegenspraak. Dus bestaat er echt iets zodat er niets groter gedacht kan worden. Dat iets noemen we God…”

Het citaat komt uit een artikel van een oud-studiegenoot de logicus en filosoof Albert Visser. Het artikel draagt de titel: Kunnen wij elke machine verslaan? Beschouwingen rondom Lucas’ Argument. Ik moet even uitleggen wat het argument van Lucas is en wat dit met het bewijs van het bestaan van God te maken heeft.

De wiskundige en logicus Kurt Gödel had wiskundig bewezen dat iedere voldoende rijke wiskundige theorie die consistent is ware beweringen bevat die niet bewijsbaar zijn binnen een zekere formeel model. De onvolledigheidstelling van de rekenkunde. Bovendien bewees hij dat “geen enkele interessante wiskundige theorie haar eigen consistentie kan bewijzen”. Je moet altijd erg voorzichtig zijn met het formuleren van wiskundige resultaten in alledaagse taal. Want de volgende stap is dat men uit die alledaagse formulering conclusies trekt onder verwijzing naar de wiskunde, terwijl die helemaal niet uit het wiskundige resultaat volgen.

Lucas beweerde dat we uit Gödel’s resultaten kunnen concluderen dat de mens dingen kan die uitstijgen boven het vermogen van de machine. Lucas richt zich tegen een bepaald -isme, het mechanisme. Deze opvatting heeft twee kanten. Enerzijds dat mensen machines zijn, of dat mechanische modellen adekwaat zijn voor het begrijpen van de menselijke psyche en gedrag. Anderzijds dat machines kunnen denken, bewustzijn hebben. Sommige aanhangers zijn van mening dat machines morele agenten zijn en dat intelligente robots derhalve rechten hebben die in wetten moeten worden vastgelegd. Kort gezegd komt Lucas’ Argument er dus op neer dat we uit de stellingen van Gödel (stellingen uit de metamathematica, de mathematische logica, een onderdeel van de wiskunde) mogen concluderen dat de mens geen machine is. Dat is om twee redenen een gewichtig resultaat.

Ten eerste, na Nietzsches’ “God is dood”-verklaring, nam de mens definitief de plaats over van het hoogste wezen in de hiërarchie van het Zijn. Deze dood-verklaring (waarmee volgens sommigen geenszins gezegd wilde zijn dat God niet bestaat) was het logische gevolg van de nieuwe filosofie die de mens als rationeel wezen boven alle andere zijnden hier op aarde verhief. Na Descartes, die God nog als bewijsstuk nodig meende te hebben, waren o.a. Leibniz en Pascal belangrijke vaandeldragers van deze nieuwe partij. Was het niet Blaise Pascal, de grondlegger van de kansrekening, die deze toepaste om een antwoord te geven op de vraag naar het bestaan van God? Waarmee hij het probleem of je moet geloven in God tot een beslissingsprobleem reduceerde. Exact dezelfde redeneerwijze waarmee we een epidemoloog recentelijk hoorden beargumenteren waarom het verstandiger is om voor vaccinatie tegen het Corona virus te besluiten (een modern beslissingsprobleem).

Ten tweede. Levert de wiskunde ons niet de meest zuivere waarheden op?

“Hoe mooi zou het niet zijn”, zegt Albert Visser, wanneer we overtuigend bewijs zouden kunnen leveren dat we tenminste in één opzicht beter zijn dan machines. Namelijk in het inzien van wiskundige waarheden.

Helaas, zo’n overtuigend bewijs levert Lucas argument ons niet. Het is net als met het Godsbewijs van Anselmus (en met al die andere klassieke Godsbewijzen evenzo) . Het heeft geen enkele overtuigingskracht voor ons. Ook al hebben we wellicht moeite om precies aan te geven waarom het geen bewijs is. Waarom overtuigt het niet? “Omdat ik de intuïtie heb dat zo’n soort stelling niet bewezen kan worden met zo’n simpel ‘logisch’ argument”. Albert Visser zou geen logicus zijn wanneer hij niet probeerde zijn intuïtie logisch te onderbouwen. Zijn conclusie is dat Lucas’ bewijs geen bewijs is, maar een drogreden. Ik bespaar u de details. Men leze het artikel zelf. Het is de moeite meer dan waard. Het gaat mij hier om Visser’s intuïtie: dat zo’n soort stelling, namelijk dat God bestaat of dat de mens een andere bestaanswijze heeft dan de machine, niet op een dergelijk simpele logische wijze bewezen kan worden. We hebben hier te maken met een onoverbrugbare kloof tussen twee totaal verschillende werelden. En daarmee kom ik terug bij de zaak Nicky Verstappen en het bewijzen in de rechtspraak.

De advocaat van Jos de B., Gerald Roethof, verklaarde direct na de uitspraak van de rechter (12 jaar gevangenis) in beroep te gaan. In zijn verdediging had hij al gepleit voor vrijspraak omdat er “geen enkel bewijs was” en dat herhaalde hij nog maar eens. De door de rechter aangevoerde gronden voor zijn conclusie dat Jos de B. schuldig is aan de dood van Nicky Verstappen berusten op speculatie. Zij hebben net als Anselmus’ argument of Lucas’ Argument geen kracht van bewijs. Maar een hard bewijs zoals dat door Roethof gevraagd wordt kan ook niet geleverd worden. En dat weet deze doorgewinterde rechtsgeleerde donders goed! Waarom kan zo’n bewijs niet geleverd worden? Precies om dezelfde redenen waarom Anselmus en Lucas ons niet konden overtuigen. Het soort stellingen waar het in de rechtspraak om gaat kan niet door middel van een simpele logica bewezen worden. Ook hier is sprake van een categorie-probleem. Hoe kan je bewijzen dat een verdachte de hand heeft gehad in de dood van iemand anders?

Helaas. De logica gebiedt ons te zeggen: dat kan niet. Zelfs getuigenverklaringen zijn geen harde bewijzen. Ook een bekentenis heeft niet de kracht van een bewijs. Wat wil Roethof dan? Een overtuigend bewijs en anders vrijspraak. Wat had hij moeten doen om mij ervan te overtuigen dat Jos de B onschuldig is? Natuurlijk, de verdachte hoeft zijn onschuld niet te bewijzen. Maar zal de verdacht die onschuldig is niet alles doen om te bewijzen dat hij onschuldig.

Als Jos de B. onschuldig is, dan had zijn advocaat zijn client geen beroep moeten laten doen op het zwijgrecht. Dan had hij de verdachte moeten adviseren zoveel mogelijk te verklaren wat zich precies heeft voorgedaan. Dan had hij met een goed verhaal moeten komen, een verhaal dat de conclusies uit het forensisch onderzoek (op basis van de gevonden DNA sporen) weerlegt dan wel verklaart. Roethof had zijn client moeten wijzen op de plicht die iedere burger heeft bij te dragen aan het onderzoek naar mogelijk misdrijf. In plaats van te blijven zwijgen. Het feit dat de verdachte dit heeft nagelaten samen met het forensisch materiaal maakt het zeer aannemelijk dat hij schuldig is. Een strikt bewijs is het niet. Dat bestaat zoals gezegd niet. De rechter stond en staat voor een lastig beslissingsprobleem: wat zijn de kansen en de gevolgen van een onjuiste beslissing? Niet alleen voor de verdachte, maar ook voor de geloofwaardigheid van de rechtspraak.

Een wiskundige bewijs van de correctheid van de uitspraak zal niet geleverd kunnen worden. Op computers kun je wel rekenen. Maar je kunt er niet op vertrouwen.

Bronnen

Albert Visser (1986/2004). Kunnen wij elke machine verslaan? Beschouwingen rondom Lucas’ Argument. Dit artikel verscheen in 1986 in de bundel Geest, Computers en Kunst, een uitgaven van de Stichting Grafiet. Een ‘licht verbeterde versie’ verscheen in 2004 en is op het internet makkelijk te vinden. Albert Visser studeerde eerst wiskunde aan de Technische Hogeschool Twente. Later in Utrecht. Hij was verbonden aan het Department of Philosophy van de Utrechtse universiteit.

Henry Prakken, Floris Bex, Anne en Ruth Mackor (2020).
Editors’ Review and Introduction: Models of Rational Proof in Criminal Law
Topics in cognitive science, november 2020. Dit is de Introductie van een boek van Henry Prakken en anderen over formele methodes in de rechtspraak. Prakken is computerwetenschapper gespecialiseerd in “AI and Law”.

Bex, F. (2011). Arguments, Stories and Criminal Evidence, a Formal Hybrid Theory.
Springer, Dordrecht, 2011.

L.J. Cohen (1977), The Probable and the Provable. Oxford University Press, 1977.

Grünwald, P. (2011). Over het bedrijven van statistiek in kansloze situaties. Voordracht Zwolle, 18 mei 2011. Dit gaat over de zaak Lucia de B.

Hacking, Ian (2006). The Emergence of Probability: a philosophical study of early ideas about probability, induction and statistical inference. Second Edition, Cambridge University Press, 2006.

Koppen, P.J. van (2011), Overtuigend Bewijs. Indammen van Rechterlijke Dwalingen. Amsterdam: Nieuw Amsterdam 2011. Van Koppen werkte ook mee aan een reconstructie van de Simonshaven moord volgens de scenario-methode.

R. Meester, M. Collins, R. Gill, and M. van Lambalgen (2007). On the (ab)use of
statistics in the legal case against the nurse Lucia de B. Law, Probability & Risk,
5(3-4):233–250, 2007.

Henry Prakken en Ronald Meester, Bayesiaanse analyses van complexe strafzaken door deskundigen. Betrouwbaar en zo ja: nuttig?

S.T. Timmer (2017). Designing and Understanding Forensic Bayesian Networks using Argumentation. PhD thesis, Universiteit Utrecht. SIKS Dissertation Series No. 2017-02, 2017.

C. S. Vlek (2016). When Stories and Numbers Meet in Court: Constructing and Explaining Bayesian Networks for Criminal Cases with Scenarios. PhD thesis, University of Groningen, Faculty of Mathematics and Natural Sciences, 2016.

“U zoekt een schuldige. Maar die zult u hier niet vinden!”

(De Directeur-Generaal tegenover het POK-tribunaal)

De POK verhoren, waarin de bij de kinderopvangtoeslagaffaire betrokken ambtenaren van onze overheidsinstituten worden verhoord, tonen ons wat werken is in onze door informatie- en communicatie-technologie beheerste samenleving. We zien agenten die ingezet worden en zich inzetten in netwerken waarbinnen zij informatiestromen besturen en door informatiestromen worden aangezet tot activiteiten waarin zich weer andere informatiestromen afspelen.

Deze processen spelen zich af in de door de Italiaanse filosoof Luciano Floridi beschreven Infosfeer. De Infosfeer is de wereld van nu, de wereld waarin wij leven, de wereld waarin alles niet alleen draait om informatie, maar waarin alles informatie is. Waarin ook de processen zelf gegevens zijn die weer door andere processen, en soms door de processen zelf, worden bewerkt. Een autonome in zichzelf gesloten wereld, waarin agenten en hun gedragingen implementaties zijn van wetten, regels, protocollen, rituelen en procedures. Waarin alles hoe dan ook functioneert. Maar waartoe?

Het kan heel lang duren voordat een schreeuw van buiten doordringt tot deze infosfeer. “Waar gaat dit eigenlijk over?” “Wat heeft dit te betekenen?”. “Wat is de zin van dit alles?” Wie goed luistert naar de POK-verhoren hoort soms een stem uit de door software geharnaste homunculussen oprijzen: “ik heb dat memo wel gezien maar ik zag toen niet wat het betekent”. Werd er dan niet gereflecteerd door de agenten? Jazeker wel. Zelfreflectie en herprogrammering door externe en interne ‘onafhankelijke’ evaluatiecommissies en werkgroepen is een belangrijk onderdeel van het werken in de infosfeer. Waar waren die zelfreflectieprocessen dan op gericht? Waar anders op dan op het beheersen van de complexiteit van de informatie-en communicatie tussen de processen. Er is immers niet anders! Wanneer alles structuur is wat is er dan anders dat het verschil maakt dan de complexiteit? In deze infosfeer is de burger een informatie-pakket, een vector van attribuut-waarde-paren, een instantie van een datastructuur binnen een omvattender datastructuur. “We waren allemaal heel erg druk met de ICT”. “En daar zullen we nog jaren mee bezig zijn.” Zegt de DG.

Als buitenstaander is het altijd makkelijk om een oordeel te hebben over wat zich in de wereld afspeelt. Vooral als we die wereld als ‘buiten’, beschouwen. Als we ons er buiten houden. De POK vertegenwoordigt de ethische kant. Ze probeert een morele inhoud te ontdekken, een morele agent met een geweten. Maar bestaat die wel in Floridi’s infosfeer? “U zoekt een schuldige”, zei één van de geïnterviewde DGs tegenover het tribunaal. “Die zult u hier niet vinden”. Inderdaad, binnen de infosfeer is er geen moraal. Omdat er niets van waarde is buiten de informatie, de documenten, de e-mailtjes en de memo’s.

De POK is onderdeel van dezelfde infosfeer. Het POK, dat zijn de politici, de programmeurs, de ontwerpers van het systeem, de makers van de wetten en regels, die door de agenten worden geïmplementeerd.

Gehoord de schreeuw van de burgers vraagt de POK zich af: “Wat hebben we vergeten in ons ontwerp?” Wat kan de POK anders opleveren dan weer een rapport dat na een mediagenieke presentatie in de directories van de Ministeries verdwijnt? Maar is er dan nog iets buiten deze sfeer waaraan we de kwaliteit van ons werken kunnen meten? Kan wellicht de filosofie, de wijsgeer, ons verder helpen?

De filosoof zegt tegen de software agenten: let op! het gaat uiteindelijk om… de mensen. Om de humaniteit. Maar wat is dat, anno 2020, humaniteit? Is zij bij de moderne ethici, zoals Floridi, in goede handen?

Ooit stonden ethiek en techniek op gespannen voet. Beide gaan over het vermogen. De techniek bepaalt in haar creativiteit wat mogelijk is. De ethiek wat we mogen. Om het maar eens op zijn Heideggeriaans uit te drukken. Experimentele wetenschap en techniek vormen de heersende macht in onze wereld van de economie. Om de strijd met de technologie te overleven heeft de ethiek zich als onderdeel van de technologie moeten presenteren. In plaats van te wijzen op de gevaren van recombinant DNA technologie of van sprekende sociale robots praat de moderne ethicus mee aan de tekentafel van nieuwe technologie. De ethicus houdt zich uitdrukkelijk bezig met het ontwerp van ‘morele technologie’. Technische artefacten zijn immers – of we het willen of niet – morele agenten. Anderzijds heeft de techniek om bruikbaar en persuasief te zijn zich een ‘menselijke gezicht’ aangemeten. Techniek moet mensen aanspreken. De techniek als motor van de economie verkoopt zich als dienst gericht op de door de neo-liberale politiek in stand gehouden behoeftige naar haar identiteitsprofiel zoekende burger. De moderne ethici bezetten de burelen van de EU en de Verenigde Naties waar ze mede de geldstromen naar nieuwe ICT projecten aansturen. Of ze zijn opgekocht door Amazon, Microsoft, Apple en Google waar zij op ethisch verantwoorde wijze, dat is: ‘uw privacy respecterend’, de behoeftige consument het profiel bieden waarnaar deze op zoek is.

De ethicus en techniekfilosoof Luciano Floridi bedient zich van de taal en het denken van de wetenschap. Wie met pek omgaat… Wil de wetenschap en de filosoof serieus worden genomen dan zal ze zich in mathematische modellen moeten uitdrukken. Zo ontwerpt de praktisch ingestelde ethicus ‘morele protocollen’ voor bijvoorbeeld de medici die hun triage in zwart gekleurde periodes met overbelaste IC-afdelingen van een moreel keurmerk willen voorzien. Nadat de protocollen door de ICT-ers zijn geïmplementeerd kan de huisarts door de parameter-waarden van zijn patient in te vullen in Het Ethisch Dashboard zien of deze nog voor verder behandeling in aanmerking komt en zo ja waar er nog een plaatsje vrij is.

Floridi heeft een antwoord gevonden op de metafysische vraag naar het Zijn. Het Zijn is de Infosfeer. Deze omvat het al. Inclusief al het mogelijke. Het mogelijk valt in dezelfde orde van het Zijn als het werkelijke. Informatie is immers alleen informatie in relatie tot wat mogelijk is. Informatie is de post-moderne oplossing van de scheiding tussen subject en object, tussen kenner en gekende, tussen vorm en inhoud. Deze scheiding is hèt kenmerk van de metafysica die aan het humanisme ten grondslag lag. Informatie heft dit onderscheid op. Het is zowel subject als object. Kenvorm en keninhoud vallen samen als in de wereld van de mathematiek. Het verschil tussen ware en niet ware informatie is gereduceerd tot het verschil tussen 0 en 1. Hun onderscheid is slechts formeel, gesteld. In de Infosfeer is alles zowel informatie als informatieproces. Ook die zijn wezenlijk niet te onderscheiden. In de Turing machine, (de Infosfeer is een het al omvattende Turing machine), zijn zowel operaties als gegevens reeksen van 0-en en 1-en.

Als ethicus ging Floridi op zoek naar de moraliteit binnen het Zijn, binnen deze Infosfeer. Geheel in de stijl van de technologie definieert hij en classificeert hij de dingen. Een morele agent is de bron van een morele actie. Of een morele actie goed of slecht is wordt bepaald door drempelwaardes van uitvoerparameters vast te leggen. Wie legt deze vast? Het is de programmeur. Binnen het netwerk van (software) agenten kan bepaald worden (eventueel door zelf-lerende programma’s) welke acties goed en slecht zijn en welke software agenten daarvan als actor aansprakelijk zijn. Het zijn meetbare zaken. Maar verantwoordelijkheid is meer dan aansprakelijkheid. Om een agent als verantwoordelijk te zien moet deze een intentie hebben. Intenties verwijzen echter naar een interne toestand. Iets dat achter de zichtbare, leesbare, observaties zou moeten bestaan. De POK zoekt naar de intenties achter de mechanische processen. “Waar ging het nu eigenlijk om?”.

Op zoek naar de verantwoordelijkheid komt Floridi uit bij de programmeurs, bij degenen die de wetten en de regels maken. Daar moet toch uiteindelijk een besef van de zin van het hele gedoe te vinden zijn. Maar wie is de programmeur? Dat is een agent in een ICT organisatie, een complex netwerk van agenten die, gebruikmakend van bestaande infrastructuren en softwaremodules volgens softwareontwikkelprotocollen werken aan oplossingen van problemen waarvan de specificaties door niemand volledig wordt overzien. Ook daar lost de verantwoordelijkheid weer volledig op in de Infosfeer.

De conclusie moet zijn dat moraliteit en verantwoordelijkheid niet binnen de infosfeer te vinden zijn. Zij liggen buiten de sfeer van de technologie. Het probleem van de verantwoordelijkheid is het probleem van de technologie en is als zodanig niet door het technologisch denken op te lossen. In die zin is het geen oplosbaar probleem. Misschien moeten we anders tegen ons werk aan kijken?

De technologie moet dienstbaar zijn aan de mens om techniek te zijn. Zei de techniekfilosoof De Bruin ooit in een vergeten verleden. Niet aan de economie of aan de politiek, maar aan de mens. De Belastingdienst moet dienstbaar zijn aan de burger niet in de eerste plaats aan de economie of de politiek. Pas wanneer de in de Infosfeer functionerende agent de burger in het zicht krijgt ziet hij dat deze meer is dan die instantie van een datastructuur die hij in de Infosfeer is. I am not a value of a variable. “Ik ben niet een waarde van een variabele”, zei de filosoof, wiskundige en computerwetenschapper Hilary Putnam. Ik ook niet.

Laten we ondertussen het democratisch ideaal niet vergeten. Het ideaal volgens welke het volk zelf bepaalt wie de overheid is en wat die moet doen om haar te dienen. Het tegenover elkaar plaatsen van burger en overheid is funest voor de democratie. De agent van de belastingdienst is ook een (groot)vader of (groot)moeder. Het virus van de technologie, dat rondwaart in Floridi’s Infosfeer, zit zowel in de hoofden van de gedupeerde ouders als in de hoofden van onze ambtenaren en politici.

Misschien kan de POK een bijdrage leveren aan de bestrijding van dàt virus.

In Enschede was een politieagent die tijdens het verhoor van een verdachte, waarvan hij op grond van zijn door jarenlange ervaring opgebouwde intuïtie bij voorbaat al wist dat deze schuldig was, een dikke sigaar opstak die de verhoorruimte binnen de kortste keren met een dikke blauwe walm vulde. De verdachte hield het in de verstikkende sigarenlucht nooit lang uit. Binnen een half uur stond deze hoestend en half stikkend op en spoedde zich naar de deur die hij open smeet, de agent naroepend: “ik beken, ik beken alles”.

Renske Leijten steekt tijdens de zittingen van de Parlementaire ondervragingscommissie Kinderopvangtoeslag (POK) geen walmende sigaar op, maar verder heeft haar optreden, haar wijze van ondervragen, alles van een politieverhoor (nu vaak interview genoemd). Ze confronteert de geinterviewde met uitspraken die eerder door hem of haar of door anderen in de zaak gedaan zijn, altijd met verwijzing naar documenten. Of ze confronteert de verhoorde met een: “maar als zus en zo het geval is is het dan niet heel erg merkwaardig dat zus en zo?” alsof ze de verhoorde wil wijzen op een inconsistentie in het beeld dat deze schetst. En is een inconsistentie niet bij uitstek een teken dat er met de waarheid een loopje wordt genomen?

Natuurlijk, het doel van de commissie POK is niet om verdachten te verhoren met als doel een proces verbaal op te stellen die eventueel tot een gang naar de rechter leidt. Waar het de POK om te doen is is inzicht te krijgen in de mechanismen die hebben geleid tot de ontstellende malaise van vele honderden gezinnen die door toedoen van de Belastingdienst, afdeling Toeslagen, in diepe financiële, emotionele en sociale ellende zijn gestort.

Voor het tribunaal verschijnen hoge ambtenaren (DG’s, huidige en oud-directeuren generaal) van de Belastingdienst en van de betrokken Ministeries (Financiën en Sociale Zaken, SZW) en politici. De politici die verhoord worden zijn collega-kamerleden van de POK of partijgenoten die in het huidige kabinet Rutte III zitten. Het onderzoek van de POK bestrijkt een periode van zo’n 10 jaar, zeg maar de drie kabinetsperiodes van Rutte. Het kabinet Rutte I (CDA en VVD) trad aan in oktober 2010 en zag als een belangrijke taak het saneren van de overheidsuitgaven. De POK zal ongetwijfeld willen weten hoe deze taakstelling doorgewerkt heeft op de uitvoering van de afdeling toeslagen van de Belastingdienst.

De vraag van de POK richt zich op de schijnbare gewetenloosheid van de wijze waarop de afdeling Toeslagen handelde, Een handelwijze waarvan willoze burgers beticht van fraude, het slachtoffer werden. Hoe zit dat met het geweten van de afdeling? Heeft deze wel een geweten? De vraag werd dan ook herhaaldelijk aan de leden die gehoord werden gesteld: Wat wist u van wat er speelde? En wat hebt u daarmee gedaan? De antwoorden op de vraag naar het geweten varieert: “ik wist het niet”, “het was mijn taak niet”, “ik was op dat moment druk met andere zaken”, “ik was toen niet in goede doen”, “ik heb het wel geweten, maar ik zag toen niet het gewicht ervan in.” Ook waren er die wel wisten wat er gebeurde, maar die konden naar eigen zeggen niets aan de situatie veranderen. Sommige verhoorden zeggen spijt te hebben het wel geweten te hebben maar er niet aan te hebben kunnen doen en verlaten met tranen in de ogen de zaal. De macht ligt bij de anderen. Bij de wetgever. Het Proces (“Ik kan niet anders dan wijzen naar Het Proces zei de advocaat”). Ik voer de wet uit, zei de DG. “U vraagt mij toch niet de wet niet uit te voeren.” ?

Het geweten is een lastige zaak. Het maakt het leven er niet makkelijker op. Ik spreek uit ervaring. Ik ontdekte op een gegeven moment dat ik een geweten heb. Ik weet niet of het met mijn opvoeding te maken heeft (mijn ouders waren katholiek en namen ons mee naar de kerk.) Ik moest van de wet in Militaire Dienst. Het geweten weigerde. Ik schreef een brief waarom mijn geweten me zei dat ik niet mee moest doen aan het voeren van oorlog in en tegen andere landen. Ik moest bij psychiater Hanrath in Den Haag komen voor een gesprek. Die moest checken of mijn geweten zuiver was of dat ik gek was. Hij keurde het geweten goed. In zijn verslag aan het Ministerie van Defensie omschreef hij mij als nerveus en intelligent. De erfelijkheidsdeskundige en antropoloog Josef Mengele was ook intelligent (en katholiek opgevoed). Maar voor zover mij bekend niet nerveus. Integendeel (Men leze ‘t Hooge Nest over de praktijk van deze Engel des doods). Misschien heeft geweten iets met nervositeit te maken?

Dat het geweten daarmee niet uitgewerkt was bleek wel toen ik werd tewerkgesteld bij het Arbeidsbureau in Enschede. Het arbeidsbureau was de instantie waar men zich aan moest melden als werkzoekende om een uitkering te krijgen. Ik werkte in het archief, waar ik stamkaarten moest bijwerken van mensen die zich beneden aan het loket meldden. Aantekeningen die beneden door de lokettist werden gemaakt moest ik overnemen op hun stamkaart. Tegenwoordig zou je achter een beeldscherm zitten, maar dit ging nog met de hand: bakje in, bakje uit. Er waren echter opmerkingen bij als “Turk, staat constant kauwend voor je”. Of: “maakt niet de indruk werkt te zoeken.” Ik vond het niet relevant deze op de stamkaart in het archief over te nemen. Op een dag moest ik bij de heer Hofman, de directeur, komen. Ik werd vanwege mijn weigerachtige houding ontslagen. Ik moest mij melden in Den Haag bij het Ministerie. Met schoon ondergoed en een tandenborstel. Ik wist wat mij te wachten stond en ging niet. In plaats daarvan meldde ik mij ziek. Via bemiddeling van het IKV, die steun bood aan dienstweigeraars, ontkwam ik aan het gevang en taakstraffen zoals het aanharken van de tuin van de Minister, zoals het verhaal toen ging.

Jaren later vroeg ik bij het UWV (soort opvolger van het Arbeidsbureau) een uitdraai op van mijn arbeidsverleden. Daarop stond tot mijn verbazing dat ik een paar jaar bij het Ministerie van Defensie werkte. Dat klopt niet, want als erkend gewetensbezwaarde militaire dienst ging je dossier over naar het Ministerie van Sociale Zaken. Ik stuurde een brief naar de betreffende instanties of men dit recht wilde zetten. De UWV meldde dat ze deze informatie van Defensie kregen. Ik hecht er aan dat ik niet bij Defensie heb gewerkt en verzocht Defensie dit te corrigeren. Ik heb de brief die ik destijds van Sociale Zaken ontving als bewijsstuk bijgevoegd. Men zou er naar kijken. Tot nu toe geen reactie. Dat is ondertussen zo’n 5 jaar geleden.

Ik neem aan dat men druk was met belangrijker zaken. Met het onderzoek naar gesjoemel met de kinderopslagtoeslag door malafide facilitators.

Voor de slachtoffers, de ouders die in diepe ellende zijn gestort is de POK niet meer dan een onderdeel van het hele politieke en bestuurlijke proces, het spel dat over hun hoofden wordt gespeeld. De meesten moeten misschien nog wel een jaar wachten voordat ze eindelijk het geld waar ze recht op hebben terug krijgen. Terwijl er al miljoenen uitgegeven zijn aan externe adviseurs en analisten. De één zijn dood is de ander zijn brood. En wat zal de POK opleveren? Anders dan een rapport dat ergens onder in een la verdwijnt en dat wellicht door een toekomstige commissie nog eens wordt opgeduikeld als de volgende misstand zich voordoet.

De ellende met de Instituties en de Systemen is een gevolg van een ontwerpfout. We zijn vergeten de ziel in te bouwen. De machine is zielloos en zonder ziel is er geen geweten en lost alles op in de software van de politiek.

Daar zit hij dan, oud-directeur Blokpoel, de personificatie van de onneembare veste die de Belastingdienst is. Als een onaantastbaar vorst zit hij daar. Voordat hij zijn weloverwogen beelden schetst in antwoord op de vragen van “het tribunaal” (zie voetnoot) rolt hij met zijn ogen en kijkt hij steevast even naar het plafond: welk beeld kan ik hier het beste schetsen?

Over zijn rol zegt hij: ik was de huisbaas.

Het tribunaal: Wij hebben in ons dossier verschillende afschriften van e-mails van huurders waarin zij klagen over lekkage, over verstopte afvoeren, over geluidsoverlast, een verwarming die het niet doet. Wat hebt u met deze klachten gedaan?

Blokpoel: rolt met de ogen, kijkt naar het plafond alsof hij zich iets probeert te herinneren en zegt: “Daar kan ik me niets van herinneren.”

De huisbaas beperkte zich tot het innen van de huur en het uitzetten van wanbetalers. Het realiseren van het businessmodel, de wet. “U vraagt mij toch niet om de wet niet uit te voeren?”.

Over zijn buikpijn. De baas zegt dat hij buikpijn had toen hij hoorde van de ellendige omstandigheden waarin de klanten door toedoen van zijn dienst terecht kwamen.

Het tribunaal: Kunt u iets meer vertellen over die buikpijn, want dat zit ons dwars. Ging dat gepaard met oprispingen, zuurbranden, diarree wellicht? Bent u ermee naar de huisarts gegaan?

Blokpoel: Kijkt naar het plafond en vervolgens recht in de ogen van de vragensteller: “Ik heb daar regelmatig overleg over gehad met de DG en met diverse experts. Ja dus.”

Het tribunaal: En wat voor actie werd er toen ondernomen?

Blokpoel: Kijkt naar het plafond en na een lang stilzwijgen: “Dat moet u aan de experts vragen. Ik heb daar geen herinnering van.”

Het tribunaal: U hebt daar geen verslag van gezien?

Blokpoel: “Ik heb daar geen verslag van gezien.”

Het tribunaal: Wij hebben in ons archief diverse verslagen gevonden van deze overleggen.

Blokpoel: Kijkt naar het plafond en terug naar de vragensteller. “In mijn beeld heb ik daar geen verslag van gezien. Ik heb wel eens een verslag gezien, maar van dit specifieke geval niet. Nee.”

Over de herinnering.

Het tribunaal: Iedereen heeft recht op zijn eigen beeld van de werkelijkheid. Kunt u zich nog herinneren wat de hoogte van uw salaris was als directeur?

Blokpoel: “Nee. Ik keek nooit naar mijn salarisstrookje. Ik had het volste vertrouwen in mijn werkgever.”

Het tribunaal: Kunt u zich nog herinneren wat uw taakomschrijving was?

Blokpoel: Kijkt naar het plafond. “Zoals ik al zei: ik was huisbaas.”

Het tribunaal: Een huisbaas met buikpijn.

Blokpoel: “Een huisbaas met buikpijn, ja.”

Het tribunaal: En niemand die er iets aan kon doen.

Blokpoel: “Nee, kennelijk niet.” (glimlacht).

Het tribunaal: Wij voelen met u mee. Bedankt dat u uw beelden en uw pijn met ons hebt willen delen.

Blokpoel: “Graag gedaan. Krijg ik nog even een verslag?”

Noot: Waar in bovenstaande staat het tribunaal, leze men Parlementaire ondervragingscommissie Kinderopvangtoeslag. De vragen werden gesteld door de leden Tom van der Lee en Renske Leijten. Voor de opdracht van de commissie en voor het verhoor van de heer Blokpoel zie de website van de Tweede Kamer commissie. Ik geef hier mijn beeld van het verhoor. Voor het vormen van uw eigen beeld moet u zelf de opname bekijken.

Some thoughts about responsible AI.

“Can machines be held responsible for actions that affect human beings? What limitations, if any, should guide autonomous decision making by artificial intelligence systems, computers, or robots? Is it possible to program such mechanisms with an appropriate sense of right and wrong? What moral responsibilities would these machines have to us, and what responsibilities might we have to such ethically minded machines?” (David Gunkel, The Machine Question).

Is a so called ‘autonomous’ car responsible for the damage it causes in an accident? Is the physician responsible for the wrong medication he prescribed to his patient when he followed (or did not follow) the outcome of his medical expert system? Should we allow the use of autonomous unmanned flying weapon systems (aka killer robots) and who is responsible for the actions they take in the battle field?

In answer to these questions about the moral agency of artefacts Bryson (2018) concludes that constructing AI systems as either moral agents or moral patients is possible. However, she concludes, they neither are desirable. The reason for her opinion is a rather formal one: “we are unlikely to construct a coherent ethics in which it is ethical to afford AI moral subjectivity.”

She concludes with the rather cryptic: “We are therefore obliged not to build AI we are obliged to.”.

What does Bryson mean by constructing AI systems as moral agents is possible? How is this possible and what does she mean by ‘constructing systems as moral agents‘? Is that meant in a technical sense (machine ethics) or in a social sense? Or both? (Some people talk to trees and listen to what they have to say. I can imagine a community in which this is common practice.)

A term that circles in some ethical arenas is ‘responsible AI’. I have seen EU reports in which they talk about AI as a kind of legal subjects. I worked for almost forty years on the development of natural language dialogue systems, embodied conversational agents, but I never saw them as a kind of person, moral subjects. Virtual humans are really not humans. ‘Social robots’ can press our ‘Darwinian buttons’ but does that make them social intelligent? What is going on? People seem to be confused by language. Can you study Artificial Intelligence (take Russell and Norvig, still one of the best on the subject) and believe that we (by means of AI) can make a person? In the 80s Pugwash, a modern sort of luddites, objected against the development of machines that could produce natural speech. They found it immoral because that would be misleading people: as if a machine knows and means what it says. Was what I was doing immoral? Was I involved in a project aiming at immoral creatures?Working on human computer interaction you know that talking machines do only work properly when the user experiences that the machine ‘means what it says’. AI is pretending being intelligent. Without pretense it wouldn’t work.

In a recent tweet Joanna Bryson said about the term ‘responsible AI’ that “I never usually use the term (I prefer “responsible use of AI”), but if you need to… (1 minute read)” She refers to a blog post of hers. There she writes:

I actually hate the term “responsible AI” because obviously it sounds to most people like the AI itself is responsible. But if you’re going to use the phrase anyway…

“Responsible AI is not a subset of AI. Responsible AI is a set of practices that ensure that we can maintain human responsibility for our endeavours despite the fact we have introduced technologies that might allow us to obfuscate lines of accountability.”

I completely agree. (Note: P.P. Verbeek says technology blurs the borders of what is human.)

But I asked: what about ‘intelligent machines’ then? Isn’t that also a term that we shouldn’t use? She said

“If we use the definition of “intelligence” developed in the 19C to answer “which animals are more intelligent”, then intelligence is generating action from context (doing the right thing at the right time.) So thermostats & plants are intelligent by this def.”

Is a thermostat responsible for what it does? I asked. In my opinion it is not possible to have in reality separate intelligent acting without responsible acting. Of course we can distinguish the intelligent and the moral aspects of acts. But in reality they do not occur alone: if you have intelligence you have morality as well and vice versa.

In answer to that Bryson replied:

“Yes. Cf. the papers. It’s not intelligence we care about, it’s not agency, it’s MORAL agency, who is responsible. If you make “intelligence” do too much duty, you can’t talk about the components of responsibility. Longer:” [follows a reference to her 2018 paper that I tried to understand]

“But anyway, if when you say “intelligence” you mean “moral agent” then you can’t separate intelligence from responsibility by definition. Again, that’s not getting into moral trouble, that’s just incoherence. That’s why I advised using the simple definition.”

“Sorry, no. As soon as we separate responsibility from humans we run into all kinds of problems, whether you want to call them moral or not. Here’s another paper if you’re done with the previous one”

[a reference to a paper from 2017: Of, for, and by the people: the legal lacuna of synthetic persons.]

David Gunkel added that he liked Bryson’s answer and gave another reference to read.

“Correct. And in the interest of carefully parsing the terminology, I can recommend Paul Ricœur’s remarkably insightful essay on the subject: “The Concept of Responsibility: An Essay in Semantic Analysis.” “

So it’s all about terminology and definitions. It’s all about language use, I thought.

“… doing the right thing at the right time”. What does that mean when we talk about what a thermostat does? Who decides what is “the right thing”?

Let me see. I started to read the recommended papers.

These are my thoughts about ‘intelligent’ and ‘moral’ artefacts.

Ethics is about those situations where people ask each other why do you do this? This is the question after the values that count and the way we weigh the values involved when we decide to act. People use norms related to an order of values. Values and norms are socially accepted moral measures, e.g.: be honest, be fair, be reliable, be respectful, have compassion towards others.

Descriptive ethics describes in what situations people ask each other why they do the things they do and when the response leads to acceptance or not. There is no instance outside a community that decides what values the members of a community will care for. This doesn’t deny the fact that some people in some communities say that there is some authority that tells them what is right or wrong. Religious as well as theological opinions are part of ethical practices. Some people have power over others.

There are conflicts. Not all members in a community agree on all values, on what is best to do. Not all communities agree that making an end to someone’s life is not a good thing to do.

Bryson writes her study concerns normative and descriptive ethics.

Normative ethics is the study of ethical behavior, and is the branch of philosophical ethics that investigates the questions that arise regarding how one ought to act, in a moral sense.

Normative ethics is distinct from descriptive ethics, as the latter is an empirical investigation of people’s moral beliefs. In this context normative ethics is sometimes called prescriptive, as opposed to descriptive ethics.

So she not only discusses conditions for ethics as a social construct, but she presents her own opinion about what she values as a personal contribution to that social construct.

Regarding responsibility we should at least distinguish two notions of responsibility: retrospective and prospective, respectively called ex post and ex ante responsibility by Dieter Birnbacher (2001). The first I would call accountability.

Responsibility is a social category. You are responsive towards others that ask you why. People hold other people responsible for what they do. If someone wants to be taken seriously by others as a person he should take responsibility for his actions. Acting responsible is something that people strive for. Sometimes we do not succeed in that. That doesn’t make us less moral.

When we ask someone why he does what he does, we take him for someone that in principle can give a reason for his action (we take him as a person in a Kantian sense). We take it that what he does is not caused by some external cause. Because he is mentally ill for example, or forced by some external force. The why question is about his or her behavior in as far as it is under his or her control. That is a difficult notion. In how far are we autonomous actors? Isn’t what we do always determined by physical, social and cultural determinants? Yes, but we can also have influence on these determinants. We can take a stance towards rituals and cultural norms. But there are limits. We can’t be at two different places at the same time.

“The conditions that must be met for ex ante responsibility to be imputed to an agent or group of agents include once again that the necessary conditions of voluntary action must be met. Further, the relevant agents must have the capacity to do what is called for. They must have the intelligence to understand the future consequences of their actions and have the requisite information.” ( Stan van Hooft in Ricoeur on Responsibility).

We should be carefull not to confuse having a free will with freedom of choice. Offering someone to choose between this or that doesn’t make him or her free.

Of course we are never completely sure about the consequences of our decisions and the things we do. We should do our best. This is a moral expression. Why should we do our best? How do we know what is good or best? We might be able to tell what a good painter is. But what is a good man? Isn’t that abuse of language as Wittgenstein convincingly shows in his Lecture on Ethics.

We consider someone a good painter because of the aesthetics of his paintings. It doesn’t mean all his works are as good as the best. We call a man good when his deeds are good. Aesthetics and ethics are alike: there is no mathematics for it.

Being responsible is a virtue. It means taking care for valuable things. Other persons in particular. And one self, the most familiar other. (cf. Paul Ricoeur). Responsibility is not something we can hand over to someone else. It sticks like chewing gum. A care robot cannot take over our responsibility for the patient.

Joanne Bryson (2018) argues that “the core of all ethics is a negotiated or discovered equilibrium that creates and perpetuates a society”.

“The descriptive argument of this article is that integrating a new capacity like artificial intelligence (AI) into our moral systems is an act of normative, not descriptive, ethics. Contrary to the claims of much previous philosophy of AI ethics (see e.g. Gunkel and Bryson 2014), there is no necessary or predetermined position for AI in our society. This is because both AI and ethical frameworks are artefacts of our societies, and therefore subject to human control.”

and

“the moral status of robots and other AI systems is a choice, not a necessity.”

“The responsibility for any moral action taken by an artefact should therefore be
attributed to its owner or operator, or in case of malfunctions to its manufacturer, just as with conventional artefacts”.

I think I agree with her on this.

“I intend to use here only the formal philosophical term moral agent to mean “something deemed responsible by a society for its actions,” only moral patient to mean “something a society deems itself responsible for preserving the well being of,” and moral subjects to be all moral agents or moral patients recognised by a society.”

Now, about intelligent machines.

“When I talk about something as intelligent, I mean only that it can detect contexts appropriate for expressing one of an available suite of actions.” (Bryson)

Is a machine able to detect contexts appropriate for expression some action? What do we mean by that?

The problem is language use. We use ‘intelligence’ in multiple senses. An intelligent machine we call ‘intelligent’ but not in the same sense as we use it in ‘intelligent man’. Just like a formal ‘language’ is a different ‘language’ than a natural ‘language’ or a programming ‘language’. There is a subordinate relation between these uses. (It is not ambiguity.) When we say that a stone falling is computing the speed it has with which it hits the ground, we realize that it is a different language use then when we say that I compute the speed of the stone when it hits the ground. But we can use the falling stone to compute the outcome of the computation I make because and as far as the mathematics I use is according the physical laws of the falling stone. So it makes sense then to say that the falling stone computes the outcome of the mathematical formula (‘sort of computes’ D.C. Dennett would say). But there is a whole historical intellectual development in between the two senses (see about the development of the technical idea Jan Hollak: Hegel, Marx en de cybernetica, or Van Causa sui tot automatie) and a complex historical and technological development before we could say and make people believe that a computer thinks and does something useful by doing that. Making machines work is not only a technical enterprise, it is a social (and moral) enterprise too. We cannot design acceptance in a technical way.

We should not forget what is behind this language use. A logical circuit is a logical circuit only because we built it so that it can be seen as representing a Boolean algebraic relation between input and output signals. The logical “if then” circuit is the objective form of the self-reflection of the experimental stance we take towards nature. Technology is the other side of experimental science. When experiments show that If I do A then nature does B then if I want B I can bring that about by doing A.

(Reading D.C. Dennett explanation of how a computer works, I wonder if he sees how it ‘works’. You simply cannot explain how it works the way he does it, by spelling out how a Turing machine or register machine functions.

When Jacques Derrida writes “I thought I would never manage to submit to the rules of a machine that basically I understand nothing about. I know how to make it work (more or less) but i don’t know how it works.”, he expresses being aware of the two different senses of ‘work’ when we describe what a machine does. (From: Paper Machine, Standford University Press, 2005)

Wittgenstein said that we can’t explain the difference between robot and man and that this is not because there is no difference, but because of the limitation of our language. “Tell me what a machine can’t do and I make it doing it.” people say when you tell them machines can’t do everything that humans do. )

“Artificial intelligence (AI) has proven to be superior to human decision-making in certain areas.” (Henrik Skaug Sætra, 2020, in a paper about algorithmic governance). Similar expressions about the performance of intelligent computers compared with human performance can be found in many scientific papers as well as in popular media. Computer are better in recognizing emotions than humans. If we believe the newspapers.

If we say that a machine can perform some task better than humans we should realize the multiple senses in language use. Machine performance isn’t the same as human performance. When we say a machine cleans cloths better than we can, we should be aware that we use the machine, our invention, to wash our cloths. It is not different from saying that washing cloths with two hands and warm floating water is better than with one hand in a bucket with cold water. And then that the warm water better washes our cloths than we do. Of course we make clever use of properties we discovered that nature affords. That is what technology always is.

Computing is what is done mechanically by nature. Therefore every task that we want to be done by a machine itself must first be modelled in a computational way. Before we could built a machine that performs mathematics we had to mathematize doing mathematical calculations (meta-mathematics). (The falling stone can only perform one type of computation for us. Not all possible ones. We need a Turing machine for that. And, as Luciano Floridi rightly observes, we need to see functions as arguments of functions.)

The same holds for ‘behaviors’. ‘Socially behaving’ robots are only possible when we have identified ‘behaviors’, abstract from the person behaving. (See the Introduction of Erving Goffman, Interaction Rituals: essays on face-to-face behavior (1967)) .

What are the minimal requirement for an agent so that he can take part in a social encounter “and have an orderly traffic of behavior emerge.”? Goffman asks in Replies and Responses. Reading Goffman you never know whether he is talking about humans or artificial agents. It simply doesn’t matter, because of the abstract subject he focuses on:

“Not then men and their moments. Rather moments and their men.”

Like we abstract words and sentences and propositions from people speaking and expressing themselves and their opinions, we abstract ‘behaviors’ from the human bodies and project them on robots. And it works when people recognize the behaviors as meaningful. Read Frans de Waal’s report about his experience when he encountered Hiroshi Ishiguro’s humanoids (Bezoek aan de Griezelvallei, Psychologie Magazine). By simulating the way apes and children turn their heads and gaze when someone points at something, the same emotion is generated. Technology makes clever use of natural laws. Not only of the laws of physics.

The speaking robot is not speaking in the same sense as the person speaking. If we don’t see that we run into questions like who is speaking? As if there is always a speaker when there are sounds heard that sound like someone is speaking. It’s just the illusion of someone presence. An image. (Read Heidegger’s essay Hebel, der Hausfreund about what the ‘Sprachmachine’ tells us about what happened with Sprache.) Research in persuasive technology has shown that a picture of someone ‘looking at you’ may already have influence on your behavior.

There was a guy in the US that said a lot of things on twitter that were simply not true. He uses a basic quality of a human invention: language: the possibility to say things that does not refer at all. Talking about “How to do things with words” we use language as providing building blocks for technically creating virtual worlds.

AI works, talking machines work, they are useful, because they suggest to talk, to compute, to be intelligent. If we don’t take them seriously they stop being useful.

Bryson mentions an ethical principle that says that “robots should not have deceptive appearance—they should not fool people into thinking they are similar to empathy deserving moral patients.” But how can we prevent that some people will forget that it’s just a machine. The social robot’s working is based on deception.

The thermostat does not decide in the same sense as a human being decides. The social intelligence of a social care robot that refuses to set the thermostat higher after a request of the elderly with the words “what about going for a walk if you’re cold?” or the search engine that filters the news based on the user profile, or the autonomous weapon system that ‘decides’ to fire when detecting a bomb shell (after deliberating the appropriateness of such an action, the chances for collateral damage, etc.), they have been programmed by us to act this way. The fact that they have been made to ‘learn’ from experiences and that it becomes hard to predict what they will do in particular situations doesn’t mean they are more human, more moral.

Notice that these ‘agents’ perform ‘moral actions’ in the sense defined by Bryson, i.e. they satisfy the following:

1. There is a particular behavioral context that affords more than one possible action for that agent.
2. At least one available action is considered by a society to be more socially beneficial than the other options, and
3. The agent is able to recognize which action is socially beneficial—or at least socially sanctioned—and act on this information.

Bryson claims that we “can certainly build AI to take moral actions”.

“But this in itself does not determine moral agency. The question is, who would be responsible for those actions? An agent that takes a moral action is not necessarily
the moral agent—not necessarily the or even a locus of responsibility for that action. A robot, a child, a pet, even a plant or the wind might be an agent that alters some aspect of an environment. Children, pets, and robots may know
they could have done ‘better.’ We can expect the assignment of responsibility for moral acts by intelligent artefacts to be similarly subject to debate and variation. Moral responsibility is only attributed to those a moral community has recognised as being in a position of responsibility.

“Should we produce a product to be a moral agent?” Bryson asks.

“Would it be moral for us to construct a machine that would of its own volition choose any but the most moral action?”

Who is ‘we’? We, the society I guess. But how do we decide? Is this really a decision we make? I believe we find ourselves in a historical situation created by our political economy driven by technology that produces artifacts that are considered more and more ‘autonomous’. Moreover, it is not the designer that determines how his product is received by society. Considering an artifact (a car for example) as ‘autonomous’ is the result of a specific stance we take towards the artifact. We are responsible for taking that stance and for the consequences. A practitioner is never forced to follow the advice of a medical expert system, but he should at least consider the advice it gives and motivate why he did or did not follow it in a specific case. The system after all doesn’t know his patient. Medical science is not about a specific individual, “not about Socrates” (Aristotle, Ethics). It’s about diseases, categories.

I very much agree with Bryson, and with Dennett, that the danger of AI does not come from AI itself but from the people that ascribe too much power to the machines.

What holds for ‘responsible’ machines holds for ‘intelligent’ machines as well. The terms are misleading. It’s what we mean and do, not the words we use what counts.

What is a word?

A word is “essentially historical” (Maarten Janssen and Albert Visser in Some words on word, 2002). “A use of a word presupposes a historical connection to earlier uses of a word.”. The different senses of the uses of the word ‘intelligent’ or ‘language’ are historically related. You cannot separate the intelligence of the machine and the intelligence of the user/designer of the machine without destroying the meaning of ‘intelligent’. But that is what people do when they compare computers with humans. As if the machine exists as machine outside the relation.

What does that involve, the ‘use’ of a word? In a footnote, they give an important comment on this notion of ‘use’ of a word. Specially relevant for those that are looking for the ‘author’ of synthetic speech.

“The notion of use should be taken here cum grano salis.”

“A man is taking money from an ATM. He reads: “do you want to know your saldo?” Clearly the man is reading words, In fact the word you denotes the man. However, the machine is not uttering this question, neither are the programmers of the machine. They just brought it about that similar questions would be asked anytime the machine was used. Everytime it’s a different question however since addressee and question time vary. In such an example one would like to say: ‘the words get used without there being an utterer/ a user’.” Indeed, there is no speaker. There is no act of speaking. Words are used here as tools, as images to bring about some effect, the same effect as is meant in the original, historical situation. The machine isn’t aware of this situation. A panel shows a map containing an arrow that says “you are here”. ‘You’ refers to the reader in front of the panel. How does the author know? It only works and it is only meaningful when the panel is placed on the spot that is marked on the map. The reader knows about this presupposition.

Facework (Goffman, Levinson, Levinas) is what I am doing after my retirement. After working almost forty years on artificial intelligence as a mathematician I am writing an apology. But to answer the question why did you do this? I have to be clear about what it is that I was doing. To clarify we need to go back to the historical roots of AI: how did we come here? Then I realize we are just a drop of water in a historical stream that runs in the flow of time. What I can contribute now is to hold up this flow a bit by sailing against the stream and listen to what the words have to say.

Bryson takes a rather technical stance towards ethics. She seems to see it as a technical project for the society. Ethics can be designed. We can build moral agents but we better don’t do it, she says. Because there is no coherent ethical system in which we allow them as moral agents.

Ethics is not a choice we make.

“For as far as Levinas is concerned, we can never as such decide on who is and who is not a moral agent or moral patient – who has a face: we cannot choose our morality. Ethics is not a choice we make, but rather a relationship or space of meaning we already find ourselves in.” (Niklas Toivakainen in: Machines and the face of ethics)

I agree with Bryson that artificial agents are not moral agents in the sense humans are. But my stance is based on what it means to be a technology, on the technical idea itself: an outside objectivation of an abstract creation of our mind, a combination of natural forces (not just based on physics also biology) in which we express control over nature.

There is a lot of confusion about the metaphysical status of AI. This is caused by the fact that one does not see that words like ‘intelligence’ and ‘moral’ and ‘language’ are used with different senses in different contexts. The paradox of technology is that it works because of this multiple senses, because it transfers meaning from one (original) context of use to another (technical) context. See the example of the ATM machine above.

Moral technology: wovon man nicht sprechen kann darüber kann man auch nicht schweigen.

References

Birnbacher, D. (2001) ‘Philosophical foundations of responsibility’, Responsibility: The many faces of a social phenomenon. ed. A. E. Auhagen and H.-W. Bierhoff, London: Routledge, 9-22.

Bryson, J.J. (2018). Patiency is not a virtue: the design of intelligent systems and systems of ethics. Ethics and Information Technology (2018) 20:15–26.

Ricoeur, P. (2000) ‘The Concept of Responsibility: An Essay in Semantic Analysis’ in The Just, trans. D. Pellauer, Chicago: The University of Chicago Press.

Informatie is niet meer weg te denken uit onze samenleving. Alles draait om informatie. Maar het verschil tussen data, informatie en kennis is voor velen vaak niet duidelijk. Wat is dat eigenlijk informatie? En waarom zien we tegenwoordig overal ‘informatie’, ‘informatieverwerking’ en ‘informatieoverdracht’?

De grote prevalentie van de term ‘informatie’ is een symptoom van het mathematisme, de metafysica van het denken van de informatiemaatschappij.

Kennis en informatie

Informatie is verwant aan kennis. Er is echter een verschil tussen iemand kennen en informatie over iemand hebben. Ik ken Ludwig Wittgenstein niet ook al heb ik wel enige informatie over deze persoon. Ik weet bijvoorbeeld dat hij een tijdje in Noorwegen woonde, of dat hij tijdens de Eerste Wereldoorlog zich meldde bij het Oostenrijkse leger. Wanneer hij geboren is en waar. Maar ik ken hem niet persoonlijk. Iemand kennen is iemand als persoon kennen. Informatie is kennis die je van anderen over iets of iemand kunt krijgen. Sommige mensen zijn van mening dat een individu niets anders is dan een pakketje informatie. Die individuen vindt je in de administratiesystemen in onze computers.

Er zit altijd iets of iemand tussen datgene waar de kennis betrekking op heeft en jezelf als informatie-ontvanger. Informatie wordt medegedeeld door een informatiebron. Het begrip informatie behoort tot de sfeer van de media, van de communicatie. De informatiefilosoof Luciano Floridi spreekt van de ‘infosphere’. Die term heeft hij niet zelf bedacht, maar hij bedoelt ermee

“the whole informational environment constituted by all informational entities (thus including informational agents as well), their properties, interactions, processes and mutual relations“.

De metafysicus Floridi ziet de totaliteit van het zijn als ‘infosphere’. Een opvatting die typisch is voor het mathematisme, de metafysica die de wiskundige structuren voor het wezenlijke van de kenbare werkelijkheid houdt. In A look into the future impact of ICT on our lives (Floridi 2007) probeert hij ‘to capture the new Weltanshaung that might be dawning on us.’. In dit artikel spreekt hij van het ‘her-ontologiseren’ van de werkelijkheid. Het betreft het transformeren van de ‘intrinsieke natuur’ van de dingen. Sommige vormen van biotechnologie vallen hier onder. Onderzoekers spreken in het veld van de DNA-recombinantentechnologie van ‘informatiegeneratie’ door het DNA. Door het veranderen van informatie in het DNA opgeslagen kunnen plantensoorten nieuwe eigenschappen krijgen; aardappels kunnen resistent gemaakt worden tegen bruinrot en bloemen kunnen gekweekt worden met andere dan hun ‘natuurlijke’ kleuren. De vraag is wat nog ‘natuurlijk’ is, want ook de veranderbaarheid van het DNA is een eigenschap van de natuur.

Interessant is dat volgens Floridi deze her-ontologisering door ICT mogelijk is geworden door het opheffen van het onderscheid tussen processen en datgene wat door processen geprocessed wordt: ‘there is no longer any substantial difference between the processor and the processed’. Dit komt mathematisch tot uitdrukking in theorieën waarin alles een functie is. In (Akker 1983) heb ik laten zien dat zelfapplicatie van functies noodzakelijk is voor een mathematische uitdrukking van het begrip van automatie.

Elke eindige verzameling van gegevens, hoe groot die verzameling ook is, elke tekst, kan door een code van 0-en en 1-en worden gerepresenteerd. Die 0 en die 1 mogen we ook vervangen door de symbolen A en B, of door ja en nee. Het enige wat van belang is voor een code is dat de twee symbolen niet gelijk zijn. De 0 is niet de 1 en de 1 is niet de 0. Wat ze zijn doet er niet toe. Wanneer we eenmaal hebben vastgelegd hoe we informatie coderen dan is het natuurlijk wel van belang of ergens in de code een 0 of een 1 staat.

Elke informatie wordt in de Turing machine weergegeven door een reeks van 0-en en 1-en. Het rijtje 00110011 kan zowel een operatie, bijvoorbeeld optelling, betekenen als een bepaald getal. Het veranderen van een rijtje kan dus zowel betekenen dat de code voor een operatie verandert als dat een code voor een gegeven waarop de operatie moet worden toegepast verandert. De totale inhoud van het geheugen bepaalt wat er gebeurt wanneer de machine aan het werk wordt gezet. Dat werk bestaat uit de pure herhaling van steeds dezelfde opdracht: doe de volgende opdracht, doe de volgende opdracht, doe de volgende opdracht, …

Het is de eeuwige herhaling, de slinger van het uurwerk. Mathematisch uitgedrukt in de zelfapplicatie Z Z waarbij Z de zelfapplicatiefunctie is: λx. x (x), het zichzelf reproducerende proces. De machine reproduceert zichzelf. Natuurlijk zal een echte machine niet alleen zichzelf in stand houden. Hij levert ook nog een resultaat: de uitkomst van een berekening.

Welke berekening door de machine wordt uitgevoerd, dat wordt uniek bepaald door de feitelijke toestand van de machine op het moment dat deze aan het werk gaat: het programma en de gegevens. De machine zelf heeft daar geen invloed op. Het is de programmeur die dat bepaalt.

Maar hoe zit het dan bij interaktieve programma’s? Machine reageren toch op invoer uit de omgeving terwijl ze aan het werk zijn? Er is volgens mij geen wezenlijk verschil met de niet-interaktieve machine omdat de invoer ook een toestand is van een invoerveld van het geheugen. Het programma bepaalt wanneer er invoer wordt gelezen en verwerkt. De gebruiker moet weten wanneer deze invoer moet aanleveren en wat dit betekent. Maar dat geldt ook al voor de programmeur die de machine in een begintoestand heeft gebracht. Willen meerdere machines met elkaar communiceren dan moet er een gezamenlijke organisatie zijn die de “uitwisseling van gegevens” regelt. Dit betekent dat deze machines een deel van hun toestand met elkaar delen. Net zo goed als wij die de machine een opdracht geven door een druk op een knop (toets of button) deze knop delen met de machine.

De handleiding van de wasmachine zegt precies wat de gebruiker moet doen. Ze bevat het programma dat de gebruiker moet uitvoeren om de machine te laten werken. De machine veronderstelt de programmeerbaarheid van de mens.

In de infosphere is alles wat is te coderen als informatie. Dat betekent dat alles op een eenzinnige manier te coderen is als reeks van 0-en en 1-en. Die eenzinnigheid zorgt voor de mathematische exactheid, die door de filosoof wordt verward met precisie.

Horen belevingen, het hebben van pijn of het gevoel van geluk ook tot Floridi’s infosphere ?

Wat de een ziet als een informatievraag , kan voor de ander een gevoelige kwestie zijn. Hoeveel drinkt u? vraagt de huisarts aan zijn client. Wat vind je van mijn nieuwe jas? vraagt de moeder aan haar dochter. Het zijn vragen die soms lastig te beantwoorden zijn. In interpersoonlijke relaties gaat het nooit puur om informatie-uitwisseling. Niet alles kan gevraagd en gezegd worden. Informatie-uitwisseling hoort bij een abstracte vorm van intelligentie. In de praktijk gaat het vaak om sociale en emotionele intelligentie (zie het werk van D. Goleman), het vermogen met anderen om te gaan en een sociale verhouding in stand te houden, waarin er sprake is van empathie en respect voor elkaar.

Informatie kan incorrect zijn, een beleving niet

Je kunt informatie over iets of iemand vragen. Bijvoorbeeld hoe laat de trein naar Amsterdam vertrekt of wat voor weer het morgen wordt. Informatie is feitenkennis die met anderen gedeeld kan worden. Informatie geeft je kennis die betrekking heeft op een feitelijke stand van zaken. Die informatie hoeft niet correct te zijn. Dan heeft het betrekking op een niet-feitelijke stand van zaken, eentje die als feitelijk wordt voorgesteld. Wie informatie ontvangt zal dan ook willen beoordelen of deze klopt met de feiten zoals hij of zij deze kent, hetzij uit eigen waarneming, hetzij via media verkregen informatie. Wanneer informaties elkaar tegenspreken moet er besloten worden wat er mee te doen. Een informatiebron is min of meer betrouwbaar.

Informeren en meten

Informatie is kennis over iets in een specifieke vorm. Die vorm staat niet los van de kennisinhoud. In het begrip informatie komen kensubject en keninhoud bij elkaar in een structurele vorm. Die structuur is van het subject en van het object dat de keninhoud bepaalt. De keninhoud betreft een feitelijke stand van zaken.

Je zegt “Ik zal even informeren wat voor weer het is” en dan ga je naar buiten om te kijken wat voor weer het is. Of, je zegt “Ik zal even informeren hoe hoog die tafel is” en dan meet je met een meetlat de hoogte ervan. Wanneer je dat zo zegt, dan zie je de tafel zelf als informatiebron die door middel van het waarnemen of meten je informatie geeft. Meten doen we met een instrument dat de maat eenheid oplegt aan het gemeten object. Het zuivere waarnemen is in die zin geen instrumentele activiteit. Daar om meten van de hoogte van de tafel eerder een vorm van informeren, dan het waarnemen van het weer om te zien wat voor weer het is. De notie “quantitative self” refereert naar het meten van allerlei kenmerken en eigenschappen van een persoon. De quantitative self leest zijn fysieke en emotionele conditie af op sensoren.

Meten is de maat van iets opnemen. Jezelf informeren is de maat van iets via een middel vernemen, bijvoorbeeld door een vraag te stellen aan iemand: “Hoe hoog is die tafel?”. Meten doe je met een meetinstrument. Met een rolmaat of duimstok meet je de hoogte van een tafel. Dat resulteert in het weten van de hoogte die je uitdrukt in een getal en een eenheidsmaat: 80 centimeter. Deze zin: deze tafel is 80 cm hoog geeft informatie over de eigenschap hoogte van deze tafel. Je kunt niet zeggen: een tafel is 80 cm. Dan zou je beweren dat alle tafels 80 cm hoog zijn. Als die bepaalde hoogte bij het begrip tafel hoort. Je kunt wel zeggen: “Een tafel heeft een hoogte.” We noemen dat kennis van het begrip tafel. Dat de hoogte van deze tafel 80 cm is dat is een toevallig feit; maar dat een tafel een hoogte heeft is dat niet; dat is inherent aan het tafel zijn.

Dat 1 + 1 gelijk is aan 2 geeft geen informatie. Dat 11 een priemgetal is of dat een priemgetal een getal is dat alleen deelbaar is door 1 en zichzelf, dat zien we niet als informatie. Wiskundige waarheden zijn geen feitelijke waarheden die we als informatie delen. We spreken van wiskundige kennis. Wiskunde is toepasbaar omdat en inzoverre de werkelijkheid structureerbaar is. De werkelijkheid gaat echter niet op in haar structuur. Volgens het mathematisme kennen we de werkelijkheid pas wanneer we deze in wiskundige modellen kunnen uitdrukken, omdat het wezen ervan structuur is.

Iemand of iets kennen duidt op een intiemere relatie dan informatie over iemand of iets hebben. In het laatste geval ken je iemand van de buitenkant, je kent eigenschappen. Informatie kan wel bijdragen aan kennen; het kan de kennis meer inhoud geven. Informatie is onpersoonlijker en abstracter dan kennis. Dat is het deelbare, en formele karakter ervan. Informatie is onpersoonlijke kennis in een overdraagbare objectieve, uitwendige vorm. Het subject van deze kennisvorm is een abstract subject. Informatie behoort tot de sfeer van de abstracte arbeid, het mechanische en economische. De arbeid heet in deze fase van de technische ontwikkeling informatieverwerken. In de plaats van de fabrieksarbeiders en de mechanische machines uit de spinnerijen, en weverijen zijn de beeldschermwerkers en de informatieverwerkende machines gekomen. Deze sturen het economisch productieproces van de burgerlijke samenleving en houden dit in stand.

Autonome systemen zijn technisch mechanismen die informatie opnemen uit de omgeving waarin ze opereren en die informatie verwerken ten behoeve van hun functioneren. Er zijn verschillende graden van zelfstandige mechanismen.

Informatie is een lastig begrip omdat het niet goed past bij onze verstandelijke wijze van denken dat de mens als geestelijk kennend subject tegenover de wereld plaatst als iets dat daarvan strict gescheiden is. Dat een computer informatie kan verwerken, dat een machine kan rekenen dat zou zonder het berekenbare karakter van de natuur zelf niet mogelijk zijn. Techniek behoort tot onze natuur. Als onderdeel van de natuur zijn we ook technisch. Natuurwetten zijn wetten van onze natuur.

Het onderscheid tussen gegevens en informatie is lastig. Gegevens geven informatie over iets voor iemand die die gegevens in een bepaalde verband kan plaatsen waardoor deze er wat aan heeft. Gegevens zijn dus de basis van de informatie.

Referenties

Akker, op den, Rieks (1983). De zelfstandigheid van automaten en de semantiek van programmeertalen, Intern rapport Technische Hogeschool Twente, Onderafdeling Wijsbegeerte en Maatschappijwetenschappen (ook als intern rapport verschenen bij de Onderafdeling der Informatica).

Luciano Floridi (2007). A look into the future impact of ICT on our lives. The Information Society, 23.1, 59-64 (2007).