Machines denken niet en spreken niet. Ze produceren geluiden en beelden waarin we onze woorden en gedachten herkennen. Voor zover ze werken tonen ze de woorden en beelden op precies die momenten en in die situaties waarvan wij vinden dat het gepast is. Daarmee geven ze de indruk de situatie te begrijpen. Ten behoeve van het kunstmatige spreken is de voorstelling, het tonen van de woorden, losgekoppeld van het uiten, het spreken. Zegt de tekst wel wat ze toont en toont ze wel wat ze zegt?
Het iconische “U bevindt zich hier” moet, wil het functioneren, wel precies de plek op de kaart aanwijzen die overeenkomt met de plaats in de werkelijke wereld waar de aangesprokene (“U”) zich bevindt op het moment dat deze de tekst leest. Er is geen reëel subject, dat de woorden tot de lezer ‘spreekt’. Er is niemand die weet waar ‘U’ de lezer zich bevindt. We moeten de woorden ‘de dicto’ nemen; bij wijze van spreken.
Iets soortgelijks: Wanneer de presentator op de radio de uitzending begint met “Fijn dat u luistert” en u hoort dit dan voelt u zich wellicht aangesproken. Dat is misschien ook de bedoeling van de spreker. Er wordt gebruik gemaakt van het feit dat als u niet luistert u dit ook niet hoort. De presentator weet helemaal niet dat u luistert. Net zo min als de maker van de tekst op het informatiebord weet dat u zich bevindt op de plek waar het bord staat. U, de lezer, of u de luisteraar is een abstract subject. Taalgebruikers zijn abstracte subjecten, gebruikers van een beschikbare taal.
Wanneer u de tekst in bovenstaand plaatje leest weet u dat het om een afbeelding van het echte bord gaat en dat ‘hier’ niet naar de plek verwijst waar u zich als lezer bevindt. Deze vanzelfsprekendheden vormen noodzakelijke kennis om te begrijpen wat het betekent als we zeggen dat de machine onze taal spreekt of ons begrijpt. De mededeling werkt alleen, is alleen succesvol, als het bord op de plek staat waar de pijl op de kaart naar wijst. Niet als deze in de opslagruimte van de gemeente staat. Deze correspondentie tussen beeld en werkelijkheid is een noodzakelijke voorwaarde voor de werking van de tekst.
In een technocratie bepalen machines en systemen in toenemende mate de situaties waarin we er mee te maken hebben. De mens gaat dan op in het systeem. Zijn leven wordt beheerst door het functioneren van de machines. De handleidingen van de machines programmeren de gebruikers ervan. Het voordeel van sociale robots die ‘onze taal spreken’ is dat we geen handleiding meer nodig hebben om met ze om te gaan. Maar is die taal wel ‘onze taal’? Is die niet door de technologie gemaakt?
Machines hebben altijd al iets fascinerends gehad. Ze begonnen pas echt indruk te maken toen ze onze taal begonnen te spreken en ons zelfs leken te verstaan en begrijpen wanneer we ze in onze eigen taal toespraken. Tegenwoordig heeft iedere mobiele-telefoonbezitter wel een sprekende assistente (het zijn vrijwel altijd vrouwenstemmen) tot zijn beschikking die je informatie kunt vragen. Ook het navigatiesysteem in de auto is tegenwoordig aanspreekbaar. “We gaan naar huis.” “Naar de Asselijnstraat 147?” “Ja”. “Okay”. In de zelfsturende auto neemt de machine het stuur over. Via allerlei sensoren krijgt deze continu informatie binnen over de situatie op de weg op basis waarvan het zijn rijgedrag aanpast. Met de ingebouwde wegenkaart en de actuele verkeersinformatie kan de auto zich feilloos naar de opgegeven bestemming sturen.
Omdat het spreken en begrijpen tot nu toe voorbehouden was aan ons mensen hebben we de neiging deze machines eigenschappen toe te dichten die aan mensen toekomen. We zeggen dat ze kunnen denken. We zeggen dat de ‘autonome’ machine ‘beslissingen neemt’. Sommige mensen nemen dit letterlijk.
Men zegt: Omdat machines veel meer gegevens kunnen verwerken in zeer korte tijd presteren ze beter dan mensen zouden doen ‘in vergelijkbare situaties‘. Autonome onbemande machines kunnen ingezet worden in situaties waarin zo snel besloten moet worden dat geen mens dat zou kunnen doen. Autonome bewapende drones opereren in dit soort situaties tijdens militaire operaties in oorlogsgebied. Ze werken met meetinstrumenten die dingen kunnen zien en meten die wij niet kunnen zien.
Daartegenover moeten we ons realiseren dat de ‘situaties‘ waarvan hierboven sprake is samen met de nieuwe technieken denkbaar zijn geworden. Autonome machines opereren in situaties (‘werelden’) die speciaal voor deze instrumenten gestructureerd zijn. Daarom is het misleidend de prestaties van de ‘autonome’ machine te vergelijken met die van de mens in ‘vergelijkbare situaties‘. Zonder de machine zijn die situaties er namelijk niet. Het autosnelwegennet met al zijn borden, signalen en sensoren vormen met de verkeersleiding en de GPS een geheel met de auto’s. Die zijn samen met de bestuurder een onderdeel van het verkeersnetwerk. Bij de autonome auto wordt de informatieverwerkende en sturende functie van de bestuurder door de techniek overgenomen. De deeltjes van de experimentele kwantumfysica bestaan niet zonder de meetinstrumenten die voor de metingen ontwikkeld zijn. De fysici zijn het erover eens dat we niet kunnen spreken van een werkelijkheid onafhankelijk van de waarnemingen ervan. Reproduceerbaarheid en technische bruikbaarheid is het criterium voor de ‘waarheid’ en het werkelijkheidsgehalte van de fysische theorie.
De machine is zoals iedere techniek het resultaat van een technische houding tegenover de werkelijkheid. Die houding wordt gekenmerkt door afstandelijkheid. De natuur van de fysica is niet onze natuur zoals we die beleven tijdens een boswandeling. Vanuit het mathematisch perspectief ziet de fysicus de natuur als iets dat werkt volgens bepaalde natuurwetten. De denkvorm die we toepassen in de techniek is: Als we de natuur zo en zo inrichten dan zal de eigen werking van de natuur ervoor zorgen dat er gebeurt wat ik wil.
Voordat machines kunnen denken en spreken moeten we deze activiteiten als een vorm van rekenen opvatten. Dit heet mathematiseren. Er worden wiskundige modellen van de (relevante aspecten van de) werkelijkheid gemaakt. Die modellen nemen de plaats in van de werkelijkheid. Het is de virtuele mathematische realiteit waarin de machine functioneert.
De machine doet zijn werk in een wereld waar wij als mens in zekere zin buiten staan. En toch zijn wij het voor wie het werk van de machine betekenis heeft. Zonder die betekenis zou de machine slechts een natuurproces zijn. De autonome auto bepaalt zelf welke weg deze neemt maar wij bepalen uiteindelijk waar deze naar toe moet. En zonder de behoefte ons en onze goederen te verplaatsen heeft de auto geen zin. De autonome bewapende drone bepaalt zelf of hij een raket zal afvuren, maar wij bepalen of het doel een legitiem doel was en of het bombardement gezien de omstandigheden ‘proportioneel’ was. En zonder de behoefte om ons tegen vijanden te verdedigen heeft het wapen geen zin. De melkrobot, die in een heel andere ‘wereld’ zijn werk doet dan de boer die nog met de hand melkt, ontleent zijn betekenis aan de betekenis van het melken voor de mens. Uiteindelijk gaat het om het produceren van melk. Daaraan ontleent de machinerie haar betekenis en zin. Dat het leven van de boer en van de melkkoe er heel anders uit komt te zien wanneer de boer overgaat tot het gebruik van melkrobots, dat is een onbedoeld en vaak grotendeels onvoorzien neveneffect van de nieuwe techniek van melken.
Het zelf van de machine ligt buiten de machine. Het is de abstracte idealiteit, de technische idee. Kenmerkend voor het technische instrument is dat we precies weten wat het moet doen, hoe het moet werken. Er ligt een idee aan ten grondslag waaraan we de kwaliteit van de realisatie ervan afmeten. De techniek streeft naar perfectie. Zoals we de vlakheid van het tafelblad afmeten aan het ideale mathematische vlak of het rond zijn van een wiel afmeten aan de mathematische cirkel. Maar al te precies is onpraktisch. Het mathematische denken moeten toegeven aan de werkelijkheid.
Met de toenemende autonomie van de machines, denk aan de zelfrijdende auto of aan de sociale intelligente robot die als een soort compagnon of hulp in de ouderenzorg wordt ingezet, rijst de vraag wie er aansprakelijk is voor de gevolgen van het handelen van deze ‘agenten’. Is dat de eigenaar, de verkoper of de ontwerper van de robot? Of is het de gebruiker? Voor elk van deze alternatieven is wel iets te zeggen. Om aansprakelijk te zijn voor de eventuele negatieve gevolgen van je handelen, moet je in voldoende mate inzicht hebben in de effecten van dat handelen. Wanneer geen van de genoemde betrokken partijen dat inzicht heeft, en dat is in het geval van complexe technische instrumenten zo, dan is niemand meer verantwoordelijk voor de gevolgen van beslissingen die de autonome machine neemt. Het probleem van de ‘responsibility gap’ is de keerzijde van de afstandelijkheid van het mathematisch perspectief dat in de techniek tot uitdrukking komt en dat tot steeds zelfstandiger ‘zelf-denkende’ machines leidt.
“The resulting gap between the design and operation of algorithms and our understanding of their ethical implications can have severe consequences affecting individuals, groups and whole segments of a society.” (The ethics of algorithms: Mapping the debate, Mittelstadt et al. 2016).
De auteurs maken een onderscheid tussen een algoritme als een mathematische constructie (‘‘a finite, abstract, effective, compound control structure, imperatively given, accomplishing a given purpose under given provisions.’’) en het algoritme in de ‘dagelijkse betekenis’ waarin verwezen wordt naar de implementatie ervan in een specifiek technisch systeem. In het artikel gaat het over de ethische implicaties van de ge-implementeerde algoritmes. Ze zijn van mening dat het niet veel zin heeft om de ethische implicaties van mathematische algoritmes te beschouwen.
“Accordingly, it makes little sense to consider the ethics of algorithms independent of how they are implemented and executed in computer programs, software and information systems.”
Het door de auteurs genoemde onderscheid is problematisch. Misschien zit in de scheiding tussen de abstracte mathematische constructie enerzijds en de ‘toepassing’ ervan in een technisch systeem anderzijds wel de kern van de ethische problematiek. Het is dan ook niet zo vreemd dat in een vervolgartikel uit 2021 deze opmerking niet meer voorkomt (Tsamados, 2021). De mathematische constructie, het mathematisch model van een omgeving (met invoer- en uitvoer-parameters) waarin het algoritme bepaalde functies realiseert, is immers het resultaat van een bepaalde structurerende houding tegenover de werkelijkheid. Dit wordt in het artikel het ‘transformatieve effect‘ van de toepassing van algoritmes genoemd.
“… algorithms can affect how we conceptualise the world, and modify its social and political organisation. Algorithmic activities, like profiling, reontologise the
world by understanding and conceptualising it in new, unexpected ways, and triggering and motivating actions based on the insights it generates.”
Het gaat echter niet alleen om een effect van de toepassing. Algoritmes kunnen niet alleen als effect een bepaalde ‘conceptualisering van de wereld‘ hebben, ze zijn zelf het resultaat van zo’n conceptualisering. Deze heeft een bepaalde vorm die we hier mathematisering noemen. Voordat je in staat bent om een robot gebaren te laten maken moet je de gebaren als het ware van de buitenkant beschouwen, analyseren en vastleggen. Voordat je mensenwerk door een robot kunt laten doen, moet je dit als een functioneren in de context van een systeem zien. Daarvoor is mathematisering, het objectiveren en benoemen van de abstracte entiteiten, een noodzakelijke stap. In de informatieverwerkende machine werken de tekens als identifiers voor de entiteiten in het mathematische model.
Het heeft wel degelijk zin de ethische implicatie van deze mathematiserende houding waaruit de informatietechniek voortkomt te overdenken. Kernvraag is dan wat houdt dat ‘toepassen’ van een mathematische constructie eigenlijk in? En wie is het subject van dat toepassen?
Dat subject lijkt in de techniek te verdwijnen. Net zoals er geen reëel subject is dat zegt en bedoelt “U bevindt zich hier” als deze iconische tekst op een bord staat afgedrukt. Wanneer een ambtenaar zegt dat hij alleen verantwoordelijk is voor het uitvoeren van de taak die hij in een administratief systeem heeft, dan reduceert hij zichzelf tot een onderdeel van een informatieverwerkend systeem. We mogen echter verwachten dat de verantwoordelijke ambtenaar voortdurend afweegt in hoeverre zijn handelen bijdraagt aan de uiteindelijke bedoeling van het geheel en er dan ook verantwoordelijkheid kan afleggen wanneer er iets misgaat.
Het is een verleidelijke gedachte het algoritme als het ‘zelf’ van het technische systeem te zien. Het bepaalt immers hoe het systeem functioneert en dat is wat het wezen van het systeem uitmaakt. Het bovengenoemde onderscheid tussen het mathematische algoritme en de toepassing ervan in een concrete situatie roept de vraag op in hoeverre dit functioneren, de toepassing van de functie door het algoritme zelf bepaald wordt. Deze zelfapplicatie is de mathematische uitdrukking van de ‘autonomie’ van het technische systeem. Het systeem werkt vanzelf. Maar betekent dit ook dat het ‘uit zichzelf’ werkt?
Het is als met het informatiebord en de tekst “U bevindt zich hier”. Deze werkt alleen als de omstandigheden waarin de gebruiker en het bord interacteren overeenkomen met de afgebeelde situatie. Het programma moet de bedoeling die de gebruiker heeft wanneer deze de machine voor hem laat werken uitdrukken.
Wanneer we dit uit het oog verliezen en de sociale robot niet meer als iets zien dat volgens een bepaald algoritme, een door de mens gegeven voorschrift, werkt, maar dat ‘uit zichzelf’ doet wat het doet, dan rijst de gedachte wat het verschil is met een mens. Moeten we de robot dan niet als persoon zien?
Een Europese Commissie die zich bezig houdt met de ethische problemen van de kunstmatige intelligentie stelde voor de ‘intelligente robot’ de status van een legaal persoon te geven. Wat betekent dat? Een rechter die moet beoordelen of de aangeklaagde onrechtmatig gehandeld heeft zal moeten afwegen welke regels in de concrete situatie die zich heeft voorgedaan van toepassing zijn. Hij zal alle bij de zaak betrokkenen, getuigen en belanghebbenden, horen en naar vergelijkbare zaken kijken. Persoonlijke interpretatie en het afwegen van verschillende waarden die in het geding zijn spelen daarbij een grote rol. Dit is fundamenteel anders dan het toepassen van een mathematische functie of van een algemene abstracte regel. Daarom kun je dit oordeel niet aan de robot zelf overlaten. Die werkt immers zonder te reflecteren op de regels en de betekenis van de gegevens voor het unieke, concrete, geval dat zich voordoet. Voor de robot, voor de technologie, is elk geval representeerbaar in termen van bekende gegevens.
De rechter die oordeelt over het handelen van de beklaagde is een mens, geen machine. Dat is van belang. De rechter kent als mens de mogelijkheden en de beperkingen die de verdachte als mens eigen zijn. De rechter weegt de omstandigheden en de invloed die deze op het handelen van de verdachte hebben gehad. Zou de robot wanneer we deze in juridische zin als persoon zien, dan ook niet door robots beoordeeld en berecht moeten worden?
Een rechter moet objectief zijn in die zin dat hij een onpartijdig oordeel moet uitspreken en de gegevens die uit onderzoek en getuigenissen volgen niet mag selecteren op basis van een gewenste uitkomst. Maar betekent dit dan niet dat zijn oordeel op mathematische wijze berekend zou moeten kunnen worden? Is kwantitatief meetbaar niet de ideale vorm van objectiviteit? Ja, maar het meetresultaat is afhankelijk van de gekozen maat. De vraag is precies waardoor en door wie de maat die we hanteren wordt bepaald. We meten een lengte met een lengte, een volume met een volume. Maar hoe meten we of een kleur warm is, of iemand een fraudeur of volwassen is. Hoe meten we of een handeling in ethische of juridische zin acceptabel is?
Een algoritme is een meetmethode waarmee we een gegeven situatie ‘de maat nemen’. Een algoritme schrijft voor wat het resultaat van haar toepassing in een nieuwe concrete casus is. Dat veronderstelt dat er al een model (een interface) van de casus is dat als representatie van de casus gezien wordt. Het algoritme bepaalt wat de meetbare gegevens (de ‘feiten’) zijn waarmee het werkt. De burger wordt in de informatiesystemen van de Belastingdienst gerepresenteerd door een waarde van een variabele in een complexe datastructuur.
Recentelijk verscheen Algoritmische beslisregels vanuit constitutioneel oogpunt (Goossens et al, 2021) een publicatie over de rechtstatelijke risico’s ten gevolge van het gebruik van algoritmes door de verschillende overheidsinstanties.
De focus van deze studie ligt op “de fundamentele tweedeling tussen algemene regels en de concrete toepassing via individuele beslissingen alsmede, in het licht daarvan, de wisselwerking tussen normen en feiten.” Die ‘normen’ zijn min of meer expliciet gemaakt in de algoritmes die werken op de gegevens over de burger.
De auteurs wijzen erop dat de besluitvorming van het bestuur in individuele gevallen al geruime tijd steeds vaker (deels) geautomatiseerd plaats vindt op basis van algoritmische beslisregels. “Hierdoor kan de relatie vertroebelen tussen enerzijds een concreet besluit dat het resultaat is van de toepassing van een algoritmische beslisregel en anderzijds de algemene regels die oorspronkelijk ten grondslag liggen aan de bevoegdheid van het bestuur om in individuele gevallen concrete besluiten te nemen.”
Tijdens de toeslagenaffaire werd door een hoge ambtenaar van de Belastingdienst opgemerkt dat de economie en de politiek vereist dat deze werk als een machine. Daar mag geen zand tussen komen door naar individuele gevallen te kijken.
De auteurs wijzen er terecht op dat wanneer het om de toepassing van algemene regels in concrete gevallen gaat er een wisselwerking is tussen de regel en de situatie. “Dat wat we ‘toepassing’ noemen, raakt ook de toegepaste regel”.(p.6). De toepassing van een regel in de praktijk is iets anders dan het toepassen van een wiskundige functie op een argument, zoals een machine dat doet.
“Datgene waardoor de praktijk functioneert, ligt als het ware op een dieper niveau, dat steeds wezenlijk impliciet blijft.” en “Ons expliciete weten is het topje van de ijsberg. In de omvang van deze laatste vergissen wij, slachtoffers van het rationalisme, ons dan ook deerlijk.” Zo schrijft Louk Fleischhacker in De Henide als Paradigma.
We zijn geneigd onze kennis, dat wat we expliciet weten, te overschatten en dat wat we impliciet weten te vergeten. Het impliciete weten is de basis waarop in de praktijk ons omgaan met de technische middelen berust.
Bij de toeslagenaffaire bleek dat door het impliciete weten uit te schakelen en de beslissingen over te laten aan de algoritmes talloze individuele burgers tussen de tandraderen van de machine beklemd raakten.
Bronnen
Louk E. Fleischhacker (1999). `De Henide als Paradigma. Otto Weiningers invloed op Ludwig Wittgenstein’ in: De Uil van Minerva 15 nr. 3 (Lente 1999)
Goossens, J., Hirsch Ballin, E., van Vugt, E. (2021). Algoritmische beslisregels vanuit constitutioneel oogpunt: Tweedeling tussen algemene regels en concrete toepassing onder druk. Tijdschrift voor constitutioneel recht, 12(1), 4-19.
Mittelstadt BD, Allo P, Taddeo M, Wachter S, Floridi L (2016) The ethics of algorithms: mapping the debate. Big Data Soc.
Tsamados, A., Aggarwal, N., Cowls, J. et al. (2021). The ethics of algorithms: key problems and solutions. AI & Soc (2021). https://doi.org/10.1007/s00146-021-01154-8
