De Algemene Rekenkamer heeft helemaal niets tegen algoritmes

Maar ze stelt wel vragen bij het gebruik van algoritmes door de overheid. Er hangt een mystieke sfeer rond algoritmes. Veel mensen vinden ze ‘eng’. De overheid wil algoritmes ‘demystificeren’. De Rekenkamer komt met een toetsingskader voor ethisch verantwoord gebruik van algoritmes door de overheid. Een goede zaak. Een paar kanttekeningen.

Concrete toepassingen van het toetsingskader op door de overheid gebruikte algoritmes, zoals predictive policing en (etnisch) profileren door de politie en de AIVD of door Defensie in onbemande vliegtuigen ontbreken echter in dit rapport. Zie over bedenkelijke gevolgen van dergelijke algoritmes bijvoorbeeld Cathy O’Neil (2016) Weapons of Math Destruction.

Verder ontbreekt een systematische analyse van alle stakeholders van een algoritme en hun verantwoordelijkheden; van wetgever en beleidsbepaler tot de burgers die te maken hebben met de besluiten die op grond van het gebruik van algoritmes door de overheid genomen worden.

Tot slot wordt in het rapport geen aandacht besteed aan de denkmethodes achter de algoritmes. Er is geen aandacht voor de logica van het gebruik van wiskundige modellen waarop algoritmes gebaseerd zijn. Algoritmes zijn gebaseerd op berekenbare modellen. Wiskundige modellen zijn abstracties van de werkelijkheid waarin aspecten genegeerd worden ten behoeve van de praktijk. Statistische methodes gaan over klassen van individuen en abstraheren van het individu. Computers verwerken informatie, een gedepersonaliseerde vorm van kennis volgens algemene rekenregels. Een wereld zonder algoritmes is niet denkbaar. Ze zijn van groot nut. Niet alleen voor de overheid.

De logica die toegepast wordt bij het ontwikkelen en gebruik van modellen is inductief: het denken springt van noodzakelijk beperkte ervaringen en data naar algemene conclusies. Dat maakt deze wijze van denken zeer foutgevoelig. Soms spreekt men van ‘ongewenste neveneffecten’, van ‘bedrijfsongevallen’ of ‘çollateral damage’.

De ethiek, in de vorm van ethische richtlijnen moet tegenwicht bieden tegen de abstractie en de generalisatie die wezenlijk kenmerk zijn van het mathematiseren van de werkelijkheid en de aandacht richten op de concrete werkelijkheid van de individuele burger, of de instantie waarover het gaat.

Een individu mag nooit beoordeeld worden uitsluitend en alleen op grond van het feit dat deze tot een bepaalde referentieklasse behoort. Zie bijvoorbeeld Colyan et al. (2001).

Predictive policing is een techniek die leidt tot het bevestigen van vooroordelen die ingebakken zitten in de data.

Het is een goede zaak dat de Rekenkamer aandacht heeft voor algoritmes want er overheerst in onze technologische samenleving een neiging om systemen steeds autonomer te maken, in die zin dat ze steeds meer zelfstandig beslissingen nemen en acties uitvoeren. De mens wordt uit het systeem gehaald (‘human-out-of-the-loop’) . Volgens sommigen is dat noodzakelijk omdat deze te traag is of omdat de mens te vaak fouten maakt. Producten van artificial intelligence (slimme algoritmes) nemen de taken van de mens over. Daar moeten we boven op zitten. Anders loopt het uit de hand.

Gisteren, 26 januari 2021, bood de Rekenkamer haar rapport Aandacht voor Algoritmes aan de Tweede Kamer aan. De Tweede Kamerleden kunnen er mee aan de slag.

Als oud-docent programmeren die studenten het schrijven van algoritmes leerde kun je alleen maar verheugd zijn met deze aandacht voor deze praktische kunst.

Iedereen maakt dagelijks, zonder het te weten, gebruik van honderden algoritmes. Dat is het mooie van techniek: je gebruikt het zonder je druk te hoeven maken over hoe het werkt. Anderen hebben voor jou het denkwerk verricht. Dat is mooi. Zolang het maar werkt. Algoritmes zitten in spam mail filters, in tekstverwerkers, in browsers, in diensten die via het internet juist die advertenties tonen die in jouw persoonlijke profiel passen (ook door algoritmes bepaald), in je navigatiesysteem. Ze zitten ingebakken in chips bijvoorbeeld in wasmachines, in je solar tracker en in je energietransformator.

Maar waarom deze aandacht van de Algemene Rekenkamer voor algoritmes? Is daar soms iets mis mee? Het gaat haar echter niet om de algoritmes zelf maar om het gebruik van algoritmes door de overheid. Daar zit vanwege diverse affaires een verdacht geurtje aan. Denk aan de toeslagenaffaire waarbij algoritmes gebruikt werden die burgers ten onrechte als fraudeur bestempelden.

Ter motivatie van het werk zegt het rapport:

Bij de uitvoering van het beleid maakt de rijksoverheid gebruik van
algoritmes. Algoritmes zijn sets van regels en instructies die een
computer geautomatiseerd volgt bij het maken van berekeningen
om een probleem op te lossen of een vraag te beantwoorden.
We wilden onderzoeken wat die algoritmes nu precies wel en niet
doen, demystificeren dus. We wilden vragen beantwoorden als: hoe
voorkomt de rijksoverheid dat er vooroordelen in algoritmes sluipen?
Overziet de rijksoverheid wat de inzet van algoritmes voor gevolgen
heeft voor personen en bedrijven die met het overheidsbeleid te
maken krijgen?

Het gebruik van algoritmes demystificeren. Wat is het geheim achter het gebruik van algoritmes? Hoe “sluipen vooroordelen in algoritmes”.

Algoritmes kennen zeer uiteenlopende verschijningsvormen van rekenmodellen, beslisbomen en andere statistische analyses tot complexe dataverwerkingsmodellen en ‘zelflerende’ toepassingen.

Zowel binnen de rijksoverheid als daarbuiten wordt al jarenlang gebruik gemaakt
van algoritmes, maar door de negatieve aandacht wordt dit als ‘eng’ ervaren. Stelt het rapport.

Meer begrip kweken voor algoritmes en hun gebruik

Het is wenselijk dat de techniek rondom algoritmes beter wordt begrepen en er meer
inzicht wordt geboden in het gebruik van algoritmes zodat de ‘hype’ er af gaat
(demystificatie);

Als voorbeeld wordt genoemd SyRI (Systeem Risico Indicatie), een systeem dat binnen de overheid (zoals de UWV en de Belastingdienst) werd gebruikt om fraude op te sporen met algoritmes. In februari 2020 oordeelde de rechter dat de wetgeving die de inzet van SyRI regelt een te grote inbreuk op de privacy van burgers vormde.


Er is behoefte aan een toetsingskader of richtlijn voor het gebruik van data en algoritmes door de overheid.

Het rapport noemt enige soorten algoritmes.

Een voorspellend algoritme wordt ingezet voor een analyse van de vraag
‘Wat zal er gebeuren?’.

Een voorschrijvend algoritme voor een analyse van de vraag ‘Wat moet er gebeuren?’. Medische decision support systemen en triage procedures zijn van dit type.

Een ‘lerend’ algoritme ontdekt in de loop van de tijd, op basis van nieuwe data, nieuwe verbanden (correlaties) en genereert op basis daarvan uitkomsten.

Machine learning algoritmes maken dat computers verbanden tussen gegevens kunnen ‘leren’ uit een verzameling gegevens. Deze verbanden kan ze toepassen op nieuwe gegevens doordat de mens of de omgeving waarin het systeem wordt toegepast terugkoppeling (feedback) geeft aan de computer. Lerende systemen worden gebruikt voor bijvoorbeeld spam mail filters of in een tekstverwerker die spellingfouten aangeeft of een suggestie doet voor het woord dat bedoeld zou zijn.

Deep learning is een vorm van machine learning waarbij modellen worden
gebruikt die overeenkomsten vertonen met neurale netwerken in het brein
.

Waar het de Rekenkamer om gaat is de vraag of het gebruik van algoritmes wel altijd ten goede komt van de burgers. Dat dat niet altijd zo is bleek onlangs weer eens uit het verslag van de commissie die onderzoek deed de toeslagenaffaire bij de Belastingdienst. De Autoriteit Persoonsgegevens constateerde al dat de overheid persoonsgegevens, zoals nationaliteit en dubbele nationaliteit, gebruikte in computersystemen om mensen als mogelijk fraudeur te classificeren. De overheid doet aan (etnisch) profileren. Ze behandelt burgers op basis van een profiel, een referentieklasse waarin ze de burger heeft ingedeeld, op grond van een paar kenmerken.

De Rekenkamer heeft gekeken waar bij de overheid wat voor soort algoritmes gebruikt worden. Het gaat haar uiteindelijk om een (ethische) toetsing van het gebruik van algoritmes.

De vragen in het toetsingskader zijn mede opgesteld aan de hand van ethische
principes. Zie onderstaande tabel. Voor de toetsing zijn vragen opgesteld die tot een score moeten leiden van een algoritme.

De ethische principes van het toetsingskader voor algoritme en data gebruik door de Nederlandse Overheid (bron: Aandacht voor Algoritmes)

Voordat het kader gebruikt wordt zijn er een aantal Algemene Vragen, zoals “Is het zelflerend?” en “Maakt het gebruik van persoonsgegevens?” en “Is het een autonoom systeem, dat handelt zonder tussenkomst van de mens?” (Denk aan de ontwikkeling van Killer Robots bij Defensie).

De vragen in het toetsingskader zijn mede opgesteld aan de hand van deze
ethische principes. Deze zijn grotendeels afkomstig uit rapporten van de EU.
Ethic guidelines for trustworthy AI (2019) en Whitepaper on Artificial Intelligence
– A European approach to excellence and trust (2020) van de Europese
Commissie (2019).

Wie zijn de stakeholders?

Het is goed om een onderscheid te maken tussen de diverse betrokkenen rond een algoritme. Wie spelen daarbij welke rol. Wie zijn de stakeholders?

De wetgever, de producent van het computersysteem, de opdrachtgever, de koper, de onderhouder, de gebruiker, de leveranciers van de gegevens, de gegevensbeheerder, degenen waarop de (persoonlijke) gegevens betrekking hebben, de burger die betrokken zijn bij het beheersdomein waarbinnen het algoritme werkt, aanbevelingen doet.

Voor elk van deze betrokken moet in kaart gebracht worden in welk stadium van de levensduur van een algoritme ze welke rechten, plichten en verantwoordelijkheden hebben en of er voldoende garanties zijn voor de uitvoerbaarheid van deze verantwoordelijkheden. Zover gaat het rapport niet.

Conclusies van de Rekenkamer

Bij uitbesteding van algoritmes of onderdelen daarvan zitten overheidsorganisaties er niet altijd dicht genoeg op en is er in een aantal gevallen minder grip dan bij algoritmes in eigen beheer.

Als voorbeeld kan genoemd worden predictive policing systemen die door derden zijn geleverd en waarbij de producent zijn methode als bedrijfsgeheim voor zich houdt. Maar ook wanneer een systeem deels intern ontwikkeld is samen met een softwarebedrijf betekent dit vaak dat de gebruiker niet weet wat de beperkingen ervan zijn. Voor de gebruikers, de uitvoerende ambtenaar, is het systeem een black box.

Ook al is het algoritme ‘op papier’ perfect, de mens maakt het algoritme en bepaalt
welke data het algoritme gebruikt. Er kan nooit met 100% zekerheid worden
gesteld dat modellen (of mensen) geen bias hebben en daarmee niet discrimineren. Het lijkt belangrijk dat ook de politiek zich dat realiseert voor het nemen
van effectieve en haalbare beheersmaatregelen.

Programmeren is een kunst. Er worden veel fouten gemaakt. Uit jarenlange ervaring in het lesgeven kan ik concluderen dat mensen moeite hebben met wat in het jargon “exception handling’ heet; het afhandelen van uitzonderingen. Sommige statistici gooien excepties gewoon weg omdat ze deze als fout bestempelen. Het debuggen van software is net zo moeilijk, zo niet moeilijker, dan het schrijven van foutloze code.

We zouden binnen de rijksoverheid (minimale) eisen moeten stellen aan de
toepassing van algoritmes zodat hier op een verantwoorde wijze mee wordt
omgegaan.

De uiteindelijke verantwoordelijkheid voor de fouten ligt bij de Minister. Helaas meestal geen expert in het domein. Ze is afhankelijk van de informatie die de ambtenaren haar geven. Gezien de toeslagenaffaire schort er nogal wat aan de communicatie netwerken. De mens is en blijft daarin de zwakste schakel.

Literatuur

Cathy O’Neil (2016) Weapons of Math Destruction, How big data increases inequality ans threatens democracy. Penguin Books, 2016.

Colyan et al. (2001)Is it a crime to belong to a reference class? The Journal of Political Philosophy, Volume 2, Number 2, pages 168-181, 2001.

Published by

admin

Rieks op den Akker was onderzoeker en docent kunstmatige intelligentie, wiskunde en informatica aan de Universiteit Twente. Hij is gepensioneerd.

Leave a Reply