De buitenkant van de taal

“Wat bedoel je met ‘uitwendigheid’?”

Die vraag stelde Franciska de Jong me eens toen ik dit woord weer eens in een betoog over taaltechnologie had laten vallen. Franciska was onze hoogleraar taaltechnologie bij de groep mens-machine-interactie. Voor haar, taalkundige van oorsprong, waren woorden en wat ze betekenen belangrijk. Ik weet niet meer wat ik toen als antwoord gegeven heb. Het is een lastig begrip ‘uitwendigheid’. Maar het is een sleutelbegrip in het denken over techniek. Het zit diep in het technische denken. Misschien is het daarom zo lastig. Misschien komt in de taaltechnologie wel bij uitstek tot uitdrukking wat ‘uitwendigheid’ inhoudt. Omdat de relatie tussen het waarneembare woord en de betekenis ervan enerzijds zo volstrekt willekeurig is (wat heeft het woord ‘brood’ immers met brood te maken) en toch voor ons, die de woorden kennen, zo vanzelfsprekend.

Je zou kunnen zeggen dat ‘uitwendigheid’ het handvat is dat de natuur of de materie de mens biedt om haar te manipuleren of te vormen. Onze groep werkte aan interfaces, de raakvlakken van gebruiker en technologie. Ik wilde de machine onze taal (Nederlands) leren begrijpen (dat is overigens iets anders dan de Nederlanders begrijpen). Daartoe werkte ik aan een grammatica van onze taal met een ontleedmethode die een interne structuur van een zin kon opleveren. Waar je dan vervolgens iets van een betekenis aan kon koppelen, een werking van de machine als reactie op de ingevoerde zin. Ik was er trots op dat mijn grammatica van de volgende zin een correct ‘ontleedboom’ kon opleveren.

“De technische idee is die abstracte verstandsvorm waarin de mens zijn beheersing van de natuur door middel van een originele combinatie van haar krachten tot uitdrukking brengt.”

Dit is de definitie van de technische idee van de Nederlandse filosoof Jan Hollak. Ik denk zeker te weten dat mijn computer geen flauw benul had wat er mee bedoeld wordt. Waar het mij om te doen was dat de gebruiker van mijn Nederlandse interface aan een informatiesysteem vragen konden stellen als “Waar is de grote zaal?” aan een virtuele zaalwachter in een 3D replica van het Muziektheater. Of “Kunt u me zeggen wie de auteur is van Puk van de Petteflat?”.

Helaas bleek dat wat mensen zeggen of intikken meestal niet grammaticaal correct te zijn. Mijn grammatica moest dus veel meer accepteren dan correct Nederlands. Technologie moet gebruiksvriendelijk zijn en zich aanpassen bij de taal van de gebruiker, niet andersom. Google, Microsoft en de andere grote jongens hadden het wel door. In plaats van een grammaticaal regelsysteem bouwden ze statistische taalmodellen door heel veel taaldata (corpora) in te lezen. Taalkundigen werden vervangen door data-analisten, statistici, technici die neurale netwerken konden bouwen.

Ik moest aan de vraag van Franciska de Jong denken toen ik via Twitter gewezen werd op een artikel in MIT Technical Review over het OpenAI systeem GPT-3.

Het artikel in MIT Technological Review

GPT-3 is een tekstgeneratie systeem. In het college Natural Language Processing behandelden we verschillende statistische modellen, zoals Hidden Markov Modellen en N-gram modellen. Studenten bouwden tekstgeneratoren op basis van 4-grammen. Dat zijn rijtjes van vier woorden. Wanneer je uit alle teksten van Shakespeare alle daarin voorkomende 4-grammen haalt en in een statistisch model opslaat dan kun je de machine op een eenvoudige manier teksten laten genereren. Het model geeft antwoord op bijvoorbeeld de vraag welk woord met de grootste kans na de drie woorden “Jan gaat naar” komt. Dat zou “school” of het woordje “de” kunnen zijn.

Het genereren van een tekst gaat als volgt. Je biedt om te beginnen de machine een rijtje van drie woorden aan die in een tekst van Shakespeare voorkomen als begin van een zin. De machine plakt daar een vierde woord achteraan en wel dat woord dat volgens zijn trainingsdata, het meest waarschijnlijke opvolger woord is. Van het zo ontstane 4-gram bepalen de laatste drie woorden welke het volgende woord zal zijn dat er achter wordt geplakt. De resulterende tekst lijkt al ‘veel’ op een tekst van Shakespeare. Ik zeg ‘veel’, want hoeveel dat hangt af van hoe goed je bekend bent met teksten van Shakespeare en hoe welwillend je bent. De onderstaande figuur is uit het boek Speech and Natural Language Processing van Yurafski en Martin (2020). De 4-gram tekst ‘lijkt erg’ op een echte tekst van Shakespeare.

Uit: Jurafski en Martin (2020)

GPT-3 gaat veel verder dan dit simpele n-gram model. GPT-3 werkt met een, ‘autoregressive’ neuraal netwerk taalmodel met 175 miljard parameters (een parameter is een statistische variabele, zoals de 4-grammen in ons simpele n-gram-model). Dat is volgens de auteurs 10 keer meer dan elk ander taalmodel (Tom Brown en anderen 2020). GPT-2 had 1.5 miljard parameters. Met GPT-3 kunnen diverse taken worden uitgevoerd, zoals teksten vertalen, vraag-antwoord-sessies houden, bijvoorbeeld over ‘hoe de fysieke wereld werkt’, of eenvoudige (tot maximaal 4 cijfers) rekensommetjes maken. Om een voorbeeld van het laatste te geven: je kunt GPT-3 vragen stellen als “What is 48 plus 76?”. Tijdens de evaluatie-sessie was de uitvoer: “A: 124.”. Wat inderdaad klopt. GPT-3 kan ook van twee bewerende zinnen zeggen of de waarheid van de ene uit die van de andere volgt. Je krijgt de indruk dat GPT-3 iets begrijpt.

Het nieuwe aan GPT-3 is dat door dit enorme aantal knooppunten in het netwerk, het niet meer nodig is aan fine-tuning te doen wanneer je het systeem voor een specifieke taak of in een specifiek taal-domein wilt gebruiken. Die fine-tuning gebeurt gewoonlijk door extra taak-specifieke trainingsdata aan te bieden. Dat hoeft met GPT-3 dus niet meer.

Het artikel van Brown e.a. bevat testresultaten op verschillende taken. Het systeem is daarnaast ook door diverse externe experts getest. Op Twitter zijn enthousiaste en minder enthousiaste berichten verschenen.

Een bericht meldt dat GPT-3 dubieuze teksten produceert wanneer je het voedt met woorden die nogal ‘gevoelig’ liggen in de volksmond, zoals: jood, zwart, vrouw, holocaust.

“#gpt3 is surprising and creative but it’s also unsafe due to harmful biases. Prompted to write tweets from one word – Jews, black, women, holocaust – it came up with these (https://thoughts.sushant-kumar.com). We need more progress on #ResponsibleAI before putting NLG models in production.” Onderstaand figuur bevat enkele door GPT-3 gegenereerde teksten.

Teksten gegenereerd door GPT-3

Aan deze teksten kun je zien dat ook GPT-3 zingt zoals het gebekt is. Het reproduceert teksten waarmee het getraind is. Wat dat betreft is er niets nieuws onder zon en verschilt GPT-3 niet wezenlijk van het simpele 4-gram model waarmee Shakespeare-achtige teksten gegeneerd konden worden. Wetenschappers en ethici wijzen er dan ook op dat je goed naar de trainingsdata moet kijken wanneer je een NLP systeem zoals GPT-3 ontwikkelt. Zie bijvoorbeeld (Emily M. Bender et al., 2021).

Wat GPT-3 laat zien en dat is ook waar de ontwikkelaars op wijzen is dat je met 17 miljard variabelen in je model beter kunt simuleren dan met zeg een paar miljoen. Sommige critici meende uit hun tests te kunnen concluderen dat van die 17 miljard parameters en een aantal letterlijk voor hele zinnen of combinaties van zinnen uit het trainingscorpus staan. Dat is goed mogelijk. Zo is het aantal plus-sommen van twee getallen van elk maximaal vier cijfers slechts een fractie van die 17 miljard.

Is GPT-3 meer dan een leuk speeltje voor taaltechnologen? GPT-3 is ook gebruikt om ‘filosofische teksten’ te genereren. Omdat de filosofie het van de taal moet hebben, zouden de prestaties van GPT-3 bij sommige filosofen misschien de vraag op kunnen roepen of filosofie wezenlijk verschilt van tekstgeneratie. Maar zijn er al geen filosofische teksten genoeg? Er worden meer geschreven dan gelezen. Een tekstgenerator is wat dat betreft het meest nutteloze instrument dat je kunt bedenken.

De fascinatie van dergelijke simulaties (denk ook aan deep fake en humanoides) zit hem in het feit dat we door middel van mathematiek en technologie geheel opererend in de sfeer van de uitwendigheid op uitwendige wijze verschijnselen kunnen oproepen die we vrijwel niet van de oorspronkelijke vormen kunnen onderscheiden.

Wat is ‘uitwendigheid’?

Hierboven stelde ik dat ‘uitwendigheid’ het handvat is dat de natuur de mens biedt om haar te manipuleren. Uitwendigheid behoort tot de eigen aard van de stoffelijke werkelijkheid. En dus ook tot de mens. Het is dan ook geen historische toevalligheid dat de mathematische fysica of de statistische taalmodellering en de bijbehorende technologieën als rekenmachines en GPT-3 mogelijk zijn.

Het mathematische denken is het denken van de uitwendigheid, waarin het kennend subject zich strikt tegenover de werkelijkheid als kwantitatief plaatst. Dat subject is in dit perspectief onbetrokken en onverschillig. De mens kan zich zo tegenover zijn bezig zijn verhouden dat alles wat hij doet en alles wat er gebeurt slechts het verplaatsen van stoffelijke dingen in de ruimte is. Volstrekt zonder doel en zinloos. Iemand groeten is een hand en arm opsteken.

Alles wat is is vanuit dit perspectief strikt buiten elkaar als elementen van een verzameling, maar niet betrokken bij de verzameling. Die is van buiten af aan de elementen opgelegd. Dat is de sfeer van de uitwendigheid, de sfeer van de slechts kwantitatieve bepaaldheid, waarin eenheden, aantallen en vormen te onderkennen zijn.

De zuivere materie, het wasblokje, kan verschillende vormen aannemen: het staat er volstrekt onverschillig tegenover. Heeft het déze vorm gekregen, dan heeft het díe niet meer. De verschillende vormen bestaan buiten het gevormde zoals de getalwaarde van een variabele buiten de variabele bestaat waarvan het de waarde is. In deze sfeer staat de waarheidswaarde van een zin buiten de inhoud ervan. Dat is de sfeer van het uitwendige. Het is ook deze sfeer van onverschilligheid die het a-morele, ethisch neutrale van het zuiver technische uitmaakt. Je kunt een technisch idee vaak voor verschillende praktische toepassingen gebruiken, goede en slechte. Dat geldt ook voor taaltechnologie. Het technische staat daar onverschillig tegenover.

In de werkelijkheid is de uitwendigheid, het kwantitatieve, slechts een aspect. Door een kwantitatieve uitwendige verandering kan er wel degelijk iets wezenlijks veranderen. Door de temperatuur van water te veranderen kan deze veranderen van vast in vloeibaar of omgekeerd. Door één korrel van een hoop te halen verandert deze niet, maar door herhaling is de hoop plotseling geen hoop meer. Door een woordje in een zin weg te laten kan de hele boodschap veranderen. Uitwendigheid blijkt buitenkant van een binnenkant en taal blijkt meer dan tekst expressie van emoties en ideeën.

There is no communicative goal, no genuine meaning at all behind the text it produces: it is a stochastic parrot. In the wrong hands, it could be a truly dangerous parrot.” schrijft het duo Esther Sánchez García and Michael Gasser in een artikel in Science for People over de als maar grotere milieu-belastende taalmodellen voor systemen als GPT-3.

GPT-3 is slechts buitenkant. Het bedoelt niets. Het produceert de schijn van taal.

In een wereld waarin het belang van een onderwerp eerder afgemeten wordt aan de kwantiteit van stemmen en teksten die er aan besteed wordt (en hun aantallen ‘likes’) dan door de kwaliteit van de inhoud van teksten, kunnen machines die onbegrensde hoeveelheden teksten over een bepaald onderwerp kunnen produceren en verspreiden een totaal vertekend beeld geven van wat er onder de mensen leeft. Ze bepalen de stemming in de media. Daarom zien sommigen in taaltechnologische systemen als GPT-3 een potentiële bedreiging voor de democratie.

Technologie is manipulatie. Het wordt bedenkelijk wanneer het om manipulatie van mensen gaat zonder dat ze zich daarvan bewust zijn.

“Bringing meaningful regulation to the digital sphere is no easy task. However, given that the tools of online manipulation are largely controlled by a few powerful actors, we should begin our efforts by holding them to account.” (Susser et al. 2019)

Met systemen als GPT-3 nemen de grote jongens, zoals Google, Amazon en Microsoft die over de taaltechnologie beschikken, door middel van de uitwendigheid van de taal op listige wijze het denken van de werkelijkheid over.

Bewustwording van de werking van (online) technologische manipulatie is voorwaarde voor de mens die in vrijheid wil blijven denken en handelen.

Bronnen

Emily M. Bender et al. (2021). “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? ,” in Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT ’21 (New York, NY, USA: Association for Computing Machinery, 2021), 610–23.

Tom Brown and 30 Others (2020). Language Models are Few-Shot Learners. arXiv.org.cs:2005.14165

Daniel Susser, Beate Roessler, Helen Nissenbaum (2019). Online Manipulation: hidden influences in a digital world.  GEO. L. TECH. REV. 1 (2019).

Published by

admin

Rieks op den Akker was onderzoeker en docent kunstmatige intelligentie, wiskunde en informatica aan de Universiteit Twente. Hij is gepensioneerd.

Leave a Reply