- 37. Zie ook Mitchell, K. J. (2018). Innate: How the wiring of our brains shapes who we are. Princeton University Press en horst, R. (2018). Robot-is-me?: De robotisering van de samenleving in praktisch, juridisch en maatschappelijk perspectief. Uitgeverij Paris.↩
- 38. Getest is met de ietwat minder geavanceerde (117M en 345M trained parameter) versies die OpenAI in 2019 beschikbaar heeft gemaakt.↩
- 39. Zellers, R., Holtzman, A., Rashkin, H. et al. (2019). Defending against Neural Fake News. Curran Associates Inc., Red Hook, NY, USA↩
- 40. Demo via Allen Institue for AI (link).↩
- 41. In het Japans wordt kanji gebruikt voor het schrijven van zelfstandige en bijvoeglijke naamwoorden, bijwoorden en werkwoorden. Hiragana wordt gebruikt voor vervoegingen achter het werkwoord en voor voegwoorden. Voor leenwoorden uit Westerse talen gebruikt men het katakana schrift.↩
- 42. Nikkei Hoshi Shinichi Literary Award. https://hoshiaward.nikkei.co.jp↩
"01000101 01100101 01101110 00100000 00101101 00100000 01110010 01101111 01100010 01101111 01110100 00100000 Een robot weet nul. 01110111 01100101 01100101 01110100 01101110 01110101 01101100"
IN DE BIN[AI]RE WERELD
De robotschrijver niet langer een utopie?
Categorie: Schrijven
| Dinsdag, 7 januari 2020Robots duiken tegenwoordig overal op, ook in de schrijverswereld. Gelukkig zien we er — ondanks de soms ernstige retrospectieve jaloezie — nog geen killer robots. Nee, voor deze branche is met name de artificiële intelligentie (AI) van de robot interessant. Want stel je eens voor, een robot die een groot deel van je schrijfwerk uit handen neemt, de redactie verzorgt én het manuscript in acht talen vertaalt. Handig toch?
En nog veel belangrijker... nooit meer dat vervelende writer's block.
Het idee is op zich niet zo gek. In de muziek- en kunstwereld heeft de toepassing van AI al voor successen gezorgd. Kunstenaars als Mario Klingemann en Sougwen Chung gebruiken het als uniek verkoopargument. Niet langer is het belangrijk wat de kunstenaar met zijn/haar 'penseel' doet, maar welk algoritme daarvoor wordt bedacht.
Laten we daarom maar eens gaan kijken wat kunstmatige intelligentie eigenlijk is, en of robots er ook verhalen mee kunnen schrijven.
Artificiële intelligentie
Intelligentie is een lastig definieerbaar begrip. Wat vaststaat is dat het raakt aan het denkvermogen. In de menselijke hersenen zorgen zenuwcellen (neuronen) voor het ontvangen, verwerken en verzenden van informatieprikkels. Niet de hoeveelheid neuronen, maar het aantal verbindingen tussen deze cellen is bepalend voor de mate van intelligentie.
Artificiële intelligentie, ook wel afgekort als AI, is een technologie die als het ware de werking van neuronen in het menselijk brein nabootst. Dit proces vindt plaats in een zogenaamd artificieel neuraal netwerk (ANN) dat uit meerdere lagen is opgebouwd, zoals in figuur 1.
Om de met elkaar verbonden neuronen (nodes) in dit netwerk te laten functioneren, wordt gebruik gemaakt van slimme algoritmen die het kunstmatig brein taken laten uitvoeren. Hierbij krijgt het AI-brein bijvoorbeeld een bepaalde instructie of vraag [input A] die tot resultaat [output X] moet leiden. Alle gelaagde nodes in het netwerk hebben daarbij een zeker gewicht dat van invloed is op de uiteindelijke uitkomst. Tussen de input- en outputlaag liggen zogenaamde verborgen lagen die wij niet kunnen zien. Elke verborgen laag speelt met de gewogen informatie die het doorkrijgt van een onderliggende laag, wat uiteindelijk resulteert in output [X] of [Y].
Van goede resultaten [X] leert het systeem hoe het daartoe kwam. Bij onjuiste uitkomsten [Y] moet het proces opnieuw worden doorlopen; net zolang totdat het neurale netwerk de juiste gewichten en verbindingen aan de (tussenliggende) nodes heeft toegekend. Dit noemen we ook wel het zelflerend vermogen.37
Door zo'n neuraal netwerk uitgebreid te trainen met Big Data worden de uitkomsten steeds nauwkeuriger. Het resultaat stelt bijvoorbeeld een robotauto in staat zelfstandig deel te nemen aan het verkeer. De AI kan dan het geleerde consequent toepassen bij verschillende verkeerssituaties. Denk aan het herkennen van een stopbord en het vervolgens verlenen van voorrang aan het van rechts komend verkeer.
Hierbij vergeleken moet het leren schrijven voor het robotbrein niet zo moeilijk zijn, toch?
De schrijvende robot
Het idee om robots boeken te laten schijven is niet nieuw. In Orwell’s Nineteen Eighty-Four, maakte het ministerie van Waarheid al gebruik van zogenaamde ‘novel-writing machines’. Daarmee was het fictieve ministerie zijn tijd ver vooruit. Pas in 1956 — zeven jaar na het verschijnen van Orwell's boek — viel in de wetenschappelijke wereld voor het eerst de term kunstmatige intelligentie. Het leidde tot een enorme hype, waarvan al snel bleek dat het de torenhoge verwachtingen niet zou kunnen waarmaken.
De afgelopen jaren staat kunstmatige intelligentie echter weer volop in de schijnwerpers. Dit heeft het te danken aan het bedrijfsleven dat een miljarden markt heeft gevonden in de concrete toepassing ervan. Zoals bijvoorbeeld op het gebied van taal- en tekstherkenning. Hierbij kun je denken aan Natural Language Processing (natuurlijke taalwerking). Een technologie die wordt gebruikt om computers te helpen de natuurlijke taal van de mens te begrijpen. Deze technologie zien we bijvoorbeeld terug bij de bekende personal assistents SIRI en Alexa, mensachtige femdroids en bij chatbots in callcenters.
Voor machines is het geen eenvoudige opgave om te leren begrijpen hoe wij communiceren; toch is het juist die kennis die een robot nodig heeft om een leesbaar boek te schrijven. Een onderzoekslab dat het robotbrein daarbij helpt, is het in San Francisco gevestigde OpenAI.
Onder de naam GPT-2 ontwikkelde OpenAI een revolutionair taalmodel (ook wel Large Language Model (LLM) genoemd) dat robots in staat stelt natuurlijke teksten te genereren. Het daarvoor gebruikte neurale netwerk kan niet alleen woorden creëren, maar ook zinnen en alinea's maken die niet te onderscheiden zijn van door mensen geschreven inhoud.
Het bijzondere aan GPT-2 is dat het model is getraind om steeds het volgende woord in een tekst te voorspellen. Dat het zichzelf daarnaast ook vaardigheden aanleerde op het gebied van vraagbeantwoording en vertalen was voor de ontwerpers een welkome verrassing. Het robotbrein kan daarmee uit de voeten in tekstdomeinen waar het niet specifiek voor is getraind. Dit noemen we ook wel zero-shot.
Zo open als de naam OpenAI doet vermoeden, was de Amerikaanse firma aanvankelijk niet. Volgens Sam Altman, CEO van OpenAI, kwam dit vanwege het potentiële gevaar dat de technologie met zich meebrengt. Bijvoorbeeld de mogelijkheid tot het genereren van fake news of gevaarlijke ideologieën. Uit angst hiervoor creëerde OpenAI eerst een AI-toepassing die door robots geschreven teksten kan opsporen. Pas daarna stelde zij de volledige code beschikbaar aan wetenschappers. Een gang van zaken die bij Orwell's ministerie van Waarheid in Nineteen Eighty-Four uiteraard ondenkbaar zou zijn geweest.
Het robotbrein aan het werk
Voor onderzoeksdoeleinden is het mogelijk om te experimenteren met het getrainde robotbrein van OpenAI. Om deze robot aan het schrijven te zetten moet minimaal een startzin worden opgegeven. Hoe meer informatie aan de robot wordt verschaft, hoe specifieker het verhaal wordt. Gelukkig kan het brein daarbij uit de voeten met zowel fictie als non-fictie. Ook is het niet vies van het bedenken van (eetbare) recepten. Opgemerkt moet wel worden dat wanneer de output niet wordt begrensd, er zowaar een lijvig boekwerk uitrolt.38
Onderstaande tekstpassage is een in lengte beperkt voorbeeld van wat de robot bedacht nadat ik de volgende startzin invoerde: "I did not know what to think, could robots really write?" Het robotbrein analyseerde de input en schreef:
Voor een tweede test veranderde ik de input naar: "What mystery is hidden here?" Linda asked. Mijn hoop dat de robot zou kiezen voor een dialoog in het fictiegenre kwam uit.
"That means you're an adventurer," Linda said.
"Yes," Shane said, his expression bleak. "But I prefer not to use the word, as it conveys a negative image. The word adventurer also implies some romance, adventure and success, which isn't my impression of what I do."
"The point is," Linda said, "you've been setting yourself up for failure and misery."
"You're doing it to yourself," Shane answered.
Eerlijk is eerlijk, je zou zo op het eerste gezicht niet zeggen dat een robot dit uit de losse pols geschreven heeft. Laat staan een robot die woord voor woord zelf de zinnen opbouwt en dus niet bestaande regels kopieert. Ook niet wanneer tien keer achterelkaar dezelfde input werd ingevoerd.
Alhoewel bovenstaande niet voor een wetenschappelijk onderzoek mag doorgaan, valt inhoudelijk op dat de robot goed gebruik heeft gemaakt van de opgegeven beginzin (input). Dit ondanks het feit dat deze erg kort was. Nadat ik buiten deze voorbeelden, langere teksten invoerde, speelde het resultaat nog beter in op de bijzonderheden van de opgegeven tekst. Natuurlijk zijn er wel kanttekeningen te plaatsen bij sommige tekstkeuzes, maar waar het in de kern om gaat, is dat de tekst natuurlijk over komt.
Problemen zijn te verwachten bij het consequent gebruik van de namen en karaktereigenschappen van de personages in een verhaal. Dit zie je bijvoorbeeld bij de eerste tekst, waarbij Mage zowel een tekenfilmpersonage als mens van vlees en bloed is. Is dit een perceptiefout van de robot of een ongelukkige naamkeuze?
Over de robot valt nog veel meer te zeggen, bijvoorbeeld over zijn uitstekende analytische vaardigheden, maar dit gaat voorbij aan de scope van dit artikel.
Grover
Om nog doelgerichter te kunnen schrijven worden er ook alternatieve versies van GPT-2 ontwikkeld, zoals Grover van het in Seattle gevestigde Allen Insitute for AI. Bij Gover heeft de gebruiker meer controle over het eindresultaat. Anders dan GPT-2 is Grover specifiek getraind op het schrijven van geloofwaardig neuraal fake news.39 Die geloofwaardigheid wordt bijvoorbeeld vergroot door bij de gegenereerde tekst te controleren of het voldoende aansluit op de titel. Grover heeft inmiddels zoveel krantenartikelen geanalyseerd, dat het in staat is eigen nieuwsartikelen en recensies te schrijven die niet van echt te onderscheiden zijn.40
Als test gaf ik de volgende headline op: 'Why Donald Trump won't settle for less.' De robotredactie bedacht het volgende 'nieuws':
Why Donald Trump won't settle for less
January 7, 2020 - Paul Krugman
Signs all over the country suggest that Americans, believing that China was taking advantage of the United States, have run out of patience with the Trump administration’s trade war. President Trump’s trade policy, during which Washington has imposed unilateral tariffs and threatened to do so again, has played out over the past 18 months as a classic episode of the principal advantage Trump has over his predecessors: the capability to make his opponents feel as if they have achieved nothing.
Trump has taunted President Obama’s amiability with China. He has mocked Bill Clinton’s attempts to further relations with Beijing. Barack Obama, for his part, has responded, by accusing Trump of engaging in deception and one-upmanship.
And his threats have sent the fear factor throughout the world. Instead of the usual reciprocity and patience, global markets have been reacting to every trading shock, with anxiety about future trade disputes often leading investors to dump riskier assets. Trump’s single-minded willingness to use the rules against a prior opponent has plunged the United States into a standoff with China that is having an effect on the global economy. ...
The solution, like many others, would be to settle for less. Trump’s own economic advisors and allies in Congress and the media have called for him to lower his tariffs in return for greater Chinese cooperation on trade. Let China lower its tariffs on U.S. automobiles or U.S. corporate exports and Trump could lower or completely eliminate his tariffs. On the other hand, China could accept Washington’s calls for bilateral talks rather than impose retaliation, agreeing to continue removing restrictions on foreign capital into China and opening its markets in other sectors. There are plenty of other ways for Beijing to make concessions that are in America’s interest.
But Trump will not settle for less. Even after the allies convinced him to drop his tariffs on steel and aluminum (since the Chinese are major purchasers of those commodities, he likely felt they had to take some of the blame), Trump was too enraged by the deal to recognize it. If anything, he is even more eager to find another line of attack. And his allies don’t seem to realize that. They were no better at identifying the problem and resolving it than Trump was.
The result, obviously, is increased fear about the prospect of worsening trade conflict. The prospect of even more unrestrained U.S. behavior — not to mention the prospect of losing leverage to use as leverage — makes life even more miserable for China and other important Chinese trading partners. But Trump isn’t having it.
As Tom Milnam suggests in The Washington Post, the worst outcome is a scorched-earth policy in which no resolution is reached and all sides end up even more mistrustful of one another than they were. But even a compromise would only buy some time.
So far, Trump has shown that his advisors and allies haven’t a clue how to deal with him. But they should try, because he’s clearly getting worse at strategic thinking and negotiating. If Washington can’t stick to a basic rule of international trade negotiations — no one wins if everyone loses — then nothing can stop Trump from taking advantage of a situation where he has nothing else to lose.
Wie scannend leest zal het simpelweg niet opvallen dat het om fake news gaat. De actualiteit van het bericht is werkelijk spot on, zelfs op de input wordt specifiek ingegaan. Dat de fictieve Tom Milnam van de Washington Post terloops als 'gehoorde' bron wordt aangehaald, maakt het griezelig echt.
Allemaal leuk en aardig, hoor ik je denken, maar een vakjury trapt daar toch niet in?
De Vakjury
Een groep wetenschappers van de Future University Hakodate in Japan nam de proef op de som. Onder leiding van Hitoshi Matsubara ontwierpen zij een schrijfrobot om mee te dingen naar de derde Nikkei Hoshi Shinichi Literary Award.41 Een Japanse literatuurprijs die is vernoemd naar de fictieschrijver Shinichi Hoshi, en waar ook robots aan kunnen deelnemen. Aan de jury wordt vooraf niet medegedeeld of er kunstmatige intelligentie is gebruikt.
Matsubara's team zette stevig in, maar liefst twee robotnovelles werden ingezonden. Tot veler verrassing kwam een hiervan door de eerste voorronde heen. De titel van de inzending was heel toepasselijk Konpyuta ga shosetsu wo kaku hi, ofwel ‘De dag dat een computer een roman schijft’. Een verhaal over een robot die besluit niet langer dienstbaar te zijn aan de mens en zich volledig te gaan richten op het schrijven.
Aan het schrijven — waarvan je het prille begin hierboven leest — gingen enkele jaren van voorbereiding vooraf. In het project met de naam 'The whimsical AI project: I am a writer', maakte het robotbrein eerst kennis met zo'n duizend korte verhalen van Shinichi Hoshi. Dit met als doel om de robot de schrijfstijl van de in 1997 overleden Hoshi aan te leren, inclusief de juiste balans tussen het gebruik van kanji en hiragana.42 Als referentie voor de robot, schreven de ontwerpers daarna een voorbeeldverhaal. De tekst werd vervolgens opgedeeld in drie basiscomponenten bestaande uit woorden, zinnen en zinsstructuur. Op basis van deze parameters gebruikte de robot een algoritme om — als variatie op het voorbeeldverhaal — tot een nieuwe novelle te komen. Voor de liefhebbers van getallen: het aantal mogelijke verhaalvariaties bedroeg een miljoen.
Op het eindresultaat bracht het team geen veranderingen aan. Was het verhaal langer geweest — en had het veel dialogen bevat — dan zou er sturing nodig zijn geweest wat betreft het plot en de karakterisering van de personages. Het volledig autonoom en automatisch laten uitwerken hiervan werd bij geen van de twee inzendingen toegepast.
Voor de toekomst voorziet Matsubara wel meer mogelijkheden om deze keuzes van AI te laten lijken op menselijke creativiteit. Het behalen van de eerste van de vier rondes betekent vooralsnog — als resultaat — niet meer dan dat het verhaal op de jury natuurlijk overkwam.
Schrijven met gezond verstand
Het zou interessant zijn om te zien hoever een met behulp van GPT-2 geschreven boek kan komen op het 8e boekenconcours dit jaar. Na Matsubara is het niemand gelukt om dat resultaat te evenaren. GPT-2's brein is veelzijdiger, autonomer en geavanceerder dan het model van de Future University Hakodate. Meer dynamiek in het verhaal mag dan ook worden verwacht, maar of de derde of vierde ronde van het concours haalbaar is... het lijkt me niet. Elke volgende ronde stelt hogere eisen aan de verhaalboog en vooral de creativiteit, een eigenschap die zich moeilijker in taalmodellen laat vangen.
Wij — als mensen — kunnen dingen zien en verwerken die we nog nooit eerder hebben waargenomen. Een AI moet daarvoor eerst getraind worden met data. Het kan, mits voldoende data voorhanden is, zich de schrijfeigenschappen van andere auteurs eigen maken, en een vergelijkbaar boek voortbrengen (een soortgelijk traject zal men ongetwijfeld ook met kunstwerken gaan bewandelen). Zo'n resultaat doet me denken aan de plateauvervlakking waar ik vorig jaar over schreef. Op zichzelf genomen is dat best knap, maar deze AI-vormen behoren niettemin nog steeds tot de overwegend zwakke AI's. Het voorbij de afgebakende taak denken gaat zo'n robotbrein moeilijk af. Kijk maar naar SIRI, die vragen buiten het gebruik van de telefoon niet (goed) beantwoordt.
Omdat de resultaten van GPT-2 zo goed lijken doordacht, is het moeilijk voor te stellen dat dit niet zozeer te maken heeft met 'echte' intelligentie, maar veeleer met het veinzen ervan. Dat komt omdat het systeem geen echt cognitie, ofwel denkvermogen heeft zoals het menselijk brein. Daarvoor heeft de AI tevens een (zelf)bewustzijn nodig en daarmee ook de conatieve functies als willen, streven, handelen, en de bijkomende affectieve functie die bestaat uit emoties. Het volledige spectrum van de cognitieve, conatieve en affectieve functies is meer omvattend dan een neuraal netwerk als zodanig. Voor zover een robot emoties kan onderscheiden, is dit voor de AI uiterlijk slechts een brok data, en mist het tevens de chemische of hormonale component die elk menselijk brein beïnvloedt bij de perceptie en beleving van gebeurtenissen. En daarmee raken we aan het hart van een boek, want is emotie niet sterk afhankelijk van context?
In de context
Zoals we eerder al zagen kan een robotbrein goed verbanden leggen tussen data (woorden), maar ontbreekt het zo'n robot aan het begrijpen van context. Gelukkig heeft contextueel denken momenteel bijzondere aandacht bij het ontwikkelen van AI. Het robotbrein leert daarbij (object)gegevens te combineren met herinneringen en deze in het juiste perspectief te plaatsen, waardoor betekenis ontstaat. Dit helpt de robot in de nabije toekomst om op meer natuurlijke wijze te communiceren met mensen. De robot heeft nog wel een lange weg te gaan om de subtiliteiten die verbonden zijn aan menselijke communicatie, en de daaraan verbonden intenties, goed te begrijpen; laat staan deze om te zetten naar zinvolle tekst.
De huidige AI schiet dus nog tekort op het gebied van: abstract denken, het toepassen van gezond verstand en het overdragen van kennis tussen verschillende terreinen. Dit neemt niet weg dat AI een handige, ondersteunende rol kan vervullen bij het schrijven van korte verhalen of artikelen. Er zijn inmiddels al nieuwsfeeds op internet die automatisch berichten samenstellen met behulp van AI. Ook voor fictieauteurs kan AI een soort van muzerol vervullen. Met het juiste algoritme kom je zowaar een heel eind. Voor het schrijven van complete boekwerken lijkt het robotbrein daarentegen nog lang niet geschikt.
Daar staat tegenover dat taal geen harde wetenschap is, eveneens ontbreekt het aan harde criteria. Hoe moet een robot ooit bepalen wat een verhaal een verhaal maakt — of welke van de 30.000 bedachte varianten het beste is — als zelfs een mens dit niet kan objectiveren? Dat gegeven maakt het genereren van verhalen tot een bijzonder complexe wetenschap. En misschien ook wel een onverdienstelijke, want hoe goed het kunstmatig brein zich ook ontwikkelt, feit blijft dat lezers liever boeken lezen die door echte mensen geschreven zijn.
Addendum (2022)
Het onderzoek voor dit artikel werd verricht in het najaar van 2019. Op dat moment was OpenAI een 'open' niet commerciële onderzoeksinstelling en ChatGPT(-2) open-source. De organisatie zag het als zijn missie om ervoor te zorgen dat kunstmatige intelligentie de gehele mensheid ten goede zou komen. Achter de schermen gebeurde echter iets anders. Op grote schaal werden auteursrechtelijk beschermde werken (van het internet) gekopieerd om een (gesloten) AI te ‘trainen’ voor commerciële datadiensten. Ondersteund door Microsoft parasiteert OpenAI inmiddels op originele data van makers die hier geen vergoeding voor krijgen. Het gaat daarbij om een dienst die bestaat uit het hergebruiken en (her)genereren (niet creëren), van beeld en tekst via een door de gebruiker ingegeven tekst-prompt (opdracht).