Tekst genereren met AI: hoe werkt dat?

AI rukt steeds verder op. Er komen niet alleen steeds meer AI-toepassingen, maar AI is voor steeds meer mensen toegankelijk. Heel vaak gebruik je AI zelfs onbewust. Zoek je op je telefoon bijvoorbeeld naar foto’s van je kat? Dan gebruikt de app hiervoor AI.

Maar er zijn ook steeds meer programma’s waarmee je zelf iets nieuws kunt genereren. Bijvoorbeeld AI-programma’s waarmee je nieuwe plaatjes maakt of ChatGPT, dat nieuwe teksten genereert. Moet je voor school bijvoorbeeld een werkstuk maken? Dan kun je ChatGPT vragen dat te schrijven, waarbij je zelf alleen het onderwerp en de kenmerken van je werkstuk aangeeft. Even later rolt er vanzelf een werkstuk uit de computer. Maar of dit nu zo’n goed idee is…

Wel of geen ChatGPT?

Leerlingen lijkt het natuurlijk superhandig om een AI-toepassing als ChatGPT te gebruiken. Maar docenten zaten bij de introductie van ChatGPT meteen met de handen in het haar: “Hoe kan ik zien of mijn leerling een tekst zelf heeft geschreven, of met ChatGPT?” vroegen zij zich af en: “Wat leren mijn leerlingen nog als ze hun werk uit handen geven aan een AI-toepassing?” Terechte vragen van de docenten, die hun leerlingen willen klaarstomen voor hun vervolgstudie en hun werkzame leven.

Toch is de kans groot dat leerlingen later zelf ook met AI-toepassingen zullen werken in allerlei vakgebieden. In het natuurkundig onderzoek blijkt AI handige toepassingen te hebben. Het is daarom misschien wel het beste om toepassingen zoals ChatGPT niet helemaal uit de weg te gaan, maar leerlingen te leren hoe ze het als hulpmiddel – net als een rekenmachine – kunnen gebruiken. Op die manier leren ze er op een zinvolle manier mee om te gaan en het vooral te gebruiken als ondersteuning van hun eigen werk.

Neuraal netwerk als basis

Hoe werken AI-toepassingen eigenlijk? De meeste AI-toepassingen hebben één ding gemeen: ze werken met een neuraal netwerk. Dat is een kunstmatig netwerk van onderling verbonden knooppunten dat AI gebruikt om patronen te kunnen herkennen. Het netwerk heeft een invoerlaag waar je informatie in stopt en een uitvoerlaag waar een uitkomst uitrolt. Daartussenin zitten heel veel zogenoemde verborgen lagen van knooppunten. De verbindingen tussen al deze knooppunten hebben een weegfactor. Die factor bepaalt hoe zwaar een knooppunt in het netwerk meetelt. Deze factoren bepalen uiteindelijk wat de uitvoer van het netwerk is. Een voorbeeld van een heel simpel neuraal netwerk zie je in figuur 2.

Een neuraal netwerk is van zichzelf niet ‘slim’ of ‘intelligent’. Sterker nog, als je voor het eerst data in het netwerk invoert, geeft het helemaal geen slimme antwoorden. Pas na trainen van het netwerk met heel veel data zal de uitvoer van het netwerk zinnige antwoorden opleveren. Wil je bijvoorbeeld weten of er op een foto een kat staat, zoals in de app op je telefoon? Dan moet je dit netwerk ‘voeren’ met heel veel foto’s van katten en andere dieren. Bij het trainen geef je steeds aan of er op de foto - die het netwerk beoordeelt - een kat staat. Zo krijgt het neurale netwerk steeds meer foto’s te zien waarbij duidelijk is wat de uitkomst moet zijn: dit is een kat.

Bij elke nieuwe foto waarmee je het netwerk traint, worden de weegfactoren in het neurale netwerk – met een computeralgoritme – een beetje aangepast. Doe je dit me heel veel foto’s, dan worden de weegfactoren zo ingesteld, dat het antwoord steeds beter klopt. Maar van enig begrip is in het neurale netwerk geen sprake. De antwoorden die AI geeft, zijn gebaseerd op statistiek. Bij het voorbeeld met de kattenfoto’s vindt AI een percentage voor de waarschijnlijkheid van het antwoord ‘dit is een kat’ en een voor ‘dit is geen kat’. Het hoogste percentage bepaalt dan welk antwoord AI geeft.

Je weet nu dat AI een neuraal netwerk gebruikt om iets te beoordelen. Maar hoe werkt generatieve AI dan, waarbij je iets nieuws creëert? Generatieve AI-toepassingen zijn een soort volgordevoorspellers. Op basis van statistiek voorspellen ze welke elementen elkaar op zouden kunnen volgen. Daarnaast kunnen generatieve AI-toepassingen ook samenhang creëren in wat ze maken. Dat kunnen ze, omdat ze in het trainingsmateriaal patronen kunnen herkennen. Of je nu met AI een kunstwerk maakt in de stijl van Van Gogh, of dat je AI een tekst laat schrijven: alles begint met statistiek en het herkennen van patronen.

ChatGPT ontleed

Hoe werkt het maken van een tekst met ChatGPT? ChatGPT is een taalmodel, een large language model (LLM). Dit taalmodel probeert woordvolgordes te voorspellen door te kijken naar de waarschijnlijkheid waarmee het ene woord volgt op het andere. Om achter deze waarschijnlijkheid te komen, moet het neurale netwerk dat in het taalmodel zit wel eerst getraind worden met gigantisch veel teksten.

Hoe gaat het samenstellen van een tekst dan in z’n werk? Sascha Caron is natuurkundige en werkt als onderzoeker en docent machine learning in de hoge energiefysica bij de Radboud Universiteit in Nijmegen en als onderzoeker bij Nikhef. Hij legt uit hoe dit zit: “Stel je bijvoorbeeld voor dat je ChatGPT vraagt om een tekst te schrijven over honden en de AI-toepassing begint zijn verhaal met het woord ‘Honden’.

Het programma gaat nu op zoek naar woorden waarvan de kans het grootst is dat deze woorden na het woord ‘honden’ komen. Doordat ChatGPT getraind is met heel veel teksten, weet het taalmodel welke woorden statistisch de grootste kans hebben om na ‘honden’ te komen.” Je kunt dit vergelijken met het herkennen van kattenfoto’s. Daarbij vindt het neurale netwerk de waarschijnlijkheid voor het antwoord ‘het is een kat’ en voor ‘het is geen kat’. Hier is de invoer het woord ‘honden’ en de uitvoer een hele rij woorden die hierop kunnen volgen. Het neurale netwerk vindt dan voor ieder woord wat de kans is dat dit woord volgt op ‘honden’. “ChatGPT heeft dus een aantal opties voor woorden, die elk hun eigen waarschijnlijkheid hebben”, vervolgt Caron.“Vervolgens ‘dobbelt’ ChatGPT welk woord uit deze aangegeven opties er na honden komt. Hierbij maken de woorden met de grootste waarschijnlijkheid natuurlijk de grootste kans om het te worden. Zo bepaalt ChatGPT welk woord er na ‘honden’ komt, bijvoorbeeld het woord ‘zijn’.”

Als ChatGPT zo het eerste woord heeft gekozen dat na ‘honden’ komt, gaat het verder met de combinatie ‘honden zijn’. Nu gaat het op zoek naar de woorden die het meest waarschijnlijk zijn na deze woordcombinatie. Zo kan stap voor stap een hele tekst worden opgebouwd. Wat er dan uiteindelijk uit ChatGPT rolt is een verhaal over honden. Zou je nog een keer precies dezelfde opdracht geven, dan zul je merken dat het verhaal net iets anders zal zijn. Dat komt omdat ChatGPT bij het dobbelen welk woord er na ‘honden’ komt dan waarschijnlijk op een ander woord uitkomt, bijvoorbeeld op het woord ‘hebben’. Ook voor het kiezen van de volgende woorden na ‘honden hebben’ zal de uitkomst anders zijn. Zo ontstaat er vanzelf weer een iets andere tekst.

Als je puur op basis van statistiek woord voor woord een tekst zou opbouwen, zou de samenhang in de tekst kunnen ontbreken. Maar in de naam ChatGPT staat ‘GPT’ voor Generative Pre-trained Transformer. Door de ontwikkeling van deze transformertechniek – die sinds 2017 wordt toegepast – is het mogelijk om ook de onderlinge samenhang tussen woorden mee te nemen in de opbouw van een tekst. Hierbij kun je denken aan samenhang door grammatica of betekenis.Het neurale netwerk vindt patronen in teksten, die het vervolgens gebruikt om ook in een nieuwe tekst samenhang te creëren. Kijk je bijvoorbeeld naar het spreekwoord ‘de appel valt niet ver van de boom’, dan kan AI dit herkennen als een patroon, omdat dat in heel veel teksten precies in deze combinatie voorkomt. Stel dat je het taalmodel dan alleen dit geeft: ‘de appel valt niet ver van …’ en je laat het model het laatste stukje invullen, dan zal het deze zin hoogstwaarschijnlijk aanvullen met ‘de boom’.

Hoe gaat ChatGPT om met woorden en verbanden hiertussen?

Om te snappen hoe een taalmodel werkt, is het goed om te weten hoe het neurale netwerk omgaat met woorden. Een neuraal netwerk rekent met getallen, niet met letters. Voordat een neuraal netwerk patronen kan zoeken in teksten, wordt elk woord (of woordcombinatie) in het taalmodel voorgesteld door een punt in een meerdimensionale ruimte. Het aantal dimensies van zo’n ruimte is gigantisch groot, je moet hierbij denken aan honderden of zelfs duizenden dimensies. Bij het trainen van ChatGPT worden al deze punten in het neurale netwerk ingevoerd. Dat kunnen bij een lange tekst heel veel punten zijn. Met het neurale netwerk wordt dan de waarschijnlijkheid bepaald waarmee woorden elkaar opvolgen. 

Om ook samenhang te creëren, gebruikt het transformermodel een neuraal netwerk om verbanden tussen al deze punten – die woorden voorstellen – te berekenen. Het model vindt zo voor elke combinatie van twee woorden een correlatiewaarde die dit verband aangeeft. Is dit getal hoog? Dan is er een sterk verband tussen deze twee woorden. Is het getal laag? Dan is er nauwelijks verband tussen de twee woorden. Het transformermodel kan niet alleen zoeken naar het verband tussen twee woorden, maar kan dit ook voor woordcombinaties. Alle verbanden die het taalmodel zo vindt, kan het gebruiken bij het opbouwen van een nieuwe tekst.

Na het trainen van het taalmodel met heel veel teksten, wordt de plek waar ieder woord zich bevindt in de meerdimensionale ruimte steeds preciezer bepaald. Waar het woord in de ruimte terechtkomt, houdt verband met de betekenis van het woord en met de relatie van dit woord tot andere woorden. Dat betekent dat woorden die een vergelijkbare betekenis hebben, of die verband met elkaar houden, dicht bij elkaar staan. Maar wat deze verbanden tussen de woorden nu precies zijn in dit soort grote taalmodellen is niet te achterhalen. 

Door de toepassing van de transformertechniek staan woorden niet helemaal op zichzelf. Ze zijn zich als het ware bewust van de andere woorden om zich heen, van hun context. Hierdoor kan ChatGPT een samenhangend verhaal opbouwen, waarbij het lijkt alsof er een slim antwoord gegeven wordt. De opbouw van een nieuwe tekst is zo niet meer alleen afhankelijk van de statistiek die voorspelt welk woord er na een ander woord komt, maar deze krijgt ook meteen samenhang. De transformertechniek heeft de ontwikkeling van LLM’s in een stroomversnelling gebracht. Zo kon vanaf eind 2022 ook het grote publiek gebruikmaken van AI-toepassingen zoals ChatGPT.

Waarmee train je AI?

Je kunt je wel voorstellen dat het nogal uitmaakt met welke teksten ChatGPT getraind wordt. Zou je het systeem voeren met alleen maar Engelse teksten, dan zal de tekst die uit de AI-generator komt een Engelse tekst zijn. Maar als je de AI-toepassing alleen zou trainen met Nederlandse teksten, dan komt er een Nederlandse tekst uit. Voor de uitvoer maakt het dus heel veel uit waarmee je AI traint. Dit bepaalt welke samenhang AI vindt. Dat brengt ook meteen in beeld wat het gevaar is van generatieve AI. Als het trainingsmateriaal niet neutraal is dan ligt discriminatie op de loer. Ook is er nog de vraag hoe grote taalmodellen om moeten gaan met auteursrechten.

Het is razend knap wat je allemaal al kunt met generatieve AI-toepassingen. Ze maken gebruik van statistiek en zoeken naar patronen in de invoer waarmee je de toepassing traint. Welke patronen AI vindt? Dat blijft voor ons als gebruiker onzichtbaar. Blijf daarom altijd kritisch op de uitvoer van AI. Als gebruiker weet je nooit precies waarmee het systeem getraind is. Bovendien weet je nooit zeker of een tekst die uit ChatGPT rolt inhoudelijk klopt. Hoe ‘slim’ AI ook lijkt, menselijk inzicht en eigen verantwoordelijkheid blijven altijd heel belangrijk bij het gebruik van AI!