Wie ChatGPT eigentlich Texte erzeugt
Um zu verstehen, was bei Sprachmodellen wie ChatGPT „hinter den Kulissen“ passiert, müssen wir uns zunächst die Aussenseite genauer anschauen.
Die grundlegende Leistung von Sprachmodellen besteht darin, zu einer gegebenen Folge von Wörtern (Eingabe) das jeweils nächste Wort (Ausgabe) zu ermitteln.
Das gefundene Wort wird an die vorherige Eingabe angehängt und dann erneut eingegeben. Auf diese Weise entsteht, Wort für Wort, ein kompletter Text.
Ein Sprachmodell (hier auch "Transformer" genannt") baut einen Satz Wort für Wort...
Tatsächlich liefert das Sprachmodell nicht das eine nächste Wort, sondern eine Liste mit den wahrscheinlichsten Wörtern. Ganz ähnlich wie bei der Buchstabenerkennung aus dem ersten Teil dieses Kurses!
Die Zeichenerkennung mit Hilfe eines neuronalen Netzes liefert keine eindeutigen Aussagen, sondern Wahrscheinlichkeiten.
Eine Fortsetzung genauer betrachtet
Gehen wir das anhand eines älteren Sprachmodells, GPT2, durch. Beginnen wir mit dem Wort "Es"...
Eingabe | Vorgeschlagene Fortsetzungen |
Es |
0: ist 1: gibt 2: war 3: wird 4: geht 5: sind 6: gab 7: sei 8: hat 9: muss |
Eingabe | Vorgeschlagene Fortsetzungen |
Es war |
0: ein 1: eine 2: nicht 3: die 4: der 5: das 6: so 7: sehr 8: auch 9: , 10: für 11: nur 12: mir 13: in 14: kein 15: einmal |
Eingabe | Vorgeschlagene Fortsetzungen |
Es war einmal |
0: ein 1: ... 2: eine 3: in 4: , 5: . 6: im 7: [Neue Zeile] 8: der 9: die |
Eingabe | Vorgeschlagene Fortsetzungen |
Es war einmal ein |
0: Mann 1: König 2: kleines 3: junger 4: kleiner 5: Mädchen 6: Junge 7: großer 8: alter 9: Land |
GPT2 schreibt eine längere Forsetzung
So setzt die deutschsprachige Variante von GPT2 unser "Es war einmal ein König" fort:
Es war einmal ein König, der eine Königin aus einem fernen Land empfing... Die Königin der Könige. Man sagt, dass sie ihm immer in allen Ehren auf seine Rückkehr warteten. Es geschah aber auch in anderen Ländern. In Britannien, als mein Bruder mich verließ, um auf dem Gut seiner Mutter zu arbeiten, aber es gelang ihm, mit dieser Tochter einer gewissen Hentai Jarkon zu fliehen. Als er seine Rückkehr nicht schaffte, nahm ich ihn in meine Arme und brachte ihn so weit weg, daß er sich kaum bewegen konnte. Aber die Königin ließ es ihm vorsprechen. Sie sprach: "Ja, sie ist unsere Königin! Wie soll ich die Königin halten, wenn ich den Himmel sehe, während sie in die Welt hinauszieht?" Und ich antwortete mit einem Lächeln zu ihm: "Das ist meine Tochter!" Als das Mädchen sie aber sah, sprach sie: "Das ist meine Tochter!" Und ich sagte: "Das ist meine Tochter! Wir wollen die Hochzeit unserer Tochter feiern." Und sie blieb für sechs Jahre in ihrem Palast. ....und so weiter! |
Fortsetzungen von der englischsprachigen Variante
Die englischsprachige Variante von GPT2 kann etwas zusammenhängender "erzählen", hier sind drei Kostproben, wie unser "Es war einmal ein König" bzw. "Once upon a time there was a king" fortgesetzt wird:
Englisch |
Deutsche Übersetzung |
Once upon a time there was a king by the name of Arondils. He ruled over the kingdom called Arnor. And when his son took this great throne, he put it in charge of Arondils the king. And his son's name was Gwylim, which the gods called Gwylimmarth. And Arondils went to meet him on the mountain of Gwynedd, and he met him on the mountain of Mardum. And after he had received of him, Arondils went to meet him at the mountain of Arnor, and upon hearing of his son's name, Gwylimmarth was greatly moved. In the beginning there was a certain king named Gwylimmarth of Gwynedd. He was so high above the kings that he was able to speak to men from the highest places in the land. He was so high in authority that he could speak and act on laws, and he was so strong in wisdom that he knew the secret of many things. He was so wise that he was able to rule over all the nations of Men. And he was so great in authority that he was able to reign over all of Men and to take away the minds of men and to corrupt and to destroy all who he had power to take away... |
Es war einmal ein König mit dem Namen Arondils. Er herrschte über ein Königreich namens Arnor. Und als sein Sohn diesen großen Thron bestieg, übertrug er ihn dem König Arondils. Und der Name seines Sohnes war Gwylim, den die Götter Gwylimmarth nannten. Und Arondils ging ihm entgegen auf den Berg von Gwynedd, und er traf ihn auf dem Berg von Mardum. Und nachdem er ihn empfangen hatte, ging Arondils hin, um ihn auf dem Berg von Arnor zu treffen, und als er den Namen seines Sohnes hörte, war Gwylimmarth sehr bewegt. Am Anfang war ein gewisser König namens Gwylimmarth von Gwynedd. [Er war so hoch über die Könige erhaben, dass er von den höchsten Plätzen des Landes zu den Menschen sprechen konnte. Er war so hoch in seiner Macht, dass er Gesetze sprechen und umsetzen konnte, und er war so weise, dass er das Geheimnis vieler Dinge kannte. Er war so weise, dass er über alle Völker der Menschen herrschen konnte. Und er war so mächtig, dass er über alle Menschen herrschen und den Menschen den Verstand rauben und alle verderben und vernichten konnte, die er dazu in der Lage war... |
Once upon a time there was a king who claimed he was the reincarnation of Buddha who came to earth in the body of Ananda. His name was Buddha. He was a great sage and taught all the world's religions. One day, a young king came to ask him to give up his body. The king knew that he was the reincarnation of Buddha and therefore didn't want to be reborn as a human any more; he wanted to return to earth as a golden age prince with a body like a tiger. However, a lot of people didn't believe him because he was really a lion-man on a tiger's back with a tail like a snake. A great number of princes had tried to kill Buddha over the past few years, so a king who had a tiger's tail on his back looked pretty appealing. As long as he didn't try to kill him, he was perfectly fine. They gave him a golden robe and clothes to wear, and set up a temple in his honour... |
Es war einmal ein König, der behauptete, er sei die Reinkarnation des Buddha, der im Körper von Ananda auf die Erde kam. Sein Name war Buddha. Er war ein großer Weiser und lehrte alle Religionen der Welt. Eines Tages kam ein junger König zu ihm und bat ihn, seinen Körper abzugeben. Der König wusste, dass er die Reinkarnation Buddhas war und wollte deshalb nicht mehr als Mensch wiedergeboren werden, sondern als Prinz des Goldenen Zeitalters mit einem Körper wie ein Tiger auf die Erde zurückkehren. Doch viele Menschen glaubten ihm nicht, weil er in Wirklichkeit ein Löwenmensch auf dem Rücken eines Tigers mit einem Schwanz wie eine Schlange war. In den letzten Jahren hatten viele Prinzen versucht, Buddha zu töten, und so sah ein König mit einem Tigerschwanz auf dem Rücken ziemlich verlockend aus. Solange er nicht versuchte, ihn zu töten, war er völlig in Ordnung. Sie gaben ihm ein goldenes Gewand und Kleidung und errichteten ihm zu Ehren einen Tempel... |
Temperatur 0
Once upon a time there was a king who was a great warrior. He was a great warrior, and he was a great king. And he was a great king, and he was a great king. And he was a great king, and he was a great king. And he was a great king, and he was a great king. And he was a great king, and he was a great king. And he was a great king, and he was a great king. And he was a great king, and he was a great king. And he was a great king, and he was a great king. And he was a great king, and he was a great king. And he was a great king, and he was a great king. And he was a great king, and he was a great king. And he was a great king, and he was a great king... |
Es war einmal ein König ordinierter Priester, der in der Stadt lebte und die Stadt regierte. Er war ein Mann von großer Weisheit und von großer Liebe. Er war ein Mann von großer Liebe und von großer Liebe. Er war ein Mann von großer Weisheit und von großer Liebe. Er war ein Mann von großer Liebe und von großer Liebe. Er war ein Mann von großer Weisheit und von großer Liebe. Er war ein Mann von großer Liebe und von großer Liebe.... |
Woher weiß das Sprachmodell, was die wahrscheinlichsten nächsten Wörter sind? Es lernt aus ungeheuer großen Mengen aus Beipieltexten.
Wir schauen uns im folgenden Abschnitt ein sehr viel älteres Verfahren an, als das, was bei ChatGPT verwendet wird, um Fortsetzungen von Wortfolgen zu finden.