Spätestens seit das von Elon Musk und Microsoft unterstützte Sprachmodell GPT-3 (Generative Pre-trained Transformer 3) im Jahr 2020 auf den Markt kam, ist das öffentliche Interesse an KI-gesteuerten Textgeneratoren gewachsen. Ein medienwirksamer Auftritt in „The Guardian“, wo GPT-3 sich in einem Artikel selbst vorstellte, legte den Schluss nahe, dass Künstliche Intelligenzen bereits für Textproduktionen einsetzbar sind.
Auf der anderen Seite rät Google von der Verwendung von KI-generiertem Content ab. Erfahrungsgemäß hätten diese Inhalte weiterhin eine niedrigere Qualität, sodass eine Abstrafung in den Suchergebnislisten drohe.
Sind KI-gesteuerte Sprachmodelle wie GPT-3 also bislang nur eine technische Spielerei oder lassen sie sich auf Websites und im Marketing bereits gewinnbringend einsetzen – und wenn ja, in welchen Bereichen der Textproduktion?
Wie funktioniert die KI-getriebene Texterstellung bei GPT-3?
Funktionsweise des Sprachmodells
Schauen wir uns zuerst die Funktionsweise von GPT-3 an, um zu verstehen, wie aktuelle Sprachmodelle arbeiten. Die neuesten Modelle zur KI-getriebenen Texterstellung setzen einerseits auf einen riesigen Korpus von Trainingsdaten (zum Vergleich: Die kompletten Wikipedia-Inhalte machen ein Prozent des Trainings-Korpus von GPT-3 aus), der unter anderem aus lexikalischem Wissen, Website-Content, Literatur sowie alltäglichen schriftlichen Unterhaltungen besteht.
Die Künstliche Intelligenz kann aber mehr, als diese Texte nur zu filtern: Dank Machine Learning nutzt sie sie als Basis für eigene Aussagen und Ideen. Das Ziel ist also, nicht nur Informationen in anderer Form wiedergeben zu können, sondern ein tieferes Verständnis von Zusammenhängen zu entwickeln. So sollen Texte mit logisch aufeinander aufbauenden Sätzen bis zu einer Länge von etwa zwei DIN-A4-Seiten möglich sein.
Funktionen der Nutzer-Oberfläche bei GPT-3
Auf der für Nutzer sichtbaren Oberfläche lassen sich über mehrere Parameter verschiedene Einstellungen vornehmen, darunter:
- Wahl der Engine: Das Unternehmen OpenAI bietet verschiedene Engines an, die auf verschiedene Aufgaben spezialisiert sind: Die leichtgewichtige Ada-Engine eignet sich für simple Tasks wie das Erkennen von Keywords, Babbage eignet sich am besten für semantische Klassifikationen, während Curie und Davinci das komplette Potenzial der Künstlichen Intelligenz ausschöpfen. Entsprechend unterscheiden sich auch die Kosten der Engines: Dieser liegt derzeit zwischen 0,0008 Dollar für ein Token der Ada-Engine und immerhin 0,06 Dollar bei der Davinci-Engine.
- Textlänge: Wie lang soll der Output-Text sein, den das Sprachmodell ausgibt? Dieser wird in der Einheit Token berechnet, die ungefähr einer Silbe gleichzusetzen ist. Die Maximallänge beträgt 2.048 Tokens – etwa die Länge dieses Artikels.
- Temperature: Mit diesem Wert lässt sich die Kreativität der KI festlegen. Die Spanne reicht von 0 = reine Aufzählung der Fakten bis 1 = experimentelle Verarbeitung. Je höher der Wert, desto stärker weichen die Texte bei gleichen Vorgaben voneinander ab.
- Top P: Wie wichtig ist es dem Nutzer, dass die Künstliche Intelligenz nicht vom Thema abschweift? Je essayistischer der Text sein darf, desto höher der Wert dieses Parameters, der ebenfalls zwischen 0 und 1 liegt.
Damit sind die Eckpunkte des zu erstellenden Textes geklärt, aber noch nicht, welchen Inhalt er überhaupt haben soll. Dies wird über einen sogenannten Prompt gelöst, also Anweisungen des Nutzers, die er in Textform vorgibt. Der Prompt kann sowohl reine Vorgaben enthalten („Verfasse ein Facebook-Posting zu den Vorteilen von GPT-3“) als auch den Textbeginn, der dann vom Sprachmodell selbstständig zu einem kompletten Text vervollständigt wird.
Für diese Anwendungen eignet sich GPT-3
Theoretisch lassen sich mit GPT-3 alle Arten von Texten produzieren. Nicht alle davon sind jedoch schon für den professionellen Einsatz geeignet. Seine Stärken kann GPT-3 beispielsweise in diesen Bereichen ausspielen:
- Zusammenfassungen: Für Zusammenfassungen aller Art, zum Beispiel als FAQ-Texte, liefert GPT-3 in Windeseile brauchbare Ergebnisse. Auch für einen schnellen Überblick über ein Thema kann das Sprachmodell eingesetzt werden. Zu den Fähigkeiten von GPT-3 gehört auch das Anfertigen von Listen – wie zum Beispiel von Filmklassikern. Derartige Listen lassen sich zum Beispiel zum Bestandteil einer Social-Media-Strategie machen.
- Service-Bots: Die Anforderungen an Service-Bots sind für eine KI zu bewältigen: bei einfachen Fragestellungen aus einem Repertoire an Hilfestellungen zu schöpfen und bei schwerwiegenden Problemen auf andere passende Supportkanäle zu verweisen. Die Bots haben gegenüber einem menschlichen Support-Team den großen Vorteil, dass sie jederzeit erreichbar sind – auch bei großem Andrang, nachts und während der Sonn- und Feiertage.
- Ausformulierungen: Sie haben sich in einer Sitzung Notizen gemacht und wollen daraus für Ihre Teamkollegen einen zusammenhängenden Text erstellen? Die KI vervollständigt mit passenden kurzen Überleitungen von einem Notizpunkt zum nächsten.
Daran lässt sich bereits erkennen, dass die Stärken des Sprachmodells besonders darin liegen, mit bekannten Mustern umzugehen. Je mehr Gewicht seine „Erfahrung“ durch die riesige Menge an Trainingsdaten erhält, desto besser kann es seine Vorteile gegenüber menschlichen Arbeitskräften ausspielen: jederzeit verfügbar zu sein und in Sekundenbruchteilen auf alle erdenklichen Informationen zurückgreifen zu können.
Die Grenzen von GPT-3
So faszinierend die Möglichkeiten auch sind, die GPT-3 schon heute bietet – nur unter idealen Umständen oder bei vielen Versuchen wird die KI auf eine Textvorgabe hin Texte produzieren, die von menschengemachtem Content nicht zu unterscheiden sind. Besondere Probleme bereiten ihr folgende Anwendungsbereiche:
- Kreative Texte: Mit kreativen Texten sind nicht nur Hochliteratur, Gedichte oder Fantasy-Erzählungen gemeint. Auch mit Blogposts oder -artikeln tut sich GPT-3 schwer. Das ist auch kein Wunder, ist auch der stringente, logische Aufbau eines Textes – man könnte sagen, die „Erzählung“ – eine immens komplizierte Aufgabe. Und je länger der Text ist, desto schwieriger wird es, den roten Faden aufrechtzuerhalten und bestenfalls noch einen steigenden Spannungsverlauf einzuarbeiten.
- Neue Ideen: Eine KI kann bislang nicht über Themen schreiben, von denen sie keine Vorlagen hat. Ihre Texte werden umso besser, je mehr Quellen ihr zur Verfügung stehen beziehungsweise je mehr Anknüpfungspunkte sie zu ähnlichen Themen findet.
- Nachrichten: Eine weitere Beschränkung ergibt sich momentan noch aus dem Alter des Korpus, mit dem die KI trainiert wurde. So war es 2020 nicht möglich, GPT-3 Texte über die Corona-Pandemie verfassen zu lassen, da die KI schlichtweg noch nichts von dem Ausbruch wusste. Für aktuelle Themen wäre es wichtig, Trainingsdaten quasi live einzuspielen – dies ist aber mit sehr großem Rechenaufwand verbunden.
In diesen Bereichen sollten die Ergebnisse von GPT-3 mit größter Vorsicht genossen und müssen sorgfältig redigiert werden, sodass es in der Regel schneller geht, die Texte von Menschen schreiben zu lassen. Das bedeutet nicht, dass GPT-3 hier überhaupt keine Hilfe sein kann: Als Stichwortgeber für den Aufbau eines Textes oder für alternative Formulierungen hat die KI auch hier ihre Berechtigung.
Ausblick: Alternativen zu GPT-3
Die Entwicklung auto-regressiver Sprachmodelle scheint erst an ihrem Beginn zu stehen. Zwar ist bislang kein Nachfolger für GPT-3 angekündigt, es ist allerdings davon auszugehen, dass im Hintergrund bereits daran gewerkelt wird. Nicht unerwähnt bleiben sollte, dass neben GPT-3 auch zahlreiche weitere Sprachmodelle in Entwicklung sind, darunter beispielsweise die kostenfreien Projekte GPT-NeoX-20B sowie OpenGPT-X. Letzteres legt einen Fokus auf deutsche Texte, wohingegen die meisten anderen Modelle die besten Ergebnisse mit der englischen Sprache bringen.