Auf Mastodon fanden wir einen englischsprachigen Text von Dennis Schubert, der sehr schön verdeutlicht, warum man Large Language Models wie ChatGPT nicht ungeprüft vertrauen sollte. Mit freundlicher Erlaubnis des Autors gibt es hier (ohne Zeichenlängen-Begrenzung) eine deutsche Übersetzung – angefertigt ganz ohne Hilfe von LLMs oder auch nur DeepL, einfach nur durch Nebeneinanderstellen zweier Texteditor-Fenster, links Original, rechts leer, und fröhliches Reinschreiben 🙂
***
Stell dir vor, du bist farbenblind. So farbenblind, dass du überhaupt nur Graustufen sehen kannst, keine einzige Farbe – aber alles andere am Sehen funktioniert.
Du bist gestresst und brauchst ein Zappelspielzeug; also drückt eine Freundin dir einen Ball in die Hand. Der ist hart, aber auch irgendwie knautschig, und er hat eine ganz merkwürdige, textile und haarige Oberfläche. Jetzt willst du wissen, welche Farbe der Ball hat – aber hey, du bist farbenblind, und deine Freundin ist schon weg und du kannst sie nicht erreichen: Wahrscheinlich sitzt sie im Zug, das wird also nix.
Also machst du ein Foto und postest es in einem Subreddit namens „Welche Farbe ist das?“; das klingt erst mal vernünftig. Du bekommst 200 Antworten – 198 davon „das ist Gelb“, zwei Mal „das ist Pink“. Ein paar Leute sagen hilfreicherweise, es sei ein „Tennisball“. Das passt gut, denn sogar der Wikipedia-Artikel besagt, dass nur Gelb und Weiß die offiziell zulässigen Farben für Tennisbälle sind. Alles klar!
Ein paar Tage später kommt irgendwer auf dich zu und sagt, „Cooler Ball! Welche Farbe ist das denn?“, und du sagst, „Gelb!“ Ende des Gesprächs. Und ein LLM würde genau das gleiche sagen, denn weil damals die allermeisten Antworten auf Reddit „Gelb“ lauteten, ist dein Ball höchstwahrscheinlich gelb. Ball==gelb ist eine Gleichung, die du und das LLM sozusagen gelernt habt. Ein paar Wochen später fragt dich ein anderer Freund: „Alice hat auch einen Ball. Weißt du, welche Farbe der hat?“ – und an der Stelle wird’s spannend:
Das LLM würde sofort sagen: „Gelb“. Vollkommen logisch: „Gelb“ ist die allerwahrscheinlichste Antwort auf diese Frage. Aber du bist kein LLM – du bist ein Mensch, und dein Verstand ist ein cooles Ding. Statt zu sagen, „Gelb“, antwortest du: „Hä, woher soll ich das wissen? Mein Ball ist gelb, vielleicht hat sie einen ähnlichen Ball. Aber genauso gut könnte sie einen völlig anderen Ball in einer ganz anderen Farbe haben. Und überhaupt bin ich farbenblind – ich kann das sowieso nicht verbindlich sagen, frag mal lieber Alice selbst.“ An dieser Stelle arbeitet dein Verstand schon besser als jedes LLM: Deine Engine für logisches Denken hat verstanden, dass du etwas nicht weißt, und du bist ehrlich genug, genau das zu sagen. Es ist nicht dein Job, Farben von Bällen zu schätzen, du bist nur ein Mensch.
Aber warte, es kommt noch besser: Noch mal ein paar Wochen später triffst du dich mit mir. Du gibst mir deinen Ball und sagst: „Guck mal, mein cooler gelber Ball!“, und – was soll das jetzt? – ich antworte, „Was?? Der ist nicht gelb, das ist ein pinker Tennisball …“ Und hier wird’s echt komisch: Wärst du ein LLM, dann würdest du jetzt entweder darauf bestehen, dass dein Ball definitiv gelb ist – oder du würdest was murmeln von „Ja sorry, Missverständnis, du hast Recht und der Ball ist pink“, ganz so, als ob wir unterschiedliche Definitionen von Farben hätten; und wenn du das nächste Mal nach der Farbe deines Balls gefragt wirst, würdest du dann wieder „Gelb!“ sagen: Schließlich steht es immer noch 198 zu 3 für Gelb gegen Pink.
Aber du bist kein LLM. Du bist ein Mensch, und dein sexy Verstand ist sofort im Modus „Alarm, Informationskonflikt! Wie spannend – dem müssen wir auf den Grund gehen!“ Du hast jetzt zwei widersprüchliche Hypothesen und willst rausfinden, wie du sie prüfen kannst. Und du hast eine Idee: Du kennst die Sache mit der additiven Farbmischung, dein Handy kann Farbfotos machen und du kannst davon die RGB-Werte auslesen. Wenn der Ball gelb ist, müssten die Werte für Rot und Grün hoch sein und die für Blau bei Null – und wenn er pink ist, dann wären es hohe Rot- und Blauwerte, aber kein Grün. Das lässt sich doch testen!
Du machst also dein Bild, und … tadaa: rgb(255, 0, 255). Dein Ball ist also wirklich pink! Es ist ein Tennisball, aber bestimmt kein offizieller für Turniere, denn er ist pink. Wow! Du hast grade also was Neues gelernt, und ab sofort sagst du jedem, der nach der Farbe deines Balles fragt, „Pink!“ – und ganz nebenbei hast du jetzt auch noch eine super Story zu erzählen. Und irgendwann kommst du auch dahinter, dass dieses Subreddit damals gar kein richtiges „Welche Farbe ist das?“ war, sondern eins dieser Shitpost-Foren, in denen nur falsche Antworten erlaubt sind. Upsi 🙂
Dieser Prozess, Annahmen zu haben, die man hinterfragen und für die man sich Testverfahren ausdenken kann, um dann sofort seine Meinung zu revidieren, wenn man gute Gründe dafür hat – das ist es, was uns Menschen so besonders macht. Du musst dich nicht drauf verlassen, dass dir die Mehrheit der Leute „pink!“ zuruft, und du musst nicht auf irgendwelche Gewichtungen zurückgreifen, die manchen Quellen mehr Bedeutung zumessen als anderen – du kannst ganz unabhängig Informationen verarbeiten und Schlüsse ziehen. Also tätschel’ deinem Köpfchen mal den Kopf!
LLMs mögen vielleicht nützliche Werkzeuge sein, hier und da. Aber vermenschlichen wir sie nicht! Sie wissen nichts, sie denken nicht, sie lernen nicht und ziehen auch keine Schlüsse. Sie erzeugen lediglich realistisch wirkende Texte auf der Basis des jeweils Wahrscheinlichsten, was wiederum auf den Informationen basiert, mit denen sie trainiert worden sind. Wenn du sie über etwas sehr Gebräuchliches befragst, wozu die Mehrzahl der online verfügbaren Texte korrekt ist, dann wirst du vom LLM mit hoher Wahrscheinlichkeit eine richtige Antwort bekommen. Aber wenn es um etwas sehr Ungewöhnliches geht, womit noch nicht viele Menschen zu tun hatten, wird dir das LLM zwar immer noch einen Text ausspucken – aber der könnte halt genauso gut kompletter Blödsinn sein. Du bekommst einfach das, was „statistisch am wahrscheinlichsten“ ist.
Wenn du ein Coder bist und irgendwo festhängst, such dir eine Kollegin oder nen Freund, die sich auf diesem speziellen Gebiet besser auskennen. Da bekommst du gern Hilfe und nebenbei noch reichlich Bonus-Kontext, aus dem du was lernen kannst. Wenn du ein Nerd im Internet bist und gern mal auf Social Media rumrantest, mach das!, aber mach es selbst und lass es kein LLM machen. Denn nur so kannst du ein paar lausige Witze und ein bisschen eigene Persönlichkeit einsprengseln, statt bloß irgendeinen Null-Acht-Fuffzehn-Text zu posten. Und wenn du Manager*in mit einiger Verantwortung bist und dir eine neue Marschrichtung ausdenken sollst, um dein Unternehmen voranzubringen, dann geh’ ne Runde draußen spazieren, hör Musik und lass deinen Gedanken hemmungslos freien Lauf – frag bloß kein LLM nach der statistisch plausibelsten Route für dein Projekt, denn das ist per Definition das genaue Gegenteil von kreativ und innovativ.
Nutz deinen Verstand.