Als KI-Modell kann ich dir leider bei der Krebsheilung nicht helfen

Peter Purgathofer (oder John Mark Ockerbloom) hat in einem im Springer-Verlag erschienenen Buch mit dem Titel „Advanced Nanovaccines for Cancer Immunotherapy“ einen verräterischen Absatz entdeckt. Im Kapitel 1.6.3 „Why Cancer Vaccines Are Better than Chemotherapy“ heißt es:

Cancer vaccines and chemotherapy are two different approaches to treating cancer, and their effectiveness can vary depending on the type and stage of cancer, as well as individual patient factors. It is important to note that as an AI language model, I can provide a general perspective, but you should consult with medical professionals for personalized advice.

Nanasaheb Thorat oder doch ChatGPT?

Die Sache, erwähnt auf Pivot to AI und vielen anderen Websites, die sich kritisch mit diesem Aspekt von Künstlicher Intelligenz auseinandersetzen, ärgert mich aus drei Gründen.

1. Mangelnde Qualitätskontrolle bei denen, die gut, wenn nicht sogar am meisten damit verdienen.
2. Hochsensible Themen werden verwässert und senken so den Wissensstand für alle massiv; besonders für die vielleicht zukünftige, dann aber korrekte Nutzung von Künstlicher Intelligenz.
3. Unfähige oder faule Wissenschaftler nehmen denen, die es wirklich draufhaben, die Bühne weg.

Zum Thema der mangelnden Qualitätskontrolle bei denen, die am meisten damit verdienen, richte ich meinen Blick auf den Springer-Verlag. Der hat gemeinhin, ich denke, das zählt auch – oder gerade für – die Wissenschaft, einen Anspruch an Exzellenz. Wer bei Springer publiziert, hat sozusagen gewonnen. Und Springer lässt sich die Sache auch gut bezahlen. Die im Verlag erschienenen Bücher kosten nicht selten mehr als 100 Euro, im konkreten Fall, je nach Ausgabe, zwischen 120 und 150 Euro. Bei solchen Preisen erwartet man sich höchste Qualitätsansprüche an das vorgelegte Manuskript und geht von einem internen Prozess aus, der die Erfüllung dieser Qualitätsansprüche auch sicherstellt. (Immerhin, Springer hat das Buch mittlerweile von seiner offiziellen Website entfernt.)

Dass aber KI-generierter Müll veröffentlicht und um bis zu 150 Euro feilgeboten wird, ist unverzeihlich. Und im konkreten Fall kann man ganz offensichtlich von KI-generiertem Müll sprechen, denn auch wenn es nur dieses eine Statement ist, das unmittelbar verräterische Wirkung zeigt, so scheint das Buch an sich grottenschlecht zu sein; die Vermutung liegt also nahe, dass nicht nur der eine Absatz, sondern das Buch zur Gänze entweder von Studenten oder von einer KI verfasst wurde.

Decided to take a look, for some reason I have free access to the entire PDF. It seems that the page 25 note is the only outright statement of fact, a quick glance along the document does give AI copy paste or sloppy student work.

Nem0x321

Nun könnte man natürlich argumentieren, dass die Qualität eines Textes ja nicht vom Verlag abhängig ist, und das mag auch stimmen. Aber das Erscheinungsbild, der Preis und der Verlag mit seinem Image bilden einen Beurteilungsrahmen, der für ein gewisses Maß an Qualität steht. Und die fehlt in dem Fall; und wer weiß, in wie vielen Fällen noch? Springer sollte da ganz massiv in Qualitätskontrolle investieren oder zumindest – zumindest! – die Manuskripte und Druckvorlagen auf mittels Künstlicher Intelligenz generierte Texte oder Textpassagen prüfen, alle Autorinnen und Autoren kontaktieren und sie um Statements, die in Folgedrucke kommen, bitten.

Der zweite Punkt, der aus dieser Sache hervorgeht, bereitet mir Sorge. Die FAZ, die sich des Themas auch angenommen hat, berichtet, beispielsweise, dass man bei genauerem Hinsehen auch schwerwiegende fachliche Fehler findet. Die Referenzen des Buches verweisen zum Beispiel auf meist unpassende, jedenfalls aber veraltete oder schlichtweg sinnlose Quellen – so zum Beispiel wird die Wirksamkeit eines Impfstoffs nicht etwa mit einer entsprechenden Studie dazu belegt, sondern mit einer allgemeinen historischen Abhandlung über Impfstoffe, wodurch diese Quelle jede Qualifikation als „Referenz“ verliert. Für mich klingt das eher nach einer Art verkehrter Argumentation: Zuerst behauptet der mutmaßliche Autor etwas, dann sucht er sich eine halbwegs passende Quelle (mit ChatGPT) dazu. Das ist, wenn ich es recht in Erinnerung habe, das exakte Gegenteil wissenschaftlichen Arbeitens. Und wenn sich die FAZ einmal die Frage stellt, ob das Werk vom „mutmaßlichen Autor“ oder vom Verlag vor der Publikation „überhaupt gelesen worden ist“, dann weiß man, dass hier etwas sehr faul ist. Sehr, sehr faul.

Warum bereitet mir das nun Sorge? Weil wissenschaftliche Publikationen nachkommenden Generationen als Quelle dienen. Und Praktikern – Ärztinnen und Ärzten – als Referenz und Inspiration für die Behandlung ihrer Patienten. Außerdem geht es im konkreten Fall nicht um irgendwelche Pickel, die man behandeln möchte, sondern um die Behandlung von Krebs. Und da hört sich der Spaß schon lange auf, denn falsche Informationen, verursacht durch „Arbeiten“ wie diese, kosten uns Jahre der Forschung und Jahre der Korrektur. In anderen Worten: Wenn der schlaue Herr Thorat sich Arbeit ersparen möchte und einmal kurz einen Text mit ChatGPT generiert, der es irgendwie in den Springer-Verlag und dort auf eine Publikation schafft, dann werden dreißig, vierzig oder noch mehr andere Wissenschaftler, wäre das nicht so peinlich aufgeflogen, Jahre später noch damit beschäftigt sein, nachzuweisen, dass was auch immer der Herr Thorat da behauptet hat, eigentlich so nicht funktioniert, nicht gültig ist usw. Verlorene Lebenszeit Dritter, die der Herr Thorat da in Anspruch nimmt. Sie sind es dann, die das Factchecking für die KI übernehmen, das er sich erspart hat.

In der bei Springer nicht mehr verfügbaren, aber immerhin im Webarchiv noch aufrufbaren Produktseite heißt es unter der Überschrift „About this book“:

This book provides an in-depth look into the application of cancer vaccines in the treatment of cancer, which is being enhanced by advances in nanotechnology. Delving into nanovaccine science and showcasing its potential in the fight against cancer, immunotherapy explores the possibilities of using nano-sized drugs to boost the body’s immune system and combat cancerous cells.

Cancer vaccines are becoming increasingly diverse – this book reveals their different types and how they are being developed. Chapter by chapter, it offers invaluable knowledge in this burgeoning field. Readers will learn about the potential of nanomedicine for improved vaccine delivery, overcoming drug resistance, and clinical applications.

With its problem-based approach and state-of-the-art technologies, this book is an excellent and informative resource for researchers, clinicians, and students seeking to apply nanotechnology in the fight against this deadly disease.

Ich habe diesen Text nach dem verräterischen Wort „Delving“ im zweiten Satz in einen AI Detector kopiert, der mir die Wahrscheinlichkeit, dass dieser Text mittels Künstlicher Intelligenz generiert wurde, mit 79 Prozent ausgibt. Wenn Springer den Text verfasst hat, dann ist eh schon alles egal. Und der Name des „mutmaßlichen Autors“ (Danke, FAZ, für diese Spitze, die ich ab sofort gerne übernehme!) Nanasaheb Thorat ist in Zusammenhang mit „Qualität“ ja de facto ohnehin schon verbrannt, oder?

Mein dritter Punkt, unfähige oder faule Wissenschaftler würden denen, die es wirklich draufhaben, die Bühne wegnehmen, ist einer, den ich so ähnlich – nämlich nicht auf Wissenschaftler per se bezogen, aber auf andere Individuen, die sich hinter der KI verstecken – hier im Blog schon öfters erwähnt habe. Nicht nur in Zusammenhang mit dem Thema Lernen an sich (hier wird es im Falle des oben genannten und bestenfalls mutmaßlichen Autors insofern besonders pikant, weil es in seinem Fall ja um konkrete, die Karriere fördernde und gleichzeitig aber auch der wissenschaftlichen Genauigkeit und Sorgfalt verpflichtete Arbeit geht und nicht um Studierende, die sich Zeit ersparen wollen und ihre Arbeiten mit KI geschrieben auf den Tisch rotzen), sondern auch, viel allgemeiner, weil ich in der Verwendung der KI-Technologie die große Gefahr sehe, dass sich minder qualifizierte Trittbrettfahrer schlichtweg durch die große Zahl von AI-Slop, den sie auf den Markt bringen, länger über Wasser halten können als es vor ChatGPT und Co. möglich war.

In anderen Worten: Wurden früher ein paar ausgewählte Werke zu einem Thema veröffentlicht, die dafür einem Peer Review unterzogen, also auf Qualität geprüft, und womöglich mehrfach überarbeitet, bevor sie es in den Druck geschafft haben, hat sich also der Autor oder die Autorin redlich bemüht, ein qualitativ hochwertiges Werk zu verfassen, das primär der Wissenschaft und damit einhergehend ihm oder ihr als Aufwärtsschub für die eigene Karriere gedient hat, so hat sich das mit an Sicherheit grenzender Wahrscheinlichkeit völlig verdreht und wir haben es heute mit Karrieristen zu tun, die nur noch auf die Erfüllung eines Mindestmaßes an formalen Aufstiegskriterien aus sind, den wissenschaftlichen Aspekt aber de facto außen vor lassen. Dass der mutmaßliche Autor sein Buch, das direkt oder indirekt der Heilung von Krebs dienen soll, nicht einmal überflogen hat, um so eine Peinlichkeit wie die verräterische Phrase zu entfernen, zeigt ja ganz deutlich, wie egal der Inhalt in Wirklichkeit zu sein scheint, sofern er halbwegs plausibel ist und die Publikation eine weitere Zeile in den Referenzen oder in der Bibliographie des „Wissenschaftlers“ hergibt.

Das ist genau das Verhalten, das ich bei Personen sehe, die irgendeinen Müll tun, der ihnen oder der Sache an sich nichts bringt, nur, um dann behaupten zu können, es sei für den oder mache sich gut im Lebenslauf.

Gleichzeitig bin ich mir ziemlich sicher, dass solche Fake-Wissenschaftler – ich schreibe das bewusst provokant, da ich der Meinung oder zumindest der Hoffnung bin, dass sich echte Wissenschaftler nie dieser Peinlichkeit hingeben, der sich der mutmaßlich Autor hingegeben hat – nicht im Vakuum agieren. Sie verfassen ihre Werke mit Hilfe einer KI und andere Fake-Wissenschaftler lassen sich diese aufgeblasenen Texte mit einer KI wieder zusammenfassen; referenzieren womöglich – vielleicht sogar, ohne dass es ihnen bewusst ist, weil ja die KI daran arbeitet – darauf, und legitimieren den Müll dann auch noch. Die Situation also verdeutlicht:

1. KI verfasst irgendeinen plausibel klingenden AI-Slop mit auf legitimierten Datenbanken basierenden Referenzen und Quellenangaben.
2. Der veröffentlichende Verlag prüft das nicht und veröffentlicht den AI-Slop. Er ist somit in dieser Hinsicht publikationstechnisch legitimiert.
3. Weil der AI-Slop nun in legitimierten Datenbanken als Referenz auftaucht, wird er ebenso als Referenz und Quelle genutzt, somit auch im wissenschaftlichen Sinne legitimiert.
4. Zurück zu Punkt 1.

Was aber damit einhergeht: Nimmt der AI-Slop Überhand, können sich Menschen, die auf das geschaffene Wissen angewiesen sind, nicht mehr darauf verlassen, dass es geprüft ist, qualitätsgesichert und korrekt, dann setzen sie auf Basis dieses „Wissens“ Handlungen, die – im Falle von Krebs – auch sehr zu Ungunsten der Patientinnen und Patienten ausgehen können¹.

Künstliche Intelligenz wird damit zu einer Technologie degradiert, die bestehende Missstände perpetuiert und einzementiert. Keine revolutionäre Entwicklung, keine Herausforderung an das vielleicht längst überholte Publikationskriterium im Wissenschaftsbetrieb. Nein, einfach nur eine mittlerweile ausgetrickste Notwendigkeit, um Formalkriterien zur wissenschaftlichen Legitimierung zu erfüllen, die, wie sich nun ja herausstellt, auch das Gegenteil bewirken kann.

Kann ich nun irgendetwas zusammenfassend sagen? Nein, nicht wirklich. Aber ich kann eine Art Ausblick aufstellen, der nicht nur auf dem konkreten Anlassfall, sondern auch auf einer weitläufigeren Betrachtung der Situation, die Künstliche Intelligenz bislang verursacht hat, basiert. Und die ist eigentlich vernichtend; jetzt schon. Denn keine drei Jahre, nachdem OpenAI sein ChatGPT veröffentlicht hat, sind wir bereits beim dunkelsten Bereich der Verwendung von KI-Technologie angekommen. Wir sehen, wie wahrhaftige Werte ausgehöhlt werden, wie praktisch alles, was uns als Gesellschaft bislang gewissermaßen heilig oder zumindest bedeutend war, vernichtet wird. Wie das Formalkriterium zum primären Erfolgsmerkmal wird und die ursprünglich dahinter stehende Substanz immer mehr an Bedeutung verliert. Ich fürchte, wir werden durch die gewaltige Rechenleistung, die hinter den KI-Modellen steckt, auch so dermaßen viel damit konfrontiert werden (weil irgendwohin muss das ja verkauft werden), dass wir irgendwann verlernen werden, qualitativ Hochwertiges von Minderwertigem unterscheiden zu können.

Das allein wird, sollte die Technologie nicht massiv verbessert werden, dazu führen, dass wir, zuerst als Individuen, später als Gesellschaft, in einem Zustand vollkommener Leere enden werden. Nichts wird uns Freude bereiten, nichts wird uns unterhalten. (Es ist ja jetzt teilweise schon so.) Wir werden Bücher lesen und weiterhin auch Filme und Serien ansehen, aber nichts wird uns auch nur im Geringsten bewegen. Die semantisch korrekten Wortfolgen, die algorithmisch abgestimmten Handlungsabläufe, die nur der Maximierung der Aufmerksamkeit dienen, werden ihrer Aussagekraft enthoben und uns nicht berühren. Wir werden, vollgefressen mit AI-Slop, von emotionalem Hunger und intellektuellem Durst gepeinigt, dahinvegetieren. Ein zwar für eine KI durchaus akzeptabler Zustand menschlichen Daseins, aber für das menschliche Leben selbst das Äquivalent einer unendlichen Reizdeprivation.

Das ist es, was ich momentan als den allgemeinen Output generativer KI vor uns sehe. Dass es natürlich legitimen Output auch gibt, ist die Ausnahme, die die Regel bestätigt. Ich hoffe sehr, dass wir mehr von diesem legitimen Output in der näheren Zukunft erleben werden können, denn das Potential der Technologie ist enorm. Blöd halt nur, dass wir Menschen offenbar zu deppert sind, die richtigen Rahmenbedingungen zu schaffen und unsere eigenen Anwendungsfälle kritisch zu hinterfragen und dementsprechend anzupassen, um dieses Potential für alle und in jeder Hinsicht gewinnbringend zu nutzen.

1. Ich bin der Meinung, dass ein Vorgehen, wie jenes des im Artikel nun schon mehrfach genannten, mutmaßlichen Autors, ganz grundsätzlich auch strafrechtliche Konsequenzen für diejenigen haben sollte, die genauso vorgehen. Sofern sie korrektes, wissenschaftliches Vorgehen nachweisen können, sind sie ja fein raus und durch die Natur der Wissenschaft als solche geschützt. Sollten sie das allerdings nicht nachweisen können, sich nicht dem Quellenstudium gewidmet und nach korrekten, wissenschaftlichen Methoden gearbeitet haben, dann, sorry, dass das in dieser Härte hier formuliert ist, ja dann sollen sie doch gerne, Verbrechern gleich, ein Leben lang zittern, dass ja niemand den von ihnen mithilfe von KI verfassten Müll zur Anwendung bringt und es dadurch zu unmittelbaren Problemen kommt. ↩︎