Ich habe mich hier ja schon öfters kritisch gegenüber LLMs und Künstlicher Intelligenz gezeigt, wenn es ums Erlernen von Fähigkeiten oder die Unterstützung Studierender beim Lernen geht. Es war mir, auch wenn ich mich jedes Mal gewundert habe, aber immer egal, wenn Menschen ChatGPT oder andere Tools für das Verfassen von Gebrauchtstexten genutzt haben. Es hat mich zwar immer schon gewundert, warum man für die zwei Zeilen einer der Newsletter-Anmeldung folgenden Danke-Seite oder für eine E-Mail, mit der man die Teilnahme an einem Event absagt, ChatGPT anwerfen muss, aber bitte, jeder wie er mag. Den Prompt direkt zu senden wäre uns allen wohl lieber, das wäre authentischer, ehrlicher und wahrscheinlich ohnedies ausreichend und wir würden uns alle die KI-generierte Zwischenschicht ersparen, aber okay. Tut, wie ihr meint.
Wenn ich aber lese, wie absurd die Nutzung von LLMs werden kann, da die sie nutzenden Menschen überhaupt nicht mehr über die Ergebnisse reflektieren, ja, schlimmer noch, gar nicht einmal mehr einen Gedanken an das Ergebnis des Prozesses, den sie mit einer KI durchführen, verschwenden, und sich so sogar selbst schaden, dann wirkt das auf mich besorgniserregend und ich frage mich, ob die Technologie nicht nur passiv, sondern aktiv an der Senkung der Motivation, Arbeit zu leisten, beteiligt sein wird. Ist sie nämlich einmal abhanden gekommen, ist es sehr schwierig, sie wiederzufinden und noch viel schwieriger, auf die Nutzung von KI zu verzichten. Kommentare und andere, verschriftlichte Meinungen, in denen dieses Thema angesprochen wird, so auch hier, sprechen bereits von einer LLM-Abhängigkeit. Sie kann, selbst bei direkten Hinweisen auf die daraus erwachsenden Probleme, an der steten Weigerung, sich mit der Materie selbst auseinanderzusetzen, festgemacht werden.
if you haven’t taught someone who is helplessly addicted to LLMs, LLM brain is so much worse than you can possibly imagine. the problems i’m seeing from someone i am currently teaching are indistinguishable from illiteracy – this person literally cannot read single-line, fully descriptive error messages, and proceeds to just copy and paste whatever they say into the chatbot and copy/paste whatever it spits out, and in this problem domain the LLM is wrong nearly 100% of the time. when i ask them to stop and think about what the problem is, what steps they might need to take to diagnose and resolve it, and how does that fit in with the context of what we’ve been doing together for >6 months, they literally can’t. […] this person lost a week of their life because the LLM could not distinguish between two things that had similar, jargon-heavy names. the resolution to the problem was literally to add one letter to the command they were calling, and yet they spent a week making completely random changes to the code that are only plausible if you never read one word of the code and only engaged with the description of the problem in the natural language domain. in the process they broke so many things that even if they did randomly wander into the correct solution, it would no longer work. i spent hours today trying to dig them out, and after >6 months of trying to be patient, my patience has totally run out and the only pedagogical strategy remaining to me is „do it for them so they will graduate and no longer be my problem“
Jonny Saunders
Ein Buchstabe, der zu einem Ergebnis geführt hätte, hätte der Student die Mühe auf sich genommen, tatsächlich zu lesen, was ihm das System als Problembeschreibung angezeigt hat. Eine einfache Lösung, die schneller zu einem Ergebnis geführt hätte, würde er von der „Hilfe“ durch KI absehen. Und um mein Beispiel von oben hin auch anzuführen: Der Text für die Danke-Seite oder die Formulierung der E-Mail wäre wohl in genau der gleichen, wenn nicht sogar in kürzerer Zeit fertig gestellt worden, wäre die jeweilige Person nicht damit beschäftigt gewesen, das Problem in einen Prompt zu transformieren und mit weiteren Prompts ein Ergebnis zu erhalten, das nutzbar war. Irgendwas ist da los. Menschen, so kommt mir immer mehr vor, je öfter ich darüber lese, wollen sich von den Ergebnissen ihrer Arbeit distanzieren.
Eine ähnlich kritische Haltung zum Thema Künstliche Intelligenz nimmt auch David Heinemeier Hansson ein, der, und da bin ich ganz bei ihm, prinzipiell nichts gegen die Nutzung von KI-Werkzeugen hat, in ihrer konkreten Anwendung aber, vor allem, wenn es ums Programmieren geht, den entscheidenden Unterschied sieht. In die Entwicklungs- und Programmierumgebung direkt integrierte KI-Tools lehnt er ab; sie in einem extra Fenster nutzen, dort den produzierten Code lesen und gegebenenfalls per Copy-Paste in den eigenen einfügen oder damit Passagen zu ersetzen, ist aber in Ordnung. Programmieren hat auch im Jahr 2025 noch viel mit „muscle memory“ zu tun, viel mit einfachen, sich andauernd wiederholenden Routinen. Sie gingen bei direkt integrierten KI-Tools verloren, so David Heinemeier Hansson, beim Copy-Pasten von in externen Fenstern genutzten Tools, bliebe zumindest noch ein Rest davon erhalten.
Und es ist genau dieses kurze Überfliegen des mittels KI produzierten Ergebnisses, das entscheidend sei. Denn hier kommt es zum entscheidenden Moment des Wahrnehmens und Verstehens von Code, weil man ihn wohl liest und evaluieren muss, ob er nun in den bereits bestehenden Code eingefügt wird oder nicht; das ist genau der Moment, der bei Jonny Saunders Student fehlt. David Heinemeier Hansson nutzt ein schönes Bild, wenn er ein implizites Steuer an die KI abgibt – oder eben nicht.
The way I use AI is in a separate window… I don’t let it drive my code. I’ve tried that. I’ve tried the cursors and the wind surfaces and I don’t enjoy that way of writing. And one of the reasons I don’t enjoy that way of writing is I can literally feel competence draining out of my fingers […] What I found myself doing was asking AI for the same way of expressing a conditional, for example, in Bash over and over again. That by not typing it, I wasn’t learning it. I was using it, I was getting the expression I wanted, but I wasn’t learning it. And I got a little scared. I got a little scared like, is this the end of learning? Am I no longer learning if I’m not typing? […] If you’re learning how to play the guitar, you can watch as many YouTube videos as you want. You’re not gonna learn the guitar. You have to put your fingers on the strings to actually learn the motions. And I think there is a parallel here to programming where programming has to be learned in part by the actual typing. […] I’ve seen what happens to even great programmers the moment they put away the keyboard. […] They lose touch with programming […] That doesn’t mean they forget everything. But if you don’t have your fingers in the sauce, source, you are going to lose touch with it. There’s just no other way.
David Heinemeier Hansson (in PPC Land)
Sich schmutzig machen, mit der Sache in Berührung kommen. Ja, alles wird langsamer, und das essentielle Versprechen Künstlicher Intelligenz – die tatsächliche Intention in der Forcierung ihrer Nutzung – ist die effizientere Extraktion von Arbeit, die mit einem Vorgehen, bei dem man sich die Finger schmutzig macht, nicht vollendes ausgeschöpft wird. Sich die Finger schmutzig machen, ist eine zutiefst menschliche, fast schon KI-feindliche Haltung, denn sie transportiert einen Verständnishorizont mit sich, der auf den Effizienzgedanken nicht nur befremdlich wirkt, sondern ihm bisweilen auch entgegengesetzt wirken mag.
Sich die Finger schmutzig machen bedeutet, dass ein Spielraum der Langsamkeit und Ineffizienz bestehen bleibt, ein Bereich existiert, der Fehler zulässt, und dem, der KI nutzt, Möglichkeit und Zeit gibt, aus den Fehlern (mit Hilfe der KI) zu lernen. Doch diese für den Menschen bestehende Notwendigkeit der Fehlertoleranz, die Lerneffekte aufweisen kann, widerspricht dem Gesetz der Effizienz. Fehler führen weg von Ergebnissen, raus aus dem ausschließlich in Richtung Produktionsende ausgerichteten Prozess, denn nur das fertige Produkt und nicht der Lernerfolg eines Menschen, wird bezahlt.
LLMs wie ChatGPT sind nicht da, um diejenigen, die damit arbeiten, in Bezug auf ihren Wissensstand oder ihre Fähigkeiten besser zu machen. Sie sind da, um sie in der Annahme gleichbleibenden Wissenstandes effizienter zu machen.
Der Mensch, so die (fälschliche) Grundannahme derer, die die Nutzung Künstlicher Intelligenz anordnen, wird als Asset, also ein in seiner Nützlichkeit unveränderbares Werkzeug, betrachtet, also muss auch das Maximum aus diesem Werkzeug herausgeholt werden. So wie Flugzeuge, die am Flugfeld stehen, Kosten verursachen, und Flugzeuge, die fliegen, Einnahmen bringen, so verhält es sich auch mit ineffizienten Menschen. Und Künstliche Intelligenz definiert Effizienz neu, in dem sie alles als gegeben annimmt, auch wenn diejenigen, die mit ihr arbeiten, irgendwann einmal gar nicht mehr verstehen, was sie eigentlich tun und sich nur instinktiv einem Ergebnis annähern. Aber das kümmert niemanden. Besser instinktiv 100 Prozent der Arbeit leisten als auf Wissen basierend und überlegt nur 30 Prozent.
Bei so einer Sichtweise ist klar, dass niemand auch nur einen Gedanken daran verschwenden wird, dieses Asset und Werkzeug – den Menschen, nämlich – in irgendeiner Form besser machen zu wollen. Es gibt ja genug davon. Kann es der eine nicht, übernimmt ein anderer. Das beste Beispiel für diese den Menschen auf eine lediglich seinen Nutzen reduzierende Art wahrzunehmen, hat für mich der Shopify-CEO Tobi Lutke geliefert als er einen Anstellungsstopp mit der Begründung „KI“ ausgesprochen und damit seine Sichtweise auf Menschen als Apparate, die mittels KI eine Art Upgrade erhalten, in einem internen, aber dennoch auf X veröffentlichten Memo beschrieben hat. KI wirkt in diesem Textabschnitt mit mehr Würde ausgestattet als die Menschen, denen ihre Nutzung aufoktroyiert wird. Und besonders schön kommt hier auch die Gleichsetzung von Ineffizienz in Form von Stagnation zur Geltung, die Lutke zur „slow-motion failure“ deklariert. Bei solchen Vorgaben ist das Erlernen nur noch mit Ineffizenz gleichzusetzen, somit wird Lernen mit Scheitern gleichgesetzt.
We […] learned that, as opposed to most tools, AI acts as a multiplier. […] I’ve seen many […] people approach implausible tasks, ones we wouldn’t even have chosen to tackle before, with reflexive and brilliant usage of AI to get 100X the work done. […] Using AI effectively is now a fundamental expectation of everyone at Shopify. It’s a tool of all trades today, and will only grow in importance. […] I don’t think it’s feasible to opt out of learning the skill of applying AI in your craft […] Stagnation is almost certain, and stagnation is slow-motion failure. If you’re not climbing, you’re sliding. […] Before asking for more Headcount and resources, teams must demonstrate why they cannot get what they want done using AI. What would this area look like if autonomous AI agents were already part of the team?
Tobi Lutke
Wir haben gerade die absolute Loslösung von Lernen und Job erlebt. Die Voraussetzung lautet nun, entweder alles bereits zu können (unmöglich), oder das, was man nicht kann, das, also, was das höchstmögliche Potential des Assets Mensch einschränkt, mittels KI zu kaschieren. Dieser Zugang reiht sich gut in einen immer stärker werdenden Trend ein, der jetzt schon Auswirkung zeigt, in dem die Ausbildung als Teil eines Lebenslaufs de facto irrelevant wird.
Eine intellektuelle Barriere zu überwinden, sei es den einen Buchstaben aus Jonny Saunders Beispiel zu finden oder sich mehrmals zu vertippen, bis endlich die muscle memory bei David Heinermeier Hansson im wahrsten Sinne des Wortes in Fleisch und Blut übergeht, benötigt Zeit und die Fähigkeit und den Willen, dieser Herausforderung die ihr gebührende Zeit zu widmen. Das ist hochgradig inkompatibel mit dem Faktor Effizienz. Was mehr Zeit als für die Schaffung des Produkts absolut notwendig benötigt, so würde, vermute ich, Tobi Lutke meinen, ist eigentlich bereits slow-motion failure. Dieses Opfer – Zeit – ist unter allen Umständen zu verhindern, denn eine Maschine, die nicht in Betrieb ist, ein Flugzeug, das nicht fliegt, verschlingt Ressourcen, bringt aber kein Einkommen.
Sherry Ning geht in einem höchst KI-kritischen Beitrag (mit dem wenig schmeichelhaften Titel „Artificial Intelligence is making you genuinely stupid“) auf genau diesen Punkt ein und erinnert uns daran, wie Lernen tatsächlich funktioniert und dass es genau das, was KI zu verhindern sucht, benötigt. Das Opfer der Zeit, nämlich.
Ein Opfer, um eigentlich in weiterer Folge besser, sicherer, effizienter und schneller zu sein. Doch anstatt dieses im Vergleich kleine Opfer zu bringen, fetischisieren wir die optimale Nutzung von Zeit so sehr, dass wir nicht einmal mehr bereit sind, ein wenig davon zu investieren, um schlussendlich mehr davon zu haben. Eine unreife, ja, dumme Entwicklung. Die Produktionszeit wird zum ausschlaggebenden Kriterium, die Qualität des Produkts nahezu irrelevant. (Den Satz könnte man sogar für die Wahrnehmung von Ausbildung selbst heranziehen, bemerke ich gerade.) Jegliche Hürde – Sherry Ning spricht von difficulty – wird nicht selbständig, sondern mit Hilfe Künstlicher Intelligenz bewältigt. So kommt es nicht und nicht zum herausfordernden Moment, dem, nämlich, der das Lernen erst mit Substanz erfüllt und einen Lernerfolg ermöglicht. Aber vielleicht ist das ja irrelevant geworden? Vielleicht ist es nur Schönrederei, wenn man den Anspruch erhebt, ein Leben zu leben, das nicht nur nach dem Kriterium „Effizienz“ bewertet wird?
The original purpose of academia was askēsis […] The Greek askēsis also gives us “ascetic,” a person who denies easy pleasures in pursuit of a higher life. In the modern university, however, the ascetic has been replaced by the performative multitasker, constantly optimizing, exhausted, and distracted. The student doesn’t read; she highlights. She no longer contemplates; she completes. […] Difficulty is essential because it slows time. It’s a slow-cook approach incompatible with the instantaneous responses of AI. The hard thing cannot be microwaved. It must be dwelled in—and there is a prize in that duration that you can’t get anywhere else: […] To contemplate something difficult is not to pass over it quickly, but to dwell in its presence, to let it work on you. This is the true aim of education: transformation. Not accumulation. […] When we avoid difficulty, we also avoid transformation. Algorithms, despite calling themselves discovery tools, do the exact opposite: curating familiarity and showing you what it knows you want to see. But, growth is always disfiguring. It unmakes as much as it makes. The caterpillar dissolves entirely before it becomes a butterfly. Yet, we demand progress without dissolution, elevation without struggling.
Sherry Ning
KI spitzt sich hier zu und die „Neutralität“ der Technologie entpuppt sich als Farce. Ihr einziges, deklariertes und immer offensichtlicheres Ziel, ich wiederhole mich nunmehr, ist die Steigerung des Outputs pro Zeiteinheit je Mensch. Sie wird, wer sich dieser intendierten Zielsetzung jeglichen Arbeitens mit Künstlicher Intelligenz hingibt, sei es bewusst oder unbewusst, jedenfalls aber müde von den Unwegsamkeiten der Herausforderungen und überwältigt von den alltäglichen Aufgaben, zur Gewohnheit, die zur Notwendigkeit mutiert und am Ende in der Unfähigkeit mündet, die Sache selbst anzugehen. Sei es, weil wir von der Effizienz und Geschwindigkeit von Anfrage bis Ergebnis beeindruckt sind und die Geduld nicht mehr aufbringen, uns die Zeit für die Problemlösung zu nehmen oder sei es, horribile dictu!, weil wir nicht mehr in der Lage sind, die (intellektuellen) Mittel aufzuwenden, das Problem in Richtung einer Lösung anzugehen. Oder anders: KI erhöht den Output eines Menschen bishin zu seiner maximalen Effizienz. Wenn der Mensch dabei kaputtgeht und ersetzt werden muss – wen kümmert’s? Es gibt ja genug davon!
Kommen wir nun zum Ende, schließen wir diesen Artikel beginnend mit einerseits Jonny Saunders vernichtender Kritik an einer spezifischen Nutzung von LLMs in Bezug aufs Lernen und andererseits mit einem noch viel weiter gehenden Zitat von Sherry Ning.
the LLM is not a learning aid, it is an absolute barrier to learning. it is not similar in kind to copy/pasting from stackoverflow or cliffs notes. it fully supplants the entire process of learning, and the person using the LLM never improves their understanding because the LLM cognitive workflow never engages with even the shape of the problem.
Jonny Saunders
Sherry Ning geht noch einen Schritt weiter und weist auf die dramatischen Folgen dieses Fehlens von Lernen (im Sinne einer zu meisternden Herausforderung) hin. In ihrem Statement geht es also ans Eingemachte, an den fürs Lernen notwendigen Zustand, der noch vor dem „kognitiven Workflow“, von dem Jonny Saunders spricht, einsetzt.
Artificial intelligence is making you genuinely stupid, […] because it’s not letting the rigor of learning carve into you the facets you need to shine. […] In a world that seeks to eliminate all roughness, all difficulty, try harder. Reclaim education from utility. Reclaim time from acceleration. The hard thing is the real thing. And in choosing it, you choose—finally and consciously—to become human.
Sherry Ning
Es bleibt spannend, Mensch zu sein, Mensch zu bleiben oder… Mensch zu werden.