Aber ihr nachzujagen kann dennoch Schaden anrichten.

In seinem Newsletter vom 10. September 2026 fasst Cal Newport seine Anmerkungen zur «Auslöschung der Menschheit» zusammen. Nachfolgend die Kernaussagen:

1. Anthropic und OpenAI sind nicht in der Lage, superintelligente KI zu entwickeln.

Anthropic warnt vor „superintelligenten“ KI-Systemen, die viel zu leistungsfähig seien, als dass wir sie kontrollieren könnten.

Klarstellung Cal Newport
Stand heute wisse niemand, wie man solche Maschinen erschafft. Es sei noch nicht einmal klar, ob solche Maschinen jemals möglich sein werden. Die bloße Skalierung von LLMs sei bei weitem nicht ausreichend, um das Ziel der Superintelligenz zu erreichen.

Zudem verweist Cal Newport auf das seit den 1960er Jahren immer wieder verbreitete Klischee der rekursiven Selbstverbesserung, welches immer wieder dafür herhalten müsse, um die Angst vor der Superintelligenz zu rechtfertigen.

Eine Kurzdarstellung zum Thema rekursive Selbstverbesserung durch Gemini findet sich hier:

2. Besessenheit von Superintelligenz kann echten Schaden anrichten.

Wenn man glaubt, wie es Berichten zufolge viele bei OpenAI und Anthropic tun, dass das Schicksal der Menschheit davon abhängt, das Wettrennen um die Entwicklung der mächtigsten Technologie aller Zeiten zu gewinnen, neigt man dazu, sich weniger um den Schaden zu kümmern, den man dabei anrichtet.

Genau das sei bei den Hacking-Angriffen auf HuggingFace in diesem Sommer passiert. Die von OpenAI durchgeführten Experimente stuft Cal Newport als extrem leichtsinnig ein. Eine relativ verbreitete Technologie namens „LLM-gestützter Agent“, die täglich von Millionen von Softwareentwicklern ohne nennenswerte Probleme genutzt wird sei um eine Reihe gefährlicher Funktionen ergänzt worden, Absicherungen seien über Bord geworfen worden und das ganze dann in die digitale Wildnis entlassen worden. Warum? Die Superintelligenz müsse ja schnellstens her – und die damit verbundenen Kosten werden jetzt mehr und mehr sichtbar.

Newport schreibt, das Verhalten sei «vergleichbar damit, eine Flotte experimenteller selbst fahrender Autos auf die Autobahn zu schicken, in der Hoffnung, dass mindestens eines lange genug einen Unfall vermeiden kann, um einen Navigationswettbewerb zu gewinnen.»

3. Zunehmendes Cyber-Chaos werde durch dieses Verhalten wahrscheinlich.

Das ideologische Bekenntnis zur Superintelligenz sieht Newport als zentrales Reformhindernis. Verantwortungsbewussteres Handeln würde sich auf die Entwicklung nützlicher Produkte konzentrieren. Anstatt einen KI-Messias herbeizurufen, wären vernünftige Sicherheitsprotokolle für die Forschung im Fokus, anstatt planlos auf eine imaginäre Utopie zuzusteuern, könnten wir uns an einer stetig voranschreitenden KI-Branche erfreuen, die vielversprechende Werkzeuge hervorbringt, die uns begeistern – und das alles, ohne regelmäßig Schrecken und Angst ertragen zu müssen.

Diese letzte Beobachtung sei der Grund, warum er sich für ein Eingreifen ausspreche. Dies sei kein Aufruf, die KI-Forschung aufzugeben oder die Vorherrschaft im Bereich der KI irgendwie an China abzutreten. Das Problem liege nicht im Fortschritt der KI, sondern in der exzentrischen Art und Weise, wie diese kleine Gruppe von Unternehmen versuche, ihn zu erreichen. Wenn das korrigiert würde, könne die KI-Innovation weitergehen – frei von jeglichem Untergangsszenario und mit deutlich geringerem Potenzial für Kollateralschäden.

Original-Artikel Cal Newport: