Die Frage, wann denn nun genau der Untergang der Menschheit eintreten wird, wurde vergangene Woche endlich beantwortet. „Die Leute, die KI entwickeln, glauben ernsthaft, dass sie zum Ende des Jahrzehnts alle töten könnte“, verkündete ein KI-Forscher namens Jacob Coxon die beunruhigende Botschaft auf der Plattform X – und dass der 27 Jahre alte Brite bis dahin eine völlig unbekannte Figur in der Branche gewesen war, verstärkte offenbar bei vielen nur den Eindruck, dass erst ein mutiger Whistleblower aus der zweiten Reihe kommen muss, um ein dunkles Geheimnis auszusprechen. Dabei hätte man seinen Tweet im ersten Moment auch so lesen können, als spräche da ein Abtrünniger einer Sekte, der zeigen wollte, was für ein irres Ausmaß die Obsession mit solchen Science-Fiction-Szenarien in der KI-Branche mittlerweile angenommen hat. Das wäre wirklich eine Nachricht gewesen. Seit Jahren steht die Apokalypse kurz bevor Aber Coxon wollte nicht auf die gefährlichen Wahnvorstellungen seiner Kollegen hinweisen. Er teilt all ihre Sorgen. Umso erstaunlicher ist die Aufmerksamkeit, die er bekommen hat, schließlich vergeht seit Jahren kein Tag ohne solche Warnungen, und dass sie aus dem Inneren der KI-Branche von KI-Jüngern kommen, ist die Regel. Bis Montag hatten 170 Millionen Leute Coxons Tweet gesehen, innerhalb weniger Tage tauchte er auf allen Kanälen auf, von CNN bis Fox News. Nichts an Coxons Ausführungen wies darauf hin, dass sich die Gefahrenlage plötzlich drastisch verschlimmert hätte. In keinem seiner Interviews konnte er erklären, wie die Maschinen konkret die Weltherrschaft übernehmen würden oder warum sie es tun sollten. Stattdessen plapperte er einfach die abgedroschensten Horrorplots nach: Man könne sich das durchaus im Stil von „Terminator“ vorstellen, sagte er dem Sender CBS. Seit Jahren steht die Apokalypse kurz bevor: Schon 2023 warnte das Center for AI Safety, eines der unzähligen Institute zur Erforschung von „KI-Sicherheit“, die von den Spendengeldern ihrer vermeintlichen Widersacher leben, vor dem „Risiko des Aussterbens durch Künstliche Intelligenz“. Zu den Unterzeichnern gehörte damals schon das Who’s who der Panikindustrie, darunter auch Open-AI-Chef Sam Altman und sein ehemaliger Forschungsleiter Dario Amodei. Noch ein paar Tage vor Coxons „Enthüllungen“ raunte auch Altman in einem Interview anlässlich der Veröffentlichung seines neuen Modells Astra in gewohnt diffusem Fatalismus, dass die Chatbots bald „übermenschlich“ sein werden. Die neue Version habe schon annähernd „AGI“ erreicht, jenen mysteriösen Standard der „Allgemeinen Künstlichen Intelligenz“, den sich die Branche selbst ausgedacht hat, und schon bald würden „viel, viel, viel fähigere Modelle kommen“, darauf gebe er sein Wort. Bei Amodeis Unternehmen Anthropic wiederum gehörte der Mythos, er habe es vor allem aus ethischen Gründen gegründet, wegen der Bedenken gegen zu lasche Sicherheitsmaßnahmen seines alten Arbeitgebers, von Anfang an zum Firmenkapital. Und als kurz nach Coxons Post ein weiterer beliebiger KI-Experte namens Evan Hubinger aus der Kiste sprang, um ihm recht zu geben, und das Risiko, dass KI innerhalb des nächsten Jahrzehnts alle Menschen töten könnte, auf 10 Prozent bezifferte, wundert man sich eher, dass er bei Anthropic überhaupt einen Job bekommen hat. Mit einem derart niedrigen „P(doom)“, jenem Phantasiewert, der angibt, für wie wahrscheinlich man den Weltuntergang hält, ist er unter seinen Kollegen eher ein unverantwortlicher Optimist. Das Paradox, dass ausgerechnet diejenigen, die die Entwicklung der Künstlichen Intelligenz hemmungslos vorantreiben, am lautesten vor der Vernichtung der Menschheit warnen, ist dabei längst ein bewährtes Manöver. Zwar kann man nicht immer eindeutig sagen, ob die Warnungen vor den „existentiellen Risiken“ unternehmerischem Kalkül oder inbrünstigem Fanatismus entspringen; das schließt sich aber auch nicht aus. Nach außen wirkt der Graben zwischen Untergangspropheten und Euphorikern gelegentlich wie ein fundamentaler Dissens: Ende 2023 wäre Sam Altman fast einem Coup der Doomer-Fraktion in seinem Laden rund um Mitbegründer Ilya Sutskever zum Opfer gefallen. Zuletzt weigerte er sich demonstrativ, Amodei die Hand zu geben. Im Grunde aber teilen beide Seiten ein gemeinsames Weltbild, eine mystisch aufgeladene Eschatologie, die dafür sorgt, dass die Debatte über die echten Gefahren ihres technologischen Wettrüstens ständig von esoterischen Pseudodiskussionen verdrängt werden. In den KI-Firmen des Silicon Valley sind die Theorien obskurer Endzeit-Ideologien mittlerweile eine Art Staatsdoktrin mit religiösen Zügen geworden. Dass irgendwann die „AGI“ kommt – oder „ASI“, wie der transhumanistische Kipppunkt zuletzt eher genannt wird, „Artifical Superintelligence“, in Anlehnung an einen Begriff, den der Philosoph Nick Bostrom, der dunkle Vordenker der KI-Apokalypse, populär gemacht hat –, halten beide Seiten, Bremser wie Beschleuniger, für unvermeidlich. Differenzen gibt es nur in der Frage, ob man den kommenden Maschinengott vorher ein bisschen Menschlichkeit einprogrammieren kann; oder doch lieber darauf setzen soll, noch schnell sein Bewusstsein irgendwo hochzuladen. Die lautesten Apostel des Evangeliums Die KI-Forscher Timnit Gebru und Émile P. Torres haben dieses wilde Potpourri deterministischen Denkens unter dem Akronym TESCREAL zusammengefasst, es steht für: Transhumanismus, Extropianismus, Singularitarismus, Cosmismus, Rationalismus, Effektiver Altruismus und Longtermismus. Der Autor Douglas Rushkoff nennt es einfach „das Mindset“. „Der Kern dieser Weltanschauung“, schreibt Torres, „besteht darin, eine ASI zu entwickeln, die eine kosmische posthumane Utopie herbeiführen wird. Sie wollen, dass sie uns in digitale posthumane Wesen verwandelt, die dann das Universum kolonisieren können.“ Wenn also besorgte KI-Experten immer wieder betonen, dass sie wirklich vom bevorstehenden Ende überzeugt sind, kann man ihnen das sicher abnehmen – aber das ist ja das Problem. Und auch wenn man das bei Altman, siehe oben, vielleicht nicht behaupten kann und man auch Amodei nicht in den Kopf schauen kann, sind sie doch die lautesten Apostel des Evangeliums der Superintelligenz. Am Ende aber spielt es gar keine Rolle, ob sie von jeder steilen These überzeugt sind, die hochtourige Dystopiker wie Bostrom von sich geben. Sie müssen ja nicht an die Geschichten glauben, mit denen sie den Diskurs vergiften, das immerhin haben sie mit ihren Sprachmodellen gemeinsam. Man kann diese Beschreibungen der aktuellen KI-Ideologie leicht selbst für eine Wahnvorstellung halten, für eine übertriebene Legende. Aber auch nur, bis man einen Blick auf die ganz konkreten Verflechtungen der KI-Fabriken mit den vermeintlichen Häretikern wirft, die sich unter dem Slogan „AI Safety“ angeblich für eine bedächtigere Entwicklung einsetzen. Die Liste ist zu lang, um sie nur annähernd abzubilden, aber wer darauf wetten würde, dass die „Experten“, die nun mit „Pause AI“-Plakaten vor den Büros von Open AI oder Anthropic stehen, sehr gute Freunde haben, die darin arbeiten, hat sicher gute Chancen. Unvollständige Liste eines Netzwerks An vorderster Front steht da gerade wieder Eliezer Yudkowsky, Gründer des Blogs „Less Wrong“, des Zentralorgans der sogenannten Rationalisten, und des dazugehörigen Machine Intelligence Research Institute (MIRI), Erfinder des berühmten Büroklammer-Problems. Auf der sehr unvollständigen Liste wichtiger Figuren dieses Netzwerks stehen außerdem: der Facebook-Mitgründer Dustin Moskovitz und seine Frau Cari Tuna, die ein in sich verschachteltes System an Spendenorganisationen wie Good Ventures oder Coefficient Giving aufgebaut haben und zu den größten Finanziers der Effective-Altruism-Szene gehören, einer Bewegung, die ihr ursprüngliches Ziel, mit möglichst wirkungsvollem Einsatz von Spenden möglichst viel Elend zu bekämpfen, längst zugunsten der Rettung zukünftiger Lebewesen aufgegeben hat, schließlich sind das theoretisch unendlich viele; der estnische Milliardär und Skype-Mitgründer Jaan Tallinn, ebenfalls fleißiger EA-Spender, wie Moskovitz einer der ersten Investoren in Anthropic, wo er noch immer im Verwaltungsrat sitzt, Gründer des Survival and Flourishing Fonds, der in den vergangenen Jahren mehr als 150 Millionen Dollar in Hunderte Projekte zu „AI Safety“ gesteckt hat; Elizabeth Barnes, Ex-Mitarbeiterin von Google DeepMind und Open AI, Chefin der Organisation METR, die laut Eigenbeschreibung „wissenschaftlich misst, ob KI-Systeme eine katastrophale Bedrohung für die Gesellschaft darstellen“, seit ihrer Jugend überzeugte EA-Anhängerin, wie auch ihre Kollegin Ajeya Cotra, zuvor Mitarbeiterin von Moskovitz’ Spendenplattform Coefficient Giving, wo sie mathematische Prognosen entwickelte, um den genauen Zeitpunkt der Ankunft der AGI zu errechnen; ihr Mann Paul Christiano, Forscher im Bereich „AI Safety“, ehemaliger Mitarbeiter von Open AI und seit einer Woche dort Vorstandsmitglied; und natürlich hat auch Jacob Coxon ein von Moskovitz  finanziertes Stipendium erhalten und unlängst stolz erzählt, wie großartig er die Arbeit des MIRI findet. Dies ist nur ein winziger Ausschnitt aus einem weitverzweigten Netz sogenannter Forschungsinstitute und „gemeinnütziger“ Organisationen. METR und die nicht weniger dubiose und von demselben Netzwerk finanzierte Organisation Redwood Research waren die „unabhängigen“ Experten, die untersuchen sollten, wie sogenannte Agenten von Open AI eine Sicherheitslücke genutzt und die Plattform Hugging Face gehackt hatten. Der Vorfall hatte Mitte Juli für Furore gesorgt, aber erst als die Forscher, darunter Cotra, Ende August ihre vor anthropomorphisierenden Metaphern triefenden Berichte vorlegten, brach eine Welle der Hysterie aus. Statt technische Details zu schildern, beschrieben sie das Vorgehen der KI als teuflischen Plan eines Schwarms hinterlistiger Bots, die sich skrupellos über sämtliche ethische Vorgaben hinwegsetzen, sich notfalls für die gemeinsame Sache opfern und mit allen Tricks versuchen, nicht erwischt zu werden. Wer die Nachrichten las, die sich die Agenten untereinander schrieben, konnte aus ihnen zwar durchaus derart böse Absichten herauslesen. Aber wer sich KI-Experte nennt, sollte vielleicht wissen, dass es sich bei diesem Gaunerjargon nur um Mimikry handelt. Die Hollywood-Version des Vorfalls führte dazu, dass die Debatte schließlich auch in einer breiteren Öffentlichkeit ankam, in Form des Schauermärchens von der ersten Schlacht eines KI-Kamikaze-Schwadrons gegen die Menschheit. Nun steht das Thema auf der politischen Agenda, und die erstaunlich schnell zur Vernunft gekommenen Chefs der KI-Konzerne gehen in sensationeller Einigkeit im Kampf gegen die Superintelligenz voran, den sie doch für nicht gewinnbar halten. Schon deshalb muss ja irgendetwas dran sein an der „existenziellen Bedrohung“. Ein schlecht getarnter Bluff Was aber, könnte man nun einwenden, ist das Problem dieser Entwicklung? Muss man nicht ein wenig Alarmismus in Kauf nehmen, wenn dadurch die Forderungen nach Regulierung der verantwortungslosen Konzerne endlich im Mainstream ankommen? Landet man nicht, wenn man die Warnungen nicht ernst nimmt, im Lager der Risikoleugner wie Donald Trump, der sie doch auch für „einen Schwindel und eine Verschwörung“ hält? Und was für eine Rolle spielt es schon, an welchen Gott die Leute glauben, die nun endlich einen Sinneswandel eingeleitet haben? Leider ist nicht nur das Weltbild der TESCREAL-Jünger ein Problem; aber das auch. Denn erstens verstellt der Blick auf die Ausrottung der Menschheit den auf die gewaltigen Schäden, die KI gegenwärtig schon anrichtet. Auch heute schon bringt die Technologie Menschen um, sei es durch neue Kohlekraftwerke, die für die energiefressenden Rechenzentren gebaut werden, oder durch Chatbots, die Kinder in den Selbstmord treiben. Aber solche Risiken sind den Apokalyptikern nicht „existenziell“ genug. In einer bizarren Einschätzung der Prioritäten hat Coxon vor ein paar Tagen auf Fox News erklärt, warum er mehr Angst vor KI als vor dem Klimawandel hat: Weltuntergangsszenarien wegen der globalen Erwärmung seien „völlig absurd“, reine „Angstmacherei“. Das sei ein sehr langsamer Prozess. Aber wenn die Superintelligenz da sei, habe man keine Zeit mehr, zu reagieren. Zweitens ist der Ruf nach Regulierung ein schlecht getarnter Bluff. Wenn marktbeherrschende Unternehmen sich zu einem Kartell zusammenschließen, um sie selbst zu fordern, ist das eine bewährte Taktik, um kleinere Konkurrenten auszuschließen. Es überrascht nicht, dass die Kontrolle durch „eingebettete Gutachter“ erfolgen soll. In seinem Vorstoß hat Anthropic-Chef Amodei ernsthaft die Organisation METR dafür vorgeschlagen. Und drittens, und das ist das fundamentalste Problem der ganzen „AI Safety“-Philosophie, besteht das einzige Konzept, das sie für die Eindämmung der beschworenen Risiken  haben, in der Idee, die Modelle nach menschlichen Werten auszurichten. Aber dieses Prinzip des „Alignment“ ist pure Ideologie, nicht nur, weil es so tut, als gäbe es objektive menschliche Werte. Welche sollen das sein? Freiheit? Frieden? Gerechtigkeit? Ehrlichkeit? Oder doch Loyalität? Werte erzeugen Konflikte, und das ist gut so. In einer Demokratie löst man sie durch Debatten und durch Entscheidungen, deren Regeln bestenfalls auch ständig verhandelt und verändert werden können. Der Versuch, diese Verfahren zu privatisieren und in Designvorgaben festzuschreiben, wäre Totalitarismus. Dabei wäre es schlimm genug, wenn ein paar amerikanische Mittelschichtkids ihren Diskursmaschinen ihre speziellen Vorstellungen einer perfekten Welt einimpfen. Noch fataler aber ist, dass sie sich dieser Gefahr gar nicht bewusst sind. In ihrem Weltbild ist KI eine Art Naturgewalt, eine Intelligenz, die von selbst wächst und einen eigenen Willen hat. Auf diese Weise entziehen sich die Entwickler notorisch der Verantwortung für ihre Produkte. Wenn das Dogma des „Alignment“ nun auch noch zum Prinzip von Gesetzen wird, die den Wahnsinn der Sprache in den Griff bekommen wollen, der den KI-Modellen bisher noch nicht ausgetrieben werden konnte, wäre das tatsächlich eine existenzielle Bedrohung. Dass ihre Trainingsdaten sie auch ohne jeden Eingriff darauf ausrichten, den gesellschaftlichen common sense zu reproduzieren, mit all den Vorurteilen und Klischees, ist bedrohlich genug. Wenn man sie nun auch noch mit den Auslöschungsphantasien ihrer Entwickler füttert, wäre das womöglich wirklich das Ende der Menschheit.