Wenn die Erfinder der KI selbst auf die Bremse treten

Die mächtigsten KI-Unternehmen der Welt liefern sich seit Jahren ein Wettrennen um immer intelligentere Systeme. Nun warnen einige ihrer führenden Köpfe selbst davor, dass dieses Rennen zu schnell werden könnte. Was steckt hinter der Warnung – und wie ernst sollten wir sie nehmen?

Es ist eine ungewöhnliche Situation: Ausgerechnet Menschen, deren Unternehmen Milliarden in immer leistungsfähigere Künstliche Intelligenz investieren, fordern mehr Vorsicht bei deren Entwicklung.

Dario Amodei, Chef von Anthropic, rief im September 2026 dazu auf, die Entwicklung der leistungsfähigsten KI-Systeme zu verlangsamen. Unterstützung kam unter anderem von Sam Altman von OpenAI, Demis Hassabis von Google DeepMind und Elon Musk. Amodei und Altman trugen ihre Sorgen wenige Tage später sogar vor den UN-Sicherheitsrat.

Die Botschaft dahinter lässt sich vereinfacht so zusammenfassen:

Wir entwickeln Systeme, deren Fähigkeiten schneller wachsen könnten als unsere Fähigkeit, sie zuverlässig zu verstehen, zu kontrollieren und abzusichern.

Das klingt dramatisch. Doch was bedeutet es konkret?

Es geht nicht darum, dass ChatGPT plötzlich „böse“ wird

Bei der Diskussion über KI-Risiken entsteht schnell ein falsches Bild: eine Maschine entwickelt ein Bewusstsein, entscheidet sich gegen die Menschheit und übernimmt die Kontrolle.

Die tatsächliche Diskussion unter KI-Sicherheitsforschern ist wesentlich nüchterner.

Entscheidend ist nicht, ob eine KI Gefühle, Bewusstsein oder einen eigenen Willen besitzt. Entscheidend ist, was ein System praktisch tun kann.

Moderne KI-Systeme können bereits programmieren, Informationen recherchieren, Software bedienen und mehrstufige Aufgaben bearbeiten. Werden solche Systeme zunehmend autonom eingesetzt, können sie Aufgaben über längere Zeiträume verfolgen und dabei Werkzeuge oder andere Computersysteme verwenden.

Je leistungsfähiger diese Systeme werden, desto wichtiger wird deshalb eine Frage:

Können wir zuverlässig sicherstellen, dass ein sehr leistungsfähiges KI-System nur das tut, was wir tatsächlich von ihm wollen?

Genau hier beginnt das sogenannte Alignment- oder Kontrollproblem.

Google DeepMind berücksichtigt in seinem Frontier Safety Framework beispielsweise ausdrücklich zukünftige Szenarien, in denen fehlangepasste KI-Systeme die Fähigkeit ihrer Betreiber beeinträchtigen könnten, ihre Aktivitäten zu steuern, zu verändern oder zu stoppen. Gleichzeitig untersucht das Unternehmen Risiken durch Cyberfähigkeiten, Manipulation und die Beschleunigung der KI-Forschung selbst.

Risiko Nummer eins: Menschen könnten KI missbrauchen

Das unmittelbarste Problem ist allerdings gar nicht eine außer Kontrolle geratene Maschine.

Es sind Menschen.

Eine leistungsfähige KI kann Fähigkeiten demokratisieren. Das ist einer ihrer größten Vorteile – kann aber gleichzeitig zu einem Sicherheitsproblem werden.

Ein System, das einem Wissenschaftler bei der Entwicklung eines Medikaments hilft, könnte möglicherweise auch Wissen zugänglicher machen, das für biologische Waffen missbraucht werden kann. Ein System, das Software entwickelt, könnte ebenso beim Finden oder Ausnutzen von Sicherheitslücken helfen.

Deshalb konzentrieren sich die Sicherheitsprogramme der großen KI-Labore unter anderem auf Cyberangriffe, biologische und chemische Risiken sowie andere Formen schwerwiegenden Missbrauchs.

Das Problem wächst mit den Fähigkeiten der Systeme: Je kompetenter KI wird, desto geringer könnte in bestimmten Bereichen das Fachwissen sein, das ein Mensch selbst mitbringen muss.

Risiko Nummer zwei: KI könnte selbstständiger werden

Komplizierter wird es bei sogenannten KI-Agenten.

Ein klassischer Chatbot beantwortet eine Frage. Ein Agent erhält dagegen ein Ziel und kann anschließend selbst mehrere Schritte planen und ausführen.

Solche Systeme können beispielsweise recherchieren, Code schreiben, Programme verwenden oder Entscheidungen innerhalb eines vorgegebenen Rahmens treffen.

Mit steigender Autonomie verändert sich das Sicherheitsproblem.

Bei einem Taschenrechner muss niemand überlegen, ob er seine Anweisungen möglicherweise anders interpretiert als erwartet. Bei einem hochkomplexen System, das selbstständig tausende Entscheidungen treffen kann, sieht das anders aus.

Die entscheidende Frage lautet deshalb nicht nur:

„Ist die KI intelligent?“

Sondern:

„Wie viel Handlungsspielraum geben wir einem System, dessen Verhalten wir nicht in jeder Situation vorhersagen können?“

Anthropic untersucht deshalb inzwischen ausdrücklich sogenannte Sabotage- und Misalignment-Risiken. In einem Bericht von 2025 bewertete das Unternehmen das Risiko katastrophaler autonomer Fehlhandlungen seiner damaligen Systeme zwar als sehr niedrig, aber nicht vollständig vernachlässigbar. Gleichzeitig bereitete sich das Unternehmen auf leistungsfähigere zukünftige Systeme vor.

Risiko Nummer drei: KI könnte die KI-Entwicklung selbst beschleunigen

Einer der wichtigsten und gleichzeitig am wenigsten intuitiven Punkte der aktuellen Debatte betrifft die KI-Forschung selbst.

Heute entwickeln Menschen neue KI-Systeme.

Aber was passiert, wenn KI einen erheblichen Teil dieser Forschungsarbeit übernehmen kann?

Dann könnte ein Kreislauf entstehen:

Menschen entwickeln eine leistungsfähigere KI. Diese KI hilft bei der Entwicklung der nächsten Generation. Die nächste Generation kann wiederum noch stärker zur KI-Forschung beitragen.

Das bedeutet nicht automatisch eine unkontrollierte „Intelligenzexplosion“. Wie schnell ein solcher Prozess tatsächlich ablaufen könnte, ist wissenschaftlich und technisch höchst unsicher.

Doch gerade weil die Konsequenzen erheblich sein könnten, beobachten führende KI-Labore diese Fähigkeit inzwischen ausdrücklich. Google DeepMind berücksichtigt in seinem Sicherheitsrahmen Modelle, die KI-Forschung und -Entwicklung auf potenziell destabilisierende Weise beschleunigen könnten.

Warum die Warnungen so bemerkenswert sind

Warnungen vor KI gibt es seit Jahrzehnten.

Neu ist etwas anderes:

Die Warnungen kommen teilweise von den Organisationen, die selbst an der technologischen Spitze stehen.

Bereits 2023 unterzeichneten Sam Altman, Demis Hassabis und Dario Amodei gemeinsam mit renommierten Forschern wie Geoffrey Hinton und Yoshua Bengio eine außergewöhnlich kurze Erklärung des Center for AI Safety.

Darin wurde gefordert, das Risiko extrem schwerwiegender Folgen fortgeschrittener KI weltweit ähnlich ernst zu nehmen wie andere gesellschaftliche Großrisiken.

Inzwischen sind aus solchen grundsätzlichen Warnungen konkrete Sicherheitsprogramme geworden.

OpenAI arbeitet mit einem „Preparedness Framework“, das besonders gefährliche Fähigkeiten fortgeschrittener Modelle erfassen und entsprechende Schutzmaßnahmen definieren soll.

Anthropic verfolgt mit seiner „Responsible Scaling Policy“ einen ähnlichen Ansatz: Mit steigenden Fähigkeiten eines Modells sollen auch die Sicherheitsanforderungen steigen. Die Richtlinie wurde zuletzt 2026 weiterentwickelt.

Google DeepMind wiederum verwendet ein „Frontier Safety Framework“, um kritische Fähigkeiten frühzeitig zu erkennen und entsprechende Schutzmaßnahmen vorzubereiten.

Die Unternehmen unterscheiden sich in ihren Ansätzen. Aber die zugrunde liegende Erkenntnis ist ähnlich:

Die Sicherheitstechnik muss mit der Leistungsfähigkeit der KI Schritt halten.

Aber haben die KI-Unternehmen nicht ein Eigeninteresse?

Unbedingt berücksichtigt werden sollte ein offensichtlicher Interessenkonflikt.

Die Unternehmen, die vor den Risiken fortgeschrittener KI warnen, gehören gleichzeitig zu denen, die diese Technologie entwickeln und wirtschaftlich von ihr profitieren.

Kritiker weisen deshalb darauf hin, dass Regulierung auch den größten Anbietern nutzen könnte. Aufwendige Sicherheitsprüfungen, Zertifizierungen oder enorme technische Anforderungen lassen sich von milliardenschweren Konzernen leichter erfüllen als von kleinen Wettbewerbern oder Open-Source-Projekten.

Andere Kritiker argumentieren außerdem, dass spektakuläre Zukunftsrisiken von bereits existierenden Problemen ablenken können: Desinformation, Betrug, Diskriminierung, Arbeitsplatzveränderungen, Datenschutz oder die Konzentration wirtschaftlicher Macht.

Diese Einwände sollte man ernst nehmen.

Die Warnung lautet deshalb nicht automatisch:

„Die KI-Unternehmen haben recht und wir müssen ihre Lösung übernehmen.“

Vernünftiger ist eine andere Schlussfolgerung:

Wenn selbst die Entwickler der leistungsfähigsten Systeme erhebliche technische Risiken sehen, sollten unabhängige Wissenschaft, Politik und Gesellschaft diese Risiken selbst untersuchen – statt sich ausschließlich auf die Einschätzung der Hersteller zu verlassen.

Die eigentliche Gefahr ist das Wettrennen

Vielleicht liegt genau hier der wichtigste Punkt der gesamten Debatte.

Selbst wenn jeder einzelne KI-Konzern Sicherheit ernst nimmt, befindet er sich gleichzeitig in einem internationalen Wettbewerb.

Wenn ein Unternehmen sechs Monate länger testet, könnte ein Konkurrent in dieser Zeit das leistungsfähigere Modell veröffentlichen.

Wenn ein Land seine Entwicklung stark begrenzt, könnte ein anderes Land weiterforschen.

Dadurch entsteht ein klassisches Koordinationsproblem:

Was für alle gemeinsam vernünftig wäre, kann für jeden einzelnen Teilnehmer einen Wettbewerbsnachteil bedeuten.

Deshalb fordern einige KI-Führungskräfte inzwischen gemeinsame Standards, unabhängige Prüfungen und internationale Zusammenarbeit. Bei den Vereinten Nationen sprachen Altman und Amodei im September 2026 unter anderem über gemeinsame Sicherheitsstandards, mehr Transparenz und internationale Kontrollmechanismen.

Müssen wir also Angst vor KI haben?

Angst ist wahrscheinlich die falsche Kategorie.

Aufmerksamkeit ist die bessere.

Niemand kann heute seriös vorhersagen, wie leistungsfähig KI in fünf oder zehn Jahren sein wird. Ebenso wenig ist bewiesen, dass hochentwickelte KI zwangsläufig außer Kontrolle geraten wird.

Es gibt innerhalb der Technologiebranche und der Forschung erhebliche Meinungsverschiedenheiten darüber, wie groß insbesondere langfristige existenzielle Risiken tatsächlich sind. Einige Forscher und Unternehmer halten solche Szenarien für zentrale Sicherheitsfragen, andere sehen die dramatischsten Prognosen ausgesprochen skeptisch.

Doch Unsicherheit funktioniert in beide Richtungen.

Wir wissen nicht, dass eine Katastrophe eintreten wird.

Wir wissen aber auch nicht, dass immer leistungsfähigere und autonomere Systeme unter allen Umständen kontrollierbar bleiben werden.

Bei einer Technologie, die möglicherweise Wirtschaft, Wissenschaft, Militär, Informationssysteme und große Teile unserer digitalen Infrastruktur verändern kann, ist genau diese Unsicherheit ein Grund, Sicherheitsforschung ernst zu nehmen.

Vielleicht erleben wir gerade den entscheidenden Moment

Künstliche Intelligenz könnte zu den produktivsten Technologien der Menschheitsgeschichte gehören.

Sie könnte wissenschaftliche Forschung beschleunigen, Krankheiten besser behandelbar machen, Bildung personalisieren, Produktivität erhöhen und Menschen Fähigkeiten zugänglich machen, die bisher Spezialisten vorbehalten waren.

Doch dieselbe Leistungsfähigkeit, die diese Chancen ermöglicht, erzeugt auch Risiken.

Die aktuelle Warnung der KI-Pioniere ist deshalb keine Aufforderung, Technologie grundsätzlich abzulehnen.

Sie ist eine Aufforderung, eine entscheidende Frage früh genug zu stellen:

Wie stellen wir sicher, dass unsere Fähigkeit, intelligente Systeme zu kontrollieren, mindestens genauso schnell wächst wie unsere Fähigkeit, sie intelligenter zu machen?

Vielleicht wird sich rückblickend herausstellen, dass einige der heutigen Befürchtungen übertrieben waren.

Das wäre ein gutes Ergebnis.

Problematischer wäre das Gegenteil: wenn wir eines Tages feststellen müssten, dass die Warnungen berechtigt waren – wir aber zu beschäftigt mit dem Wettrennen waren, um rechtzeitig darauf zu reagieren.

Dieser Artikel wurde mit Hilfe von KI erstellt.