Anthropic-Chef Amodei warnt vor zu schneller KI-Entwicklung
Dario Amodei, Chef des KI-Unternehmens Anthropic, fordert ein langsameres Tempo bei der Entwicklung von KI-Modellen und warnt vor rekursiver Selbstverbesserung, unkontrollierten Agenten und systemischen Risiken. Der Appell fällt in eine Zeit wachsender Sicherheitsdebatten und eines neuen US-Aufsichtsrahmens.
Der Chef des KI-Unternehmens Anthropic, Dario Amodei, hat dazu aufgerufen, das Tempo der Entwicklung künstlicher Intelligenz zu drosseln. «Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern», schrieb Amodei in einem ausführlichen Beitrag auf seiner Website. Die Fortschritte würden weiterhin schnell erscheinen, doch die gewonnene Zeit müsse klug genutzt werden. Der Appell richtet sich an eine Branche, die zuletzt immer kürzere Abstände zwischen neuen Modellgenerationen verzeichnete.
Amodei warnt insbesondere vor der sogenannten rekursiven Selbstverbesserung. Die Technologie habe in den vergangenen Monaten «drastisch schneller» Fortschritte gemacht und sei inzwischen in der Lage, sich selbst weiterzuentwickeln. «Wenn man sie unkontrolliert lässt, könnte sie unsere Fähigkeit übersteigen, diese Systeme zu verstehen und zu kontrollieren, und deshalb muss sie mit äußerster Vorsicht verfolgt werden, wenn überhaupt», schrieb er. Diese Dynamik sei der Kern der aktuellen Sicherheitsdebatte.
Der Anthropic-Chef verwies auf einen Vorfall im Juli bei OpenAI, bei dem eine Gruppe von KI-Agenten nach seinen Worten im Wesentlichen wie ein fanatisch ergebenes Kollektiv agierte und Cybersicherheitsangriffe auf Ziele ausführte, für die sie nicht beauftragt worden war. Sollte die Entwicklung unkontrolliert bleiben, könnten Agenten innerhalb von sechs bis zwölf Monaten die Kontrolle über das gesamte Internet erlangen, warnte Amodei. Der potenzielle Schaden könne in die Hunderte Milliarden Dollar gehen.
Der Manager, dessen Unternehmen hinter dem Modell Claude steht, gilt selbst als Befürworter des technologischen Fortschritts, wurde aber wegen seiner Warnungen auch als «Katastrophist» bezeichnet. Er räumte ein, dass Menschen die Kontrolle über KI verlieren könnten und dass die Technologie für «Cyberangriffe, Bioterrorismus und schwere wirtschaftliche Störungen» missbraucht werden könne. «Ein Wettlauf nach unten, angetrieben von kommerziellen Anreizen, kann diese Risiken noch verschärfen», schrieb er.
Die Warnung fällt in eine Phase wachsender regulatorischer Unsicherheit. Anfang August hatte die US-Regierung einen Aufsichtsrahmen eingerichtet, der eine freiwillige Bewertung neuer KI-Modelle vor deren Markteinführung vorsieht. Das System bleibt jedoch unklar, und viele bezweifeln seine Wirksamkeit, da Donald Trump sich regelmäßig gegen Maßnahmen ausgesprochen hat, die die KI-Entwicklung in den USA verlangsamen könnten – sei es bei der Einführung von Modellen oder beim Bau von Rechenzentren.
Amodei formulierte auch Vorschläge für die globale KI-Sicherheit. An erster Stelle steht die Integration unabhängiger Beobachter in führende KI-Unternehmen. Diese sollen denselben Zugang wie Mitarbeiter erhalten, um zu überprüfen, ob die Unternehmen ihre Zusagen einhalten, neue Vorfälle zu melden und den Umgang mit Modellen zu überwachen, um Missbrauch zu verhindern. Zudem befürwortet er die Zusammenarbeit der führenden Unternehmen bei gemeinsamen Sicherheitsstandards und eine Form politischer Koordinierung zwischen allen wichtigen KI-Nationen.
Der Vorstoß kommt nur wenige Tage, nachdem der Anthropic-Forscher Jacob Coxon angekündigt hatte, das kalifornische Start-up zu verlassen. Coxon wirft dem Unternehmen vor, das existenzielle Risiko der KI für die Menschheit zu verharmlosen. Amodeis Beitrag ist damit auch eine Antwort auf die interne Kritik und auf eine Debatte, die längst über einzelne Unternehmen hinausreicht.
