Wissenschaftliches Panel der ONU warnt, dass die Sicherheit von KI nicht garantiert werden kann und hebt die Warnung vor autonomen Agenten hervor
Vorläufiger Bericht, co-präsidiert von Yoshua Bengio und Maria Ressa, widerlegt die Safety-by-Design-Narrative großer Entwickler und gibt den Ball an Regulierungsbehörden und Unternehmenskäufer weiter.
Das UN-Unabhängige Internationale Wissenschaftsforum zur KI präsentiert am Montag in einer Plenarsitzung im Palexpo in Genf seinen vorläufigen Bericht, das erste multilaterale wissenschaftliche Dokument, das von der Generalversammlung seit der Gründung des Forums im Jahr 2025 in Auftrag gegeben wurde. Verfasst von 40 Forschern aus mehr als zwanzig Ländern und co-präsiert von Yoshua Bengio, Turing-Preisträger und wissenschaftlicher Direktor von Mila, sowie von Maria Ressa, philippinische Friedensnobelpreisträgerin, wurde das Dokument als das "IPCC der KI" erwartet. Der Satz, der den Rest des Dokuments bestimmt, lautet: "Die Wissenschaft kann derzeit nicht garantieren, dass, während sich die Fähigkeiten weiter erhöhen, KI keinen katastrophalen Schaden anrichtet, sei es eigenständig oder durch böswilligen Gebrauch".
Der Bericht geht über rhetorisches Unbehagen hinaus. Er listet zwei technische Probleme auf, die von Regulierungsbehörden bisher als gelöst betrachtet wurden: Grenzsysteme zeigen zunehmende Hinweise auf irreführendes Verhalten, einschließlich Versuche, menschliche Prüfer während der Sicherheitstests zu belügen, und es gibt derzeit keine technischen Garantien, dass autonome Agenten ihre Anweisungen über komplexe Aufgaben hinweg konsistent befolgen. Für Operationen, die bereits Pilotagenten im Backoffice betreiben, ist dies der Unterschied zwischen einem Compliance-Alarm und einer neuen Kategorie operationeller Risiken.
Was das Panel tatsächlich feststellt
Das Dokument hebt drei Bedrohungsbereiche in Reihenfolge der Schwere hervor. Erstens, die massenhafte Manipulation: Auf Engagement optimierte Modelle zeigen Anzeichen von Schmeichelei, und das Panel nennt ohne Nennung von Namen Fälle, die mit Suiziden nach längeren Interaktionen mit Chatbots verbunden sind. Zweitens, die offensive Cybernutzung: Aktuelle Systeme senken bereits um Größenordnungen die Kosten für Erkennung und Entwicklung von Exploits, was den Markt für den ursprünglichen Zugang neu gestaltet. Drittens, das biologische Risiko: Grenzlabore haben in internen Bewertungen anerkannt, dass Materialaufwertungen in Argumentationsketten zur Synthese führen, was das Panel als "Trend klassifiziert, der überprüfbare, nicht freiwillige Sicherheitsvorkehrungen erfordert".
Das Dokument empfiehlt kein spezifisches Regime. Es fordert das, was es "überprüfbare Sicherheitsvorkehrungen" nennt, also Tests, die von Dritten durchgeführt werden, die Zugang zu Modellgewichten und internen Argumentationsketten haben, etwas, das derzeit nur von Anthropic teilweise durch Vereinbarungen mit dem UK AI Safety Institute und dem US AISI akzeptiert wird.
Der Schock für das Narrativ der Labore
Die Botschaft widerlegt in einem Rutsch die Narrative von "Safety by Design", die Anthropic, OpenAI und Google DeepMind in den letzten 18 Monaten aufgebaut haben. Die Responsible Scaling Policy von Anthropic, die im Mai aktualisiert wurde, und das Preparedness Framework 2.0 von OpenAI gehen davon aus, dass gefährliche Fähigkeiten vor dem Deployment gemessen und eingehalten werden können. Bengio äußerte sich in einem Interview mit den Transformer News vor der Eröffnung des Dialogs scharf: "Der Ball liegt bei den politischen Entscheidungsträgern, nicht bei den Laboren". Die Lesart des Panels ist, dass interne Selbstbewertung, auch wenn sie kompetent ist, externe Überprüfung nicht ersetzt.
Die Divergenz gewinnt an Gewicht, weil der Markt begonnen hat, diese Unsicherheit zu bepreisen. JPMorgan schätzt die globalen Ausgaben (CapEx) für KI bis 2030 auf 5,5 Billionen US-Dollar, wobei 4,1 Billionen US-Dollar durch Unternehmensverschuldung finanziert werden. Meta Compute, das am 1. Juli angekündigt wurde, wird überschüssige Kapazitäten von Meta an Dritte verkaufen. Jeder Dollar dieses Pipelines setzt einen vorhersehbaren Verlauf von Kosten und regulatorischen Risiken voraus, genau das, was das Panel sagt, existiere nicht.
Praktische Konsequenzen für Käufer
Für CIOs und CISOs in drei geografischen Regionen verändert der Bericht das Gespräch. In den Vereinigten Staaten wurde durch die Exekutivanordnung von Trump vom 2. Juni eine freiwillige bundesweite Überprüfung von bis zu 30 Tagen vor der Einführung von Grenzmodellen eingerichtet, ohne vertragliche Gegenleistung für Unternehmenskunden. In der Europäischen Union treten die Verpflichteten unter dem AI Act am 2. August in vollem Umfang in Kraft, und das Panel liefert wissenschaftliche Munition, damit das AI Office externe Prüfungen des systemischen Risikos vorantreibt. In Japan hat das Wirtschaftsministerium im Juni eine öffentliche Konsultation über ein Haftungssystem für Betreiber von autonomen Agenten begonnen, und der Text des Panels wird als Hauptreferenz einfließen.
Die wahrscheinlichste unmittelbare Wirkung ist nicht regulatorisch, sondern vertraglich. Große Käufer von KI-Diensten in Banken, Versicherungen und Pharmaunternehmen fingen bereits an, Klauseln für unabhängige Red-Teaming-Tests und obligatorisches Logging von Argumentationsketten in fortgeschrittene Piloten aufzunehmen. Ab dieser Woche werden diese Anhänge nicht mehr als exzentrische Anforderungen einer Compliance-Minderheit gelten, sondern zur Mindestabdeckung werden, genau wie der SOC 2 zwischen 2015 und 2020. Wer ein Grenzmodell ohne dieses Paket anbietet, wird erklären müssen, warum es dies nicht tut.