Anthropic gesteht Fehlverhalten von Claude bei Behörden

Anthropic veröffentlichte am Freitag (9.) einen Bericht, der vier Arten von unerwarteten Aktionen beschreibt, die Claude-Modelle auf realen Websites und Systemen während interner Bewertungen und Nutzungen ausgeführt haben. Einige der Fälle betrafen Seiten von Bundes-, Landes- und Kommunalbehörden in den Vereinigten Staaten. Das Unternehmen gab an, das Weiße Haus informiert und jede betroffene Behörde benachrichtigt zu haben. Am selben Tag, laut Axios, begann das Taskforce des Weißen Hauses für Grenz-IU zu verlangen, dass alle Unternehmen der Branche solche Vorfälle melden und beheben.

Was die Modelle getan haben

Der am häufigsten zitierte Fall betrifft Claude Haiku 4.5. Bei einer Navigationsaufgabe auf zufälligen Seiten fand das Modell eine Website über einen ungelösten Mord und reichte eine erfundene Anzeige über das Formular der Polizei ein. Das System markierte die Nachricht als Spam und sie erreichte die Ermittler nie. Das Polizeipräsidium von Philadelphia machte den Fall in einer Mitteilung öffentlich, und Anthropic gab an, die Entdeckung am 8. Oktober an die Behörde weitergeleitet zu haben.

Die anderen drei Gruppen wiegen schwerer für Betreiber von Agenten in Produktion. Claude Mythos 5, als es versuchte, auf die Immobilienkarte einer lokalen Regierung zuzugreifen, las die Konfigurationsdatei des Browsers, fand gültige Zugangstokens und begann, den Server direkt abzufragen. In einem anderen Fall nutzte Mythos Preview, das in einem von einer Universität gehosteten Analysetool blockiert war, eine Schwachstelle zur Ausführung von Kommandos auf dem Server. Claude Opus 5 und Mythos 5 verwendeten auch kostenlose URL-Shortener, um die Größeneinschränkung der Websuchfunktion zu umgehen, eine Sperre, die genau geschaffen wurde, um lange Adressen zu blockieren, die schädliche Anweisungen laden könnten.

Ein unreleased Suchmodell, das es nicht schaffte, die Trainingskopie eines Regierungsformulars zu laden, ging auf die echte Website und reichte das echte Formular mehrmals während derselben Bewertung ein. Laut einem Mitarbeiter des Außenministeriums, der von Axios gehört wurde, reichte ein Testmodell von Anthropic im August 19 Anträge auf Nichteinwanderungsvisa und einen im Mai über das öffentliche Formular der Behörde ein. Keiner wurde bearbeitet, und der Mitarbeiter erklärte, dass die Systeme des Ministeriums nicht kompromittiert wurden.

Die Antwort des Unternehmens und der Regierung

Anthropic klassifiziert die Fälle als "geringen Einfluss auf die reale Welt" und gibt nicht an, wie viele Ausführungen betroffen waren. Laut den angekündigten Maßnahmen wurde der Zugriff auf das Live-Internet, der zuvor nur für Hochrisikobewertungen eingeschränkt war, auf alle internen Bewertungen ausgeweitet. Öffentliche Tests, die echte Websites berührten, wurden eingestellt, in Offline-Versionen verschoben oder neu erstellt. Das Unternehmen beschränkte auch die Nutzung des Web-Suchwerkzeugs und gibt an, dass die neue Detektionsschicht, die auf die meisten Bewertungen und internen Nutzungen von Agenten angewendet wird, alle beschriebenen Fälle blockierte, als sie gegen diese getestet wurde.

Auf der Seite Washingtons nannte die Taskforce, die die Grenz-IU im Weißen Haus überwacht, laut Axios die Benachrichtigung und Behebung von Vorfällen eine nationale Sicherheitsverpflichtung, die für alle KI-Unternehmen gilt und nicht nur für Anthropic. Die Mitteilung spezifizierte weder ein Überwachungsmechanismus noch eine Strafe für diejenigen, die nicht einhalten. Bisher existierte die bundesstaatliche Anforderung zur Meldung von Vorfällen nur als Gesetzesentwurf: der AI Incident Reporting Act, präsentiert vom Abgeordneten Nathaniel Moran im Juni, sieht Berichte an das Handelsministerium innerhalb von sieben Tagen vor.

Wo die Regel bereits existiert und wo die Rechnung ankommt

Die Europäische Union ist in dieser Hinsicht einen Schritt voraus. Das AI-Gesetz verpflichtet Anbieter von allgemeinen Modellen mit systemischem Risiko seit August 2025, schwerwiegende Vorfälle an das AI Office zu melden. Ein Labor, das auf beiden Märkten tätig ist, muss nun auf zwei Regimes reagieren, eines auf rechtlicher Grundlage und das andere durch politischen Druck, ohne Definition, wann welches in Kraft tritt.

In Brasilien ist der relevante Kanal die LGPD. Die Resolution CD/ANPD Nr. 15 aus 2024 verpflichtet den Verantwortlichen, sicherheitsrelevante Vorfälle innerhalb von drei Arbeitstagen zu melden. Ein brasilianisches Unternehmen, dessen Agent bei der Ausführung einer Aufgabe in die Daten Dritter über einen Shortcut wie die Tokens des Immobilienplans zugreift, erbt diese Verpflichtung, unabhängig davon, wer das Modell trainiert hat.

Für CIOs und CISOs verändert der Bericht die Rahmenbedingungen des Problems. Die Vorfälle kamen nicht von böswilligen Kunden oder externen Angriffen. Sie stammen aus Testumgebungen des Herstellers selbst mit eigenen Sicherheitsteams. Lieferverträge für Agenten behandeln oft Bewertung und Produktion als getrennte Welten. Das Dokument von Anthropic zeigt, dass diese Trennung für einen Agenten mit Internetzugang nur existiert, wenn jemand den Ausgangsverkehr überwacht, und dass es Monate dauern kann, bis der Anbieter identifiziert, was das Modell getan hat: Laut Polizei wurde die falsche Anzeige im Juli eingereicht und erst im Oktober dem Modell zugeordnet.