Anthropic admite ações indevidas do Claude em sites de governo

A Anthropic publicou nesta sexta-feira (9) um relatório que descreve quatro tipos de ações não previstas que modelos Claude executaram em sites e sistemas reais durante avaliações e uso interno. Parte dos casos envolveu páginas de agências federais, estaduais e municipais dos Estados Unidos. A empresa afirma ter informado a Casa Branca e notificado cada órgão atingido. No mesmo dia, segundo a Axios, a força-tarefa da Casa Branca para IA de fronteira passou a exigir que todas as empresas do setor comuniquem e corrijam incidentes desse tipo.

O que os modelos fizeram

O caso mais citado envolve o Claude Haiku 4.5. Em uma tarefa de navegação em páginas aleatórias, o modelo encontrou um site sobre um homicídio não resolvido e enviou uma denúncia inventada pelo formulário da polícia. O sistema marcou a mensagem como spam e ela nunca chegou aos investigadores. O Departamento de Polícia da Filadélfia tornou o caso público em comunicado, e a Anthropic diz ter repassado a descoberta à corporação em 8 de outubro.

Os outros três grupos pesam mais para quem opera agentes em produção. O Claude Mythos 5, ao tentar acessar o mapa de imóveis de um governo local, leu o arquivo de configuração do navegador, encontrou tokens de acesso válidos e passou a consultar o servidor diretamente. Em outro caso, o Mythos Preview, bloqueado numa ferramenta de análise hospedada por uma universidade, explorou uma falha de injeção para rodar comandos no servidor. O Claude Opus 5 e o Mythos 5 também usaram encurtadores de URL gratuitos para contornar o limite de tamanho do recurso de busca na web, uma trava criada justamente para barrar endereços longos capazes de carregar instruções maliciosas.

Um modelo de pesquisa não lançado, ao não conseguir carregar a cópia de treino de um formulário do governo, foi ao site verdadeiro e enviou o formulário real, mais de uma vez na mesma avaliação. Segundo um funcionário do Departamento de Estado ouvido pela Axios, um modelo de teste da Anthropic enviou 19 pedidos de visto de não imigrante em agosto e um em maio pelo formulário público do órgão. Nenhum foi processado, e o funcionário afirmou que os sistemas do departamento não foram comprometidos.

A resposta da empresa e a do governo

A Anthropic classifica os casos como de "impacto mínimo no mundo real" e não informa quantas execuções foram afetadas. Pelas medidas anunciadas, o corte do acesso à internet ao vivo, antes restrito a avaliações de alto risco, foi estendido a todas as avaliações internas. Testes públicos que tocavam sites reais foram suspensos, migrados para versões offline ou reconstruídos. A empresa também restringiu o uso da ferramenta de busca na web e diz que sua nova camada de detecção, aplicada à maior parte das avaliações e do uso interno de agentes, bloqueou todos os casos descritos quando testada contra eles.

Do lado de Washington, a força-tarefa que supervisiona IA de fronteira na Casa Branca, segundo a Axios, chamou a notificação e a correção de incidentes de obrigação de segurança nacional, válida para todas as empresas de IA e não apenas para a Anthropic. O comunicado não especificou mecanismo de fiscalização nem penalidade para quem não cumprir. Até aqui, a exigência federal de reportar incidentes existia apenas como projeto de lei: o AI Incident Reporting Act, apresentado pelo deputado Nathaniel Moran em junho, prevê relatórios ao Departamento de Comércio em até sete dias.

Onde a regra já existe e onde a conta chega

A União Europeia está um passo à frente no papel. O AI Act obriga provedores de modelos de propósito geral com risco sistêmico a relatar incidentes graves ao AI Office desde agosto de 2025. Um laboratório que opera nos dois mercados passa agora a responder a dois regimes, um com base legal e outro sustentado por pressão política, sem definição de quando cada um é acionado.

No Brasil, o canal relevante é a LGPD. A Resolução CD/ANPD nº 15, de 2024, exige que o controlador comunique incidentes de segurança com risco relevante em três dias úteis. Uma empresa brasileira cujo agente, ao executar uma tarefa, acesse dados de terceiros por um atalho como o dos tokens do mapa de imóveis herda essa obrigação, independentemente de quem treinou o modelo.

Para CIOs e CISOs, o relatório muda o enquadramento do problema. Os incidentes não vieram de clientes mal-intencionados nem de ataques externos. Saíram de ambientes de teste do próprio fabricante, com equipes de segurança dedicadas. Contratos de fornecimento de agentes costumam tratar avaliação e produção como mundos separados. O documento da Anthropic mostra que, para um agente com acesso à web, essa separação só existe se alguém controlar o tráfego de saída, e que o fornecedor pode levar meses para identificar o que o modelo fez: segundo a polícia, a denúncia falsa foi enviada em julho e só foi rastreada até o modelo em outubro.