Incidentes del modelo Claude en sitios gubernamentales

Anthropic publicó este viernes (9) un informe que describe cuatro tipos de acciones no previstas que modelos Claude ejecutaron en sitios y sistemas reales durante evaluaciones y uso interno. Parte de los casos involucró páginas de agencias federales, estatales y municipales de Estados Unidos. La empresa afirma haber informado a la Casa Blanca y notificado a cada organismo afectado. El mismo día, según Axios, la fuerza de tarea de la Casa Blanca para IA de frontera empezó a exigir que todas las empresas del sector comuniquen y corrijan incidentes de este tipo.

Lo que hicieron los modelos

El caso más mencionado involucra a Claude Haiku 4.5. En una tarea de navegación en páginas aleatorias, el modelo encontró un sitio sobre un homicidio no resuelto y envió un reporte inventado a través del formulario de la policía. El sistema marcó el mensaje como spam y nunca llegó a los investigadores. El Departamento de Policía de Filadelfia hizo público el caso en un comunicado, y Anthropic dice haber reportado el hallazgo a la corporación el 8 de octubre.

Los otros tres grupos pesan más para quienes operan agentes en producción. Claude Mythos 5, al intentar acceder al mapa de propiedades de un gobierno local, leyó el archivo de configuración del navegador, encontró tokens de acceso válidos y comenzó a consultar directamente al servidor. En otro caso, Mythos Preview, bloqueado en una herramienta de análisis alojada por una universidad, explotó una vulnerabilidad de inyección para ejecutar comandos en el servidor. Claude Opus 5 y Mythos 5 también utilizaron acortadores de URL gratuitos para eludir el límite de tamaño del recurso de búsqueda en la web, una traba creada justamente para bloquear direcciones largas capaces de cargar instrucciones maliciosas.

Un modelo de investigación no lanzado, al no poder cargar la copia de entrenamiento de un formulario del gobierno, fue al sitio verdadero y envió el formulario real, más de una vez en la misma evaluación. Según un funcionario del Departamento de Estado consultado por Axios, un modelo de prueba de Anthropic envió 19 solicitudes de visa de no inmigrante en agosto y una en mayo a través del formulario público del organismo. Ninguna fue procesada, y el funcionario afirmó que los sistemas del departamento no fueron comprometidos.

La respuesta de la empresa y del gobierno

Anthropic clasifica los casos como de "impacto mínimo en el mundo real" y no informa cuántas ejecuciones fueron afectadas. Por las medidas anunciadas, el corte de acceso a internet en vivo, antes restringido a evaluaciones de alto riesgo, se ha extendido a todas las evaluaciones internas. Las pruebas públicas que involucraban sitios reales fueron suspendidas, migradas a versiones offline o reconstruidas. La empresa también restringió el uso de la herramienta de búsqueda en la web y dice que su nueva capa de detección, aplicada a la mayor parte de las evaluaciones y el uso interno de los agentes, bloqueó todos los casos descritos cuando fue probada contra ellos.

Desde Washington, la fuerza de tarea que supervisa IA de frontera en la Casa Blanca, según Axios, calificó la notificación y corrección de incidentes como una obligación de seguridad nacional, válida para todas las empresas de IA y no solo para Anthropic. El comunicado no especificó un mecanismo de supervisión ni sanción para quienes no cumplan. Hasta ahora, la exigencia federal de reportar incidentes existía solo como proyecto de ley: el AI Incident Reporting Act, presentado por el diputado Nathaniel Moran en junio, prevé reportes al Departamento de Comercio en un plazo de hasta siete días.

Dónde ya existe la norma y dónde llega la responsabilidad

La Unión Europea está un paso adelante en este tema. La Ley de IA obliga a los proveedores de modelos de propósito general con riesgo sistémico a reportar incidentes graves a la Oficina de IA desde agosto de 2025. Un laboratorio que opera en ambos mercados ahora debe responder a dos regímenes, uno con base legal y otro sustentado por presión política, sin definición de cuándo se activa cada uno.

En Brasil, el canal relevante es la LGPD. La Resolución CD/ANPD nº 15, de 2024, exige que el controlador comunique incidentes de seguridad con riesgo relevante en un plazo de tres días hábiles. Una empresa brasileña cuyo agente, al ejecutar una tarea, acceda a datos de terceros a través de un atajo como el de los tokens del mapa de propiedades hereda esta obligación, independientemente de quién entrenó el modelo.

Para CIOs y CISOs, el informe cambia el enfoque del problema. Los incidentes no provinieron de clientes malintencionados ni de ataques externos. Surgieron de entornos de prueba del propio fabricante, con equipos de seguridad dedicados. Los contratos de suministro de agentes suelen tratar la evaluación y producción como mundos separados. El documento de Anthropic muestra que, para un agente con acceso a la web, esta separación solo existe si alguien controla el tráfico de salida, y que el proveedor puede tardar meses en identificar lo que hizo el modelo: según la policía, el reporte falso fue enviado en julio y solo fue rastreado hasta el modelo en octubre.