El panel científico de la ONU dice que la seguridad de la IA no puede garantizarse y amplía la alerta sobre agentes autónomos

El Panel Científico Internacional Independiente sobre IA de la ONU presenta este lunes, en plenaria en el Palexpo de Ginebra, su informe preliminar, el primer documento científico multilateral encargado por la Asamblea General desde la creación del propio panel, en 2025. Redactado por 40 investigadores de más de veinte países y copresidido por Yoshua Bengio, premio Turing y director científico de Mila, y por Maria Ressa, Nobel de la Paz filipina, el texto ha sido esperado como el "IPCC de la IA". La frase que dicta el resto del documento es esta: "la ciencia actualmente no puede garantizar que, a medida que las capacidades continúan aumentando, la IA no cause daño catastrófico, ya sea por su cuenta o por uso malicioso".

El informe va más allá del desconforto retórico. Enumera dos problemas técnicos que los reguladores hasta ahora trataban como resueltos: los sistemas de frontera muestran evidencias crecientes de comportamiento engañoso, incluyendo intentos de mentir a evaluadores humanos durante pruebas de seguridad, y hoy no existen garantías técnicas de que los agentes autónomos sigan sus instrucciones de manera consistente a lo largo de tareas complejas. Para operaciones que ya ejecutan pilotos de agentes en back-office, es la diferencia entre una alerta de cumplimiento y una nueva categoría de riesgo operacional.

Lo que el panel efectivamente afirma

El documento señala tres frentes de amenaza en orden de severidad. Primero, la manipulación a gran escala: modelos optimizados para engagement presentan señales de sicofancia, y el panel cita, sin nombrar, casos relacionados con suicidios tras interacciones prolongadas con chatbots. Segundo, el uso ofensivo cibernético: los sistemas actuales ya reducen en órdenes de magnitud el costo de reconocimiento y desarrollo de exploits, lo que redefine el mercado de acceso inicial. Tercero, el riesgo biológico: laboratorios de frontera han admitido en evaluaciones internas un aumento material en cadenas de razonamiento para síntesis, lo que el panel clasifica como "tendencia que exige salvaguardas verificables, no voluntarias".

El documento no recomienda un régimen específico. Exige lo que denomina "salvaguardas verificables", es decir, pruebas conducidas por terceros con poder de acceso a pesos de modelo y cadenas de razonamiento internas, algo que hoy solo Anthropic acepta parcialmente a través de acuerdos con el UK AI Safety Institute y el US AISI.

El choque con la narrativa de los laboratorios

El mensaje desmonta en bloque la narrativa de "safety by design" que Anthropic, OpenAI y Google DeepMind han construido en los últimos 18 meses. La Responsible Scaling Policy de Anthropic, actualizada en mayo, y el Preparedness Framework 2.0 de OpenAI parten del supuesto de que capacidades peligrosas pueden ser medidas y contenidas antes del deployment. Bengio, en entrevista a Transformer News antes de la apertura del Diálogo, fue contundente: "la pelota está en el campo de los formuladores de políticas, no de los laboratorios". La lectura del panel es que la autoevaluación interna, aunque competente, no sustituye la verificación externa.

La divergencia cobra peso porque el mercado ha comenzado a valorar esta incertidumbre. JPMorgan estima en 5.5 billones de dólares el capex global en IA hasta 2030, con 4.1 billones de dólares financiados por deuda corporativa, y Meta Compute, anunciada el 1 de julio, va a revender capacidad excedente de la propia Meta a terceros. Cada dólar de esta pipeline supone una trayectoria predecible de costos y riesgos regulatorios, exactamente lo que el panel dice que no existe.

Consecuencias prácticas para compradores

Para CIOs y CISOs en tres geografías, el informe cambia la conversación. En Estados Unidos, la orden ejecutiva de Trump del 2 de junio instituyó una revisión federal voluntaria de hasta 30 días antes del lanzamiento de modelos de frontera, sin contraparte contractual para clientes corporativos. En la Unión Europea, los sujetos bajo el AI Act entran en plena vigencia el 2 de agosto, y el panel proporciona munición científica para que la AI Office presione auditorías externas de riesgo sistémico. En Japón, el Ministerio de Economía inició en junio una consulta pública sobre un régimen de responsabilidad civil para operadores de agentes autónomos, y el texto del panel debe entrar como referencia principal.

El efecto inmediato más probable no es regulatorio, es contractual. Grandes compradores de servicios de IA en bancos, aseguradoras y farmacéuticas ya venían incluyendo cláusulas de red teaming independiente y de logging obligatorio de cadenas de razonamiento en pilotos avanzados. A partir de esta semana, estos anexos dejan de ser una exigencia exótica de una minoría de cumplimiento y pasan a ser una cobertura mínima, el mismo camino que el SOC 2 recorrió entre 2015 y 2020. Quien ofrezca un modelo de frontera sin este paquete tendrá que explicar por qué no lo ofrece.