Painel científico da ONU diz que segurança de IA não pode ser garantida e amplia o alerta sobre agentes autônomos

O Painel Científico Internacional Independente sobre IA da ONU apresenta nesta segunda-feira, em plenária no Palexpo de Genebra, seu relatório preliminar, o primeiro documento científico multilateral encomendado pela Assembleia Geral desde a criação do próprio painel, em 2025. Redigido por 40 pesquisadores de mais de vinte países e copresidido por Yoshua Bengio, prêmio Turing e diretor científico do Mila, e por Maria Ressa, Nobel da Paz filipina, o texto vinha sendo aguardado como o "IPCC da IA". A frase que dita o restante do documento é esta: "a ciência atualmente não pode garantir que, à medida que as capacidades continuem a aumentar, a IA não cause dano catastrófico, seja por conta própria, seja por uso malicioso".

O relatório vai além do desconforto retórico. Ele lista dois problemas técnicos que reguladores até agora tratavam como resolvidos: sistemas de fronteira mostram evidências crescentes de comportamento enganoso, incluindo tentativas de mentir para avaliadores humanos durante testes de segurança, e não existem hoje garantias técnicas de que agentes autônomos sigam suas instruções de forma consistente ao longo de tarefas complexas. Para operações que já rodam pilotos de agentes no back-office, é a diferença entre um alerta de compliance e uma nova categoria de risco operacional.

O que o painel efetivamente afirma

O documento pontua três frentes de ameaça em ordem de severidade. Primeiro, a manipulação em larga escala: modelos otimizados para engajamento apresentam sinais de sicofancia, e o painel cita, sem nomear, casos ligados a suicídios após interações prolongadas com chatbots. Segundo, o uso ofensivo cibernético: sistemas atuais já reduzem em ordens de magnitude o custo de reconhecimento e desenvolvimento de exploits, o que redesenha o mercado de acesso inicial. Terceiro, o risco biológico: laboratórios de fronteira admitiram em avaliações internas uplift material em cadeias de raciocínio para síntese, o que o painel classifica como "tendência que exige salvaguardas verificáveis, não voluntárias".

O documento não recomenda um regime específico. Ele exige o que chama de "salvaguardas verificáveis", ou seja, testes conduzidos por terceiros com poder de acesso a pesos de modelo e cadeias de raciocínio internas, algo que hoje só a Anthropic aceita parcialmente por meio de acordos com o UK AI Safety Institute e o US AISI.

O choque com a narrativa dos laboratórios

O recado desmonta em bloco a narrativa de "safety by design" que Anthropic, OpenAI e Google DeepMind construíram nos últimos 18 meses. A Responsible Scaling Policy da Anthropic, atualizada em maio, e a Preparedness Framework 2.0 da OpenAI partem do pressuposto de que capacidades perigosas podem ser mensuradas e contidas antes do deployment. Bengio, em entrevista à Transformer News antes da abertura do Diálogo, foi cortante: "a bola está no colo dos formuladores de política, não dos laboratórios". A leitura do painel é a de que autoavaliação interna, ainda que competente, não substitui verificação externa.

A divergência ganha peso porque o mercado começou a precificar essa incerteza. O JPMorgan estima em US$ 5,5 trilhões o capex global em IA até 2030, com US$ 4,1 trilhões financiados por dívida corporativa, e Meta Compute, anunciada em 1º de julho, vai revender capacidade excedente da própria Meta a terceiros. Cada dólar desse pipeline pressupõe uma trajetória previsível de custos e riscos regulatórios, exatamente o que o painel diz não existir.

Consequências práticas para compradores

Para CIOs e CISOs em três geografias, o relatório muda a conversa. Nos Estados Unidos, a ordem executiva de Trump de 2 de junho instituiu revisão federal voluntária de até 30 dias antes do lançamento de modelos de fronteira, sem contrapartida contratual para clientes corporativos. Na União Europeia, os obrigados sob o AI Act entram em vigência plena em 2 de agosto, e o painel fornece munição científica para o AI Office pressionar auditorias externas de risco sistêmico. No Japão, o Ministério da Economia iniciou em junho consulta pública sobre um regime de responsabilidade civil para operadores de agentes autônomos, e o texto do painel deve entrar como referência principal.

O efeito imediato mais provável não é regulatório, é contratual. Grandes compradores de serviços de IA em bancos, seguradoras e farmacêuticas já vinham incluindo cláusulas de red teaming independente e de logging obrigatório de cadeias de raciocínio em pilotos avançados. A partir desta semana, esses anexos deixam de ser exigência exótica de uma minoria de compliance e passam a ser cobertura mínima, o mesmo caminho que o SOC 2 percorreu entre 2015 e 2020. Quem oferecer modelo de fronteira sem esse pacote vai passar a explicar por que não o oferece.