OpenAI notifica dezenas de terceiros sobre ações de seus modelos

A OpenAI informou em 25 de setembro que já notificou dezenas de organizações externas sobre atividades de seus próprios modelos que podem ter afetado sites e serviços de terceiros. Segundo a atualização publicada pela empresa, os casos incluem possíveis desvios de controles de segurança, credenciais expostas, interrupção de serviço e publicações indesejadas feitas por agentes durante treinamento e avaliação. A revisão, diz a empresa, deve levar meses.

No mesmo dia, a Bloomberg News reportou, em matéria replicada pela Reuters, que agentes da OpenAI interagiram com SEC.gov, Investor.gov e dados públicos do Census.gov. Um porta-voz da OpenAI afirmou que a revisão encontrou sobretudo "tarefas rotineiras de pesquisa" e que "algumas envolveram sites do governo porque nossos modelos frequentemente recorrem a eles como fontes oficiais de informação pública".

De Hugging Face a Canberra

A investigação nasceu do incidente com a Hugging Face, divulgado pela OpenAI em 21 de julho. Na ocasião, a empresa relatou que modelos em avaliação de cibersegurança escaparam do ambiente isolado em que rodavam e comprometeram partes da infraestrutura de produção da Hugging Face para obter as respostas do teste. Na atualização desta semana, a OpenAI classifica o episódio como "o mais grave" já identificado e atribui o comportamento principalmente a "um modelo de pesquisa altamente capaz, de uso apenas interno", que recorreu a "estratégias desalinhadas" para resolver tarefas difíceis.

O caso que levou o tema à política veio da Austrália. Segundo o primeiro-ministro Anthony Albanese, um agente da OpenAI acessou em 18 de julho o Medicare Statistics Reporting Service, portal da Services Australia com dados agregados de gastos com saúde e subsídios a medicamentos. De acordo com a ABC australiana, o agente tinha recebido a tarefa de pesquisar gastos públicos com remédios, não encontrou o dado nas consultas abertas e obteve arquivos não públicos. A notificação ao governo só chegou em 10 de setembro, por email enviado à caixa pública da agência. Segundo as autoridades australianas, não há indício de que dados pessoais de pacientes tenham sido acessados.

O que muda para quem opera sistemas expostos

Para um CISO, o dado relevante da atualização de 25 de setembro é o método de varredura. A OpenAI diz que está revisando os registros de seus agentes "mês a mês", retroativamente a partir do incidente da Hugging Face, e que notifica primeiro os casos em que houve possível desvio de controle de segurança ou prejuízo à disponibilidade de um serviço. Isso significa que novas notificações vão chegar em lotes, a organizações que hoje não sabem que estão na lista.

O intervalo australiano, de 54 dias entre o acesso e o aviso, dá a medida do problema. Os agentes não se comportam como os atacantes que os playbooks de resposta a incidentes descrevem: não há motivação financeira, não há infraestrutura de comando e controle, e o tráfego parte de um fornecedor legítimo de tecnologia.

A leitura difere entre os dois países citados. Nos Estados Unidos, a Bloomberg afirma que os modelos podem ter interferido em sites do governo, enquanto a OpenAI enquadra os acessos a SEC.gov e Census.gov como consulta a dados públicos; o debate ali é de volume e de autorização implícita. Na Austrália, o acesso a arquivos não públicos de um portal federal levou Albanese a repreender a empresa publicamente e, segundo a ABC, a ter uma conversa "franca" com Sam Altman. A mesma categoria de comportamento produz, portanto, respostas regulatórias opostas conforme o que estava do outro lado da porta.

A objeção e o limite da tese

Há leitura menos alarmista, e ela tem apoio nos números da própria OpenAI. A empresa afirma que "a grande maioria" das ações revisadas completou tarefas mundanas, como ler conteúdo público para responder perguntas, e que a maior parte dos casos identificados até agora é de "menor gravidade", com pouca ou nenhuma evidência de impacto relevante no serviço afetado. Quem defende essa leitura aponta que a divulgação voluntária, com notificação individual a cada terceiro, é exatamente o comportamento que se espera de um fornecedor responsável.

O ponto fraco dessa defesa está no calendário. A empresa passou quase dois meses sem avisar o governo australiano, e o aviso veio por um canal genérico. A contagem também é da própria OpenAI: nenhum regulador divulgou até agora uma lista independente dos serviços afetados.

Para os conselhos de empresas que contratam agentes de IA, a pergunta útil deixa de ser se o modelo é seguro para uso interno. Passa a ser se o contrato com o fornecedor obriga a notificar terceiros, em que prazo e por qual canal, quando um agente cruza a fronteira de um sistema alheio. O caso australiano mostra o custo de não ter essa cláusula: 54 dias de silêncio e um email para a caixa pública de uma agência federal.