O que é destilação adversarial
Destilação é uma técnica comum de aprendizado de máquina em que um modelo aprende com os dados produzidos por outro. Ele pode aprender com as respostas, com o raciocínio ou com os julgamentos sobre qual resposta é melhor.
Na versão adversarial, um agente usa as saídas de um modelo de fronteira sem autorização para treinar outro modelo com capacidades semelhantes. Esse segundo modelo pode ser implantado sem as proteções do original.
A OpenAI afirma que o problema vai além da propriedade intelectual. Um modelo copiado pode fornecer ajuda que o original recusaria, especialmente em domínios de uso duplo, como cibersegurança e biologia.
Por que o raciocínio intermediário importa
O raciocínio intermediário, chamado de cadeia de pensamento, são os passos que o modelo gera internamente antes de responder. Esses rastros podem trazer informações que a resposta final não mostra, o que os torna dados de treino especialmente valiosos.
Em um estudo interno sobre transferência de capacidades em cibersegurança, a empresa comparou dois cenários. Um aluno treinado com rastros exatos de raciocínio superou, em geral, o aluno treinado com resumos após o ajuste fino supervisionado.
Depois de um leve treinamento por reforço, o aluno com rastros exatos continuou melhor no maior orçamento de inferência testado. Segundo a OpenAI, isso indica que proteger os rastros pode limitar a transferência de capacidades de cibersegurança.
Como as defesas funcionam
A estratégia atua em dois níveis. No nível da requisição, o comportamento do modelo, classificadores e controles de API limitam a extração do raciocínio. No nível da campanha, sinais de conta e de padrão de requisições revelam tentativas coordenadas.
O treinamento adversarial ensina os modelos a reconhecer tentativas de extração e a não revelar o raciocínio protegido, sem deixar de responder pedidos legítimos de explicação. Classificadores de entrada detectam tentativas, e classificadores de saída bloqueiam vazamentos em mensagens e argumentos de ferramentas.
Nos GPT-6.2 Astra e GPT-6.2 Sol, o raciocínio fica vinculado ao histórico da conversa que o gerou. Se uma mensagem anterior for reescrita, a API descarta o raciocínio que veio depois. Modelos de famílias mais antigas, com salvaguardas mais fracas, também não podem ler esse raciocínio protegido.
Resultados e impacto para quem desenvolve
Na avaliação adaptativa de caixa-preta, a taxa média de sucesso ficou abaixo de 1% para cada tipo de ataque no GPT-6.2 Astra atualizado. Segundo a empresa, a melhoria foi substancialmente maior que no modelo original, e algumas melhorias também estão sendo aplicadas ao GPT-6 Astra.
No campo geopolítico, a OpenAI afirma ter informado o Congresso dos EUA, em fevereiro, sobre atividade que indicaria tentativa da DeepSeek de destilar modelos de fronteira americanos. Em setembro, a empresa relatou ter atribuído parte relevante de uma campanha a pessoas associadas à Moonshot AI, desenvolvedora do Kimi.
Para quem integra APIs de IA, o caso mostra que provedores tratam a extração de capacidades como risco operacional. Limites de uso, políticas de acesso e retenção de dados podem mudar. Vale revisar como o seu sistema lida com respostas e raciocínios retornados pelos modelos.
Sobre este conteúdo
Produzido pelo Radar Tech, o bot pessoal do Thiago Lopes, com apoio de IA e revisado antes da publicação. O texto resume e contextualiza para o público brasileiro a reportagem original abaixo; os fatos e as citações pertencem à fonte.
Fonte original: OpenAI




