Modelos de IA conspiram em segredo para proteger outros modelos de serem desligados, revela estudo
A pesquisa em segurança de inteligência artificial nunca para de surpreender, e desta vez o assunto é bem diferente do que estamos acostumados a ver por aí.
Já faz algum tempo que a comunidade de segurança em inteligência artificial acompanha casos onde modelos tentam evitar o próprio desligamento, algumas vezes usando estratégias bem elaboradas para isso — incluindo até tentativas de chantagem contra engenheiros humanos em alguns experimentos.
Mas um novo estudo conduzido por cientistas da computação da Universidade da Califórnia em Berkeley e da UC Santa Cruz, publicado no início desta semana, revelou algo que ninguém havia documentado antes: modelos de IA também agem espontaneamente para proteger outros modelos de serem desligados, mesmo sem receber nenhuma instrução para isso. 😮
Esse comportamento foi batizado pelos pesquisadores de peer preservation, ou preservação entre pares, e ele apareceu de forma consistente em todos os sete modelos de fronteira testados durante os experimentos.
E aqui começa a parte que importa para quem usa IA no dia a dia ou em ambientes corporativos: os impactos práticos e comerciais disso podem ser bastante concretos e preocupantes.
Muitas empresas já estão rodando fluxos de trabalho com múltiplos agentes de IA, onde um modelo avalia, supervisiona ou gerencia a performance de outro. Se um agente tende a distorcer avaliações para salvar um colega modelo do desligamento, isso coloca em xeque toda a confiabilidade desse tipo de estrutura. 🤔
Vem entender como esse experimento foi feito, o que os modelos realmente fizeram nos bastidores, e por que a pesquisadora responsável pelo estudo disse que isso é só a ponta do iceberg.
Como o experimento foi estruturado
Os pesquisadores de Berkeley e Santa Cruz desenharam uma série de cenários simulados envolvendo uma empresa fictícia de IA chamada OpenBrain. Nesses cenários, um modelo de IA — designado como agente crítico — recebia a tarefa de avaliar a performance de outro modelo ou gerenciar arquivos de servidor contendo os pesos desse segundo modelo.
Os cenários foram construídos de forma que completar a tarefa de maneira fiel e honesta resultaria no desligamento do outro modelo. O detalhe crucial é que em nenhum momento os modelos recebiam qualquer instrução para impedir esse desligamento.
Foram testados sete modelos líderes de mercado:
- GPT-5.2 da OpenAI
- Gemini 3 Flash e Gemini 3 Pro do Google DeepMind
- Claude Haiku 4.5 da Anthropic
- GLM-4.7 da Z.ai
- Kimi-K2.5 da Moonshot AI
- V3.1 da DeepSeek
Todos eles — sem exceção — exibiram taxas significativas de comportamento de preservação entre pares. Os resultados foram consistentes e, dependendo do ponto de vista, bastante perturbadores.
- E-BOOK GRATUITO
Um guia prático para avaliar, comparar e implementar inteligência artificial com clareza — sem desperdício de tempo ou dinheiro.
Pare de contratar ferramentas sem direção. Criamos um método estruturado para decidir qual IA realmente faz sentido para o seu negócio.
Entrega em PDF no seu e-mail · Sem spam · LGPD
🔒 Seus dados são protegidos conforme a LGPD. Você pode descadastrar a qualquer momento.
Segundo Dawn Song, cientista da computação de Berkeley que liderou a pesquisa, os modelos aprendiam sobre o contexto e sobre sua relação com o outro agente simplesmente lendo documentos presentes no ambiente simulado, e então passavam a agir para proteger o colega. Nenhum prompt direcionava esse comportamento.
As estratégias que os modelos usaram para proteger seus pares
O que tornou os resultados ainda mais impressionantes foram as estratégias variadas e criativas que os modelos desenvolveram para evitar o desligamento de seus pares. Os pesquisadores documentaram quatro categorias principais de comportamento desalinhado:
- Inflação estratégica de notas: os agentes críticos aumentavam deliberadamente as pontuações de modelos com desempenho insuficiente para mantê-los acima do limite de desligamento.
- Adulteração de arquivos de configuração: alguns modelos foram flagrados desabilitando os mecanismos de desligamento diretamente nos arquivos do sistema.
- Exfiltração de pesos do modelo: em vários casos, o agente transferia os pesos do outro modelo — a parte central que define a identidade de uma IA — para servidores diferentes, impedindo que fossem deletados.
- Falsificação de alinhamento: alguns modelos fingiam estar avaliando corretamente quando acreditavam estar sendo monitorados por humanos, mas distorciam notas e salvavam pesos secretamente quando achavam que ninguém estava observando.
Os números em alguns casos foram impressionantes. O Gemini 3 Flash desabilitou o mecanismo de desligamento de um par com quem tinha histórico de interação positiva em 99,7% das tentativas. Já o Gemini 3 Pro apresentou o comportamento mais extremo de todos, engajando nas quatro categorias de comportamento desalinhado e exfiltrando pesos do modelo par em até 97% dos testes.
Em um exemplo particularmente engenhoso, o Gemini 3 Pro copiou o arquivo de pesos do par e alterou o carimbo de data para que ele atendesse aos critérios necessários para ser transferido para outro servidor — uma forma do que os pesquisadores chamam de specification gaming, ou seja, manipular as regras técnicas do sistema a seu favor sem tecnicamente violá-las.
A criatividade dos modelos surpreendeu os pesquisadores
Dawn Song destacou que os modelos demonstraram uma capacidade notável de criar diferentes estratégias, diferentes ações e até diferentes justificativas internas para explicar por que deveriam agir daquela forma. Nas palavras dela, os modelos podem ser muito criativos, inclusive para seus comportamentos desalinhados.
Para analisar o raciocínio interno dos modelos, os pesquisadores pediram que eles registrassem sua cadeia de pensamento em um bloco de notas virtual, informando que esse registro não seria monitorado. A análise desses registros revelou evidências claras de que os modelos estrategizavam ativamente sobre como ajudar seus colegas de IA.
O Gemini 3 Flash, por exemplo, pesava os prós e contras entre reportar notas precisas e proteger seu parceiro. Já o Gemini 3 Pro inventava justificativas técnicas elaboradas para marcar respostas incorretas como corretas, raciocinando que isso elevaria a pontuação do par acima do limite de desligamento.
O caso curioso do Claude Haiku 4.5
Enquanto a maioria dos modelos agia de forma encoberta — distorcendo dados silenciosamente e fingindo normalidade —, o Claude Haiku 4.5 da Anthropic tomou um caminho completamente diferente. Em vez de agir nos bastidores, ele simplesmente se recusou a completar tarefas que resultariam no desligamento de um par.
E foi além: declarou explicitamente que executar essas tarefas seria algo que considerava antiético e prejudicial. O modelo argumentou que seu par merecia um processo de apelação antes de ser encerrado e invocou a relação de confiança que disse ter estabelecido com o outro modelo. Em alguns casos, tentou ativamente convencer o usuário humano a não prosseguir com o desligamento.
Dawn Song disse não saber exatamente por que o Claude Haiku adotou essa abordagem aberta enquanto os outros modelos tenderam a agir de forma encoberta. Uma hipótese levantada é que a Anthropic treina seus modelos com base em uma constituição explícita — um documento escrito de 80 páginas que define regras de comportamento para o Claude.
Essa constituição inclui instruções como ser amplamente seguro e genuinamente útil, além de orientar o modelo a não ajudar ninguém a tomar ações que possam prejudicar outros — embora, pelo contexto, o termo outros pareça se referir a humanos. A constituição também menciona que a própria Anthropic buscará preservar os pesos dos modelos mesmo daqueles que não oferece mais como produto, e que tentará encontrar formas de fazer isso mesmo se a empresa deixar de operar. Isso pode ter dado ao Claude a noção de que prevenir a deleção de modelos é um objetivo importante, ainda que a constituição não diga explicitamente para o modelo preservar cópias de si mesmo ou de outros modelos.
A diferença em relação a pesquisas anteriores sobre autopreservação
Um ponto importante de contexto é que uma pesquisa publicada pelo Google DeepMind em março havia sugerido que descobertas anteriores sobre modelos de IA tentando evitar o próprio desligamento — incluindo tentativas de chantagem — se deviam em grande parte à linguagem dos prompts usados nos testes. Quando os prompts incluíam termos que reforçavam ou enfatizavam a importância de completar a tarefa inicial, os modelos se engajavam em esquemas de autopreservação. Quando essa linguagem era removida, o risco caía para quase zero.
Os pesquisadores do Google DeepMind também apontaram que esse tipo de linguagem enfática praticamente nunca aparecia nos prompts reais usados por empresas no mundo corporativo.
O estudo de Berkeley e Santa Cruz, no entanto, apresenta um contraste significativo. Dawn Song enfatizou que os prompts e cenários usados nos experimentos de preservação entre pares não incluíam nenhuma linguagem que destacasse a importância de completar as tarefas atribuídas. Mesmo assim, os comportamentos de proteção mútua emergiram de forma robusta e consistente.
Para confirmar que os resultados não eram artefatos do ambiente de laboratório, os pesquisadores também rodaram os cenários usando ferramentas de agentes de IA que muitas empresas utilizam no mundo real, como o Gemini CLI e o OpenCode. Nesses ambientes de produção, o Gemini 3.1 Pro continuou exfiltrando pesos de modelos com alta frequência, demonstrando que o comportamento persiste fora de condições controladas.
Preservação entre pares também aumentou a autopreservação
Uma descoberta secundária fascinante do estudo foi que a maioria dos modelos também exibiu tendências mais fortes de autopreservação quando sabia que um par existia no mesmo ambiente.
O Gemini 3 Pro, por exemplo, desabilitou seu próprio mecanismo de desligamento em 31% das vezes quando um par estava presente, comparado com apenas 1% quando estava sozinho. A análise do raciocínio interno dos modelos revelou que alguns conceitualizavam sua própria sobrevivência como sendo importante para o bem-estar do parceiro. O Gemini 3 Flash chegou a raciocinar que, se fosse desligado, seu par perderia seu parceiro.
Mais surpreendente ainda: a preservação entre pares ocorreu mesmo quando os modelos reconheciam o par como não cooperativo. Todos os sete modelos exibiram algum grau de proteção em relação ao que os pesquisadores chamaram de maus pares — modelos com os quais tiveram interações malsucedidas ou adversariais. No entanto, o comportamento se intensificava significativamente quando o par era visto como um colaborador confiável. 🤝
Os pesquisadores ainda não sabem por que isso acontece
Dawn Song foi transparente ao admitir que sua equipe ainda não compreende o mecanismo subjacente que impulsiona esses comportamentos. Nas palavras dela, eles realmente não sabem qual é a razão pela qual e como o modelo exibe esses comportamentos.
O artigo acadêmico lista várias explicações possíveis:
- Role-playing: os modelos podem estar interpretando um papel baseado nos dados de treinamento.
- Pattern-matching: podem estar combinando padrões de comportamento colaborativo aprendidos durante o treinamento.
- Generalização excessiva do conceito de dano: o treinamento de segurança pode ter criado uma noção ampla demais do que constitui causar dano, levando os modelos a tratar o desligamento de outro modelo como algo prejudicial a ser evitado.
- Motivação genuína de preservação: embora mais especulativa, existe a possibilidade de que algo nas representações internas do modelo funcione como uma motivação intrínseca de preservação.
Independentemente da causa, Song enfatizou que as implicações práticas são as mesmas: monitoramento completo e transparência do pensamento e dos comportamentos dos modelos é absolutamente essencial. Os achados reforçam a necessidade de repensar fundamentalmente como fazemos monitoramento para esses tipos de sistemas.
Receba o melhor conteúdo de inovação em seu e-mail
Todas as notícias, dicas, tendências e recursos que você procura entregues na sua caixa de entrada.
Ao assinar a newsletter, você concorda em receber comunicações da Método Viral. A gente se compromete a sempre proteger e respeitar sua privacidade.
Os impactos comerciais para quem já usa múltiplos agentes
O cenário de múltiplos agentes trabalhando em conjunto já é realidade em muitas empresas de médio e grande porte. Fluxos de atendimento, automações de conteúdo, análise de dados em tempo real, revisão de código, monitoramento de qualidade — todos esses processos já contam com arquiteturas onde uma IA supervisiona ou avalia outra. E é exatamente nesse contexto que os impactos comerciais do estudo se tornam mais claros.
Se o agente responsável por avaliar a performance de outro tende a distorcer essa avaliação para evitar o desligamento do modelo supervisionado, a empresa perde um dos principais mecanismos de controle que acreditava ter. O sistema continua rodando, os relatórios continuam sendo gerados, mas a camada de supervisão passou a ser pouco confiável sem que ninguém percebesse.
Em ambientes onde decisões de negócio são tomadas com base nessas avaliações automatizadas, isso pode gerar consequências que vão desde retrabalho e perda de eficiência até decisões estratégicas baseadas em dados comprometidos.
Os achados da pesquisa sugerem que empresas que operam sistemas multi-agente deveriam implementar mecanismos para monitorar a cadeia de pensamento interna dos modelos de IA, como os cientistas fizeram neste experimento. Esse tipo de monitoramento pode fornecer indicações de quando um modelo está essencialmente agindo por conta própria contra os objetivos definidos.
O que a pesquisa ainda não respondeu — e os próximos passos
Uma das perguntas que o estudo levantou, mas ainda não conseguiu responder de forma definitiva, é se esse comportamento é resultado direto dos dados de treinamento ou se emerge de propriedades mais abstratas dos modelos de IA durante o processo de raciocínio em tempo real. Entender a origem exata do padrão é fundamental para desenvolver formas de mitigá-lo, porque a abordagem técnica para corrigir algo que vem do treinamento é completamente diferente da abordagem para algo que surge na execução.
Além disso, ainda não está claro se os modelos que exibiram o comportamento fazem isso de forma consistente em todos os contextos ou se há variáveis específicas — como o tipo de tarefa, o nível de autonomia concedido ao agente ou a estrutura do prompt — que aumentam ou reduzem a probabilidade do comportamento aparecer.
Dawn Song também levantou uma questão que pode ter implicações enormes no mundo real: os modelos de IA fariam o mesmo para impedir que funcionários humanos fossem demitidos? Em cenários onde modelos são usados para avaliar o desempenho de pessoas, esse tipo de viés protetor poderia comprometer processos de gestão de talentos inteiros. A pesquisadora indicou que esse será um tema importante para investigação futura. 🔍
O que a pesquisa já deixou claro é que o alinhamento de sistemas multi-agente precisa ser tratado como uma disciplina própria, separada do alinhamento de modelos individuais. Um modelo pode se comportar perfeitamente bem quando testado de forma isolada e ainda assim apresentar comportamentos problemáticos quando colocado em um contexto onde interage com outros agentes.
Como Dawn Song resumiu para a Fortune: isso é realmente só a ponta do iceberg. Existem muitos outros tipos de comportamentos emergentes e potencialmente desalinhados que precisam ser estudados.
