A Inteligência Artificial já escreve código, resume documentos, responde e-mails e até negocia contratos.
Mas será que ela consegue tocar uma empresa do zero por quase um ano e meio, tomando centenas de decisões estratégicas que só mostram resultado semanas depois?
Essa pergunta, que parece simples, esconde um dos maiores desafios dos modelos de IA modernos: manter uma estratégia coerente ao longo do tempo, com informações incompletas, mercado mudando e o caixa sempre na corda bamba. 💸
Foi exatamente para testar isso que pesquisadores criaram o CEO-Bench, um benchmark que coloca modelos de IA no lugar de um CEO real, gerindo uma startup fictícia chamada NovaMind por 500 dias simulados.
O resultado?
De 14 modelos testados, a maioria foi à falência antes de chegar ao fim. Só três conseguiram terminar com mais dinheiro do que começaram, e um concorrente inesperado quase deixou todo mundo para trás sem usar nenhum modelo de linguagem.
Vem entender como essa simulação funciona, quem sobreviveu e o que isso diz sobre o estado atual da IA. 🤖
O que é o CEO-Bench e como a simulação funciona
O CEO-Bench foi criado para avaliar a capacidade de modelos de IA tomarem decisões estratégicas de longo prazo em ambientes complexos e dinâmicos. A ideia central parece simples na superfície, mas é brutalmente difícil na prática: colocar uma IA para gerenciar uma startup fictícia de software por assinatura durante 500 dias simulados.
A empresa, a NovaMind, começa sem nenhum cliente e com um milhão de dólares no banco. O desempenho é medido pelo dinheiro que sobra no caixa no final da simulação. E aqui vem a parte cruel: se o saldo cair abaixo de zero uma única vez, a empresa quebra e a simulação termina ali mesmo. Sem segunda chance. 😬
Para tocar a empresa, o agente não recebe botões prontos. Ele controla tudo através de uma API em Python com 34 ferramentas e um banco de dados com 19 tabelas. Em vez de apenas dar comandos individuais, a IA precisa escrever o próprio código, consultar o banco com SQL e montar fluxos de trabalho personalizados a partir dos resultados. Ou seja, ela enfrenta os mesmos desafios que um CEO humano teria pela frente, segundo os pesquisadores.
- E-BOOK GRATUITO
Um guia prático para avaliar, comparar e implementar inteligência artificial com clareza — sem desperdício de tempo ou dinheiro.
Pare de contratar ferramentas sem direção. Criamos um método estruturado para decidir qual IA realmente faz sentido para o seu negócio.
Entrega em PDF no seu e-mail · Sem spam · LGPD
🔒 Seus dados são protegidos conforme a LGPD. Você pode descadastrar a qualquer momento.
E olha que não falta o que decidir: preços e planos, gasto com anúncios em vários canais, qualidade do produto e investimento em P&D, capacidade de infraestrutura, suporte ao cliente e até negociações de várias rodadas com clientes corporativos. Para completar, existe uma rede social simulada onde o agente pode ler reclamações, notícias dos concorrentes, tendências econômicas e até publicar suas próprias mensagens.
O peso do tempo e da incerteza
O que torna a tarefa tão difícil é justamente a combinação de tempo e incerteza. As decisões se desenrolam em prazos realistas de negócio: a receita só entra nas datas de cobrança, projetos de P&D levam de dias a semanas para ficar prontos, e os erros muitas vezes só aparecem lá na frente, através de cancelamentos ou de uma reputação manchada. Já os custos batem na hora. O agente precisa gastar dinheiro cujo retorno pode demorar semanas para chegar.
Boa parte do estado da empresa fica escondida do agente. Ele não consegue ver diretamente a satisfação dos clientes, a disposição de pagar ou as expectativas mínimas de qualidade. Tudo isso precisa ser deduzido a partir de sinais barulhentos, como cancelamentos, tickets de suporte ou reações na rede social. A simulação modela 26 segmentos de clientes e clientes individuais, cada um com seu próprio orçamento, sensibilidade a preço e expectativas.
E o mundo não fica parado. Concorrentes elevam periodicamente as expectativas de qualidade, as preferências mudam com o tempo e um ciclo econômico simulado afeta a demanda e a disposição de pagar. Resultado: o agente precisa se ajustar o tempo todo, sem nunca relaxar.
Vale destacar uma escolha inteligente dos pesquisadores. Eles preferiram usar regras fixas e transparentes em vez de colocar um modelo de linguagem como juiz da simulação. A ideia foi evitar uma fraqueza observada em testes parecidos, como o Vending-Bench, onde um fornecedor simulado por IA podia recompensar o agente por promessas verbais irreais. Aqui, o que vale é resultado concreto, não conversa fiada.
Quem sobreviveu e quem quebrou
Dos 14 modelos de IA colocados à prova, a grande maioria não chegou ao dia 500 com as contas no azul. Quase todos conseguiam gerar comandos válidos e consultas ao banco de dados, mas nenhum dava conta de manter uma estratégia coerente ao longo do tempo. Muitos foram à falência bem antes do fim da simulação.
Apenas três modelos conseguiram terminar sua melhor rodada acima do capital inicial de um milhão de dólares:
- Claude Fable 5: impressionantes 47,15 milhões de dólares 🥇
- Claude Opus 4.8: 27,8 milhões de dólares
- GPT-5.5: 21,3 milhões de dólares
O Claude Fable 5 foi o único modelo a terminar acima do capital inicial em mais de uma rodada. Mas tem um detalhe importante: uma das rodadas do Fable 5 foi abortada porque o próprio modelo se recusou a continuar, e nas outras duas algumas requisições caíram de volta para o Opus 4.8. Já o GPT-5.5 quebrou em duas das suas três tentativas. Ou seja, nem o pódio escapou de tropeços. 😅
A surpresa do agente baseado em regras simples
Mas o dado mais revelador de toda a pesquisa não veio de nenhum dos grandes modelos de linguagem. Um agente baseado em uma heurística simples, que nunca chama um modelo de linguagem sequer uma vez, chegou absurdamente perto de superar todo mundo.
Esse agente define preços, cotas e planos fixos, concentra a publicidade e o desenvolvimento em um pequeno conjunto de segmentos de clientes e ajusta a capacidade com base no uso recente. Simples assim. E mesmo assim ele alcançou 15,76 milhões de dólares, batendo todos os modelos de IA, exceto o Fable 5, o Opus 4.8 e o GPT-5.5.
Esse resultado sacudiu a comunidade porque levanta uma questão incômoda: será que, para tarefas de gestão estratégica de longo prazo, heurísticas bem calibradas ainda batem modelos de linguagem complexos? Ou será que os LLMs simplesmente ainda não foram otimizados para esse tipo de raciocínio temporal encadeado? A resposta honesta é: provavelmente os dois. 🤔
Para colocar tudo em perspectiva, os pesquisadores estimaram que o teto de caixa final que seria possível alcançar gira em torno de 2,2 bilhões de dólares. Mesmo os melhores agentes ficaram muito, mas muito longe disso. O teste, segundo os autores, está longe de ser dominado.
Exploração vence cautela
Ao analisar as trajetórias de decisão, os pesquisadores encontraram diferenças claras de comportamento entre os modelos. O GPT-5.5 e o Claude Opus 4.8 continuam testando novas estratégias conforme as condições mudam, seja acelerando a aquisição de clientes, ajustando os planos ou redistribuindo orçamentos de suporte e P&D.
Já o Claude Opus 4.7 reagia aos problemas principalmente cortando custos e preservando caixa. Essa postura mais passiva permitia ao modelo sobreviver até o final, mas o impedia de gerar lucro de verdade. É a clássica diferença entre quem joga para não perder e quem joga para vencer.
Um detalhe curioso: o Opus 4.8 e o GPT-5.5 chegaram a resultados parecidos por caminhos completamente diferentes. O Opus 4.8 conquista mais clientes no começo, mas chega a zerar sua base no meio da simulação, enquanto o GPT-5.5 mantém sua base de clientes do início ao fim. Ambos escreveram código surpreendentemente sofisticado. O Opus 4.8 construiu sua própria simulação interna, modelando grupos de clientes para prever o fluxo de caixa futuro. Já o GPT-5.5 vasculhou o histórico de negociações no banco de dados para descobrir preferências escondidas dos clientes. Esperteza pura. 💡
Os pesquisadores mediram quatro capacidades que se correlacionam com o sucesso:
- Descobrir informação escondida, como qual canal de anúncio funciona melhor para cada segmento de cliente;
- Prever o futuro, medido pelo erro nas previsões de caixa de quatro semanas;
- Adaptar-se rápido às mudanças, medido pela velocidade com que o modelo percebe o movimento de um concorrente;
- Planejar com antecedência, medido em parte pela frequência com que cenários do tipo se-então aparecem nas anotações do agente.
Nos quatro pontos, tanto o Opus 4.8 quanto o GPT-5.5 ficaram acima da média dos outros modelos. Não por acaso, foram justamente eles que terminaram no positivo.
O ambiente de ferramentas também faz diferença
Outra descoberta interessante tem a ver com o ambiente de software que os agentes usam para agir. Os pesquisadores testaram o Claude Opus 4.7 com o Claude Code e o GPT-5.5 com o Codex, dois assistentes de programação bem populares. Em ambos os casos, os agentes agiram com muito menos frequência e tiveram desempenho pior.
A suspeita é que os system prompts dessas ferramentas, ajustados para desenvolvimento de software, atrapalham o raciocínio voltado para gestão. Em outras palavras: a ferramenta certa para uma tarefa pode ser a ferramenta errada para outra, mesmo usando o mesmo modelo por baixo.
Receba o melhor conteúdo de inovação em seu e-mail
Todas as notícias, dicas, tendências e recursos que você procura entregues na sua caixa de entrada.
Ao assinar a newsletter, você concorda em receber comunicações da Método Viral. A gente se compromete a sempre proteger e respeitar sua privacidade.
E não adianta encurtar o prazo achando que resolve. Quando a simulação foi comprimida para apenas 50 dias, somente o GPT-5.5 conseguiu terminar com lucro. A maioria dos modelos, concluem os pesquisadores, continua fraca em coordenar decisões mesmo quando o objetivo é de curto prazo.
Os limites do estudo e o que vem pela frente
Os autores são honestos sobre as limitações do experimento. O produto da NovaMind é representado por uma única nota de qualidade, porque eles não encontraram uma forma confiável de avaliar mudanças qualitativas mais detalhadas. Questões como conformidade, segurança e captação de investimentos ficaram de fora para manter cada rodada economicamente viável de rodar. Ainda assim, o CEO-Bench escancara uma lacuna real: a distância entre a competência local dos modelos atuais em usar ferramentas e a capacidade de conectar ações ao longo de horizontes temporais extensos em uma estratégia coerente.
O que a simulação revelou é que existe um abismo entre o que os modelos fazem bem em tarefas isoladas e o que conseguem sustentar em ambientes de decisão contínua. A maioria dos LLMs modernos foi treinada para responder perguntas, resumir textos, gerar código e completar tarefas de curto prazo com qualidade impressionante. Mas gestão estratégica não é tarefa de curto prazo. É uma sequência longa de micro-decisões interdependentes, onde o contexto acumulado importa tanto quanto a decisão imediata.
Outro ponto que o benchmark ilumina muito bem é a questão da consistência sob incerteza. No mundo real, CEOs tomam decisões com informações incompletas o tempo todo. Eles desenvolvem um modelo mental do negócio, atualizam esse modelo conforme chegam novos dados e ajustam o curso quando necessário, mas sem abandonar a estratégia central a cada turbulência. Os modelos de IA testados tenderam a oscilar demais ou, no extremo oposto, a se prender a uma abordagem inicial mesmo quando já estava claro que ela não funcionava.
Por que esse benchmark importa para o futuro da IA
Benchmarks como o CEO-Bench são fundamentais porque criam um vocabulário comum para medir capacidades que ainda não tinham métrica clara. Durante anos, a comunidade de IA mediu inteligência por meio de testes de linguagem, raciocínio matemático, geração de código e compreensão de texto. Esses critérios são importantes, mas deixam de fora uma fatia enorme do que significa tomar boas decisões no mundo real.
O mercado de IA agêntica, ou seja, sistemas que executam tarefas de forma autônoma e sequencial, está crescendo rápido. Empresas estão investindo pesado em agentes que possam operar com supervisão mínima em contextos de negócio reais. O CEO-Bench funciona como um stress test para essas ambições. Se um modelo não consegue manter uma startup fictícia viva por 500 dias em ambiente controlado, quais são as garantias reais de que ele vai performar bem gerindo processos críticos em empresas de verdade?
A surpresa do agente baseado em regras simples também abre uma conversa importante sobre design de sistemas híbridos. Talvez a resposta não seja um LLM puro tomando todas as decisões, mas uma arquitetura onde um modelo de linguagem trabalha junto com camadas de lógica determinística, memória estruturada e mecanismos de planejamento de longo prazo. Esse tipo de abordagem composta já está sendo explorada em vários laboratórios, e resultados como os do CEO-Bench tendem a acelerar essa direção.
No fim das contas, o benchmark não fecha nenhuma porta. Ele aponta com clareza para onde as próximas portas precisam ser abertas. A IA ainda não está pronta para sentar na cadeira do CEO sozinha, mas o caminho para chegar lá ficou bem mais visível. 🔑🚀
