La Inteligencia Artificial ya escribe código, resume documentos, responde correos electrónicos e incluso negocia contratos.
Pero, ¿será que puede llevar una empresa desde cero durante casi un año y medio, tomando cientos de decisiones estratégicas que solo muestran resultados semanas después?
Esa pregunta, que parece sencilla, esconde uno de los mayores desafíos de los modelos de IA modernos: mantener una estrategia coherente a lo largo del tiempo, con información incompleta, un mercado cambiante y la caja siempre al límite. 💸
Fue exactamente para poner eso a prueba que investigadores crearon el CEO-Bench, un benchmark que coloca modelos de IA en el lugar de un CEO real, gestionando una startup ficticia llamada NovaMind durante 500 días simulados.
¿El resultado?
De 14 modelos evaluados, la mayoría quebró antes de llegar al final. Solo tres consiguieron terminar con más dinero del que empezaron, y un competidor inesperado casi dejó a todos atrás sin usar ningún modelo de lenguaje.
Vamos a entender cómo funciona esta simulación, quién sobrevivió y qué nos dice esto sobre el estado actual de la IA. 🤖
Qué es el CEO-Bench y cómo funciona la simulación
El CEO-Bench fue creado para evaluar la capacidad de los modelos de IA de tomar decisiones estratégicas a largo plazo en entornos complejos y dinámicos. La idea central parece simple en la superficie, pero es brutalmente difícil en la práctica: poner a una IA a gestionar una startup ficticia de software por suscripción durante 500 días simulados.
La empresa, NovaMind, empieza sin ningún cliente y con un millón de dólares en el banco. El rendimiento se mide por el dinero que queda en caja al final de la simulación. Y aquí viene la parte cruel: si el saldo cae por debajo de cero una sola vez, la empresa quiebra y la simulación termina ahí mismo. Sin segunda oportunidad. 😬
Para llevar la empresa, el agente no recibe botones listos. Lo controla todo a través de una API en Python con 34 herramientas y una base de datos con 19 tablas. En lugar de solo dar comandos individuales, la IA necesita escribir su propio código, consultar la base con SQL y armar flujos de trabajo personalizados a partir de los resultados. Es decir, se enfrenta a los mismos desafíos que tendría un CEO humano, según los investigadores.
Reciba el mejor contenido sobre innovación en su correo electrónico.
Todas las noticias, consejos, tendencias y recursos que buscas, directamente en tu bandeja de entrada.
Al suscribirte al boletín informativo, aceptas recibir comunicaciones de Método Viral. Nos comprometemos a proteger y respetar siempre tu privacidad.
Y mira que no falta qué decidir: precios y planes, gasto en anuncios en varios canales, calidad del producto e inversión en I+D, capacidad de infraestructura, soporte al cliente e incluso negociaciones de varias rondas con clientes corporativos. Para completar, existe una red social simulada donde el agente puede leer quejas, noticias de los competidores, tendencias económicas e hasta publicar sus propios mensajes.
El peso del tiempo y la incertidumbre
Lo que hace la tarea tan difícil es justamente la combinación de tiempo e incertidumbre. Las decisiones se desarrollan en plazos realistas de negocio: los ingresos solo entran en las fechas de cobro, los proyectos de I+D tardan de días a semanas en estar listos, y los errores muchas veces solo aparecen más adelante, a través de cancelaciones o de una reputación dañada. En cambio, los costos pegan de inmediato. El agente necesita gastar dinero cuyo retorno puede tardar semanas en llegar.
Buena parte del estado de la empresa queda oculta para el agente. No puede ver directamente la satisfacción de los clientes, la disposición a pagar o las expectativas mínimas de calidad. Todo eso tiene que deducirlo a partir de señales ruidosas, como cancelaciones, tickets de soporte o reacciones en la red social. La simulación modela 26 segmentos de clientes y clientes individuales, cada uno con su propio presupuesto, sensibilidad al precio y expectativas.
Y el mundo no se queda quieto. Los competidores elevan periódicamente las expectativas de calidad, las preferencias cambian con el tiempo y un ciclo económico simulado afecta la demanda y la disposición a pagar. Resultado: el agente necesita ajustarse todo el tiempo, sin bajar la guardia nunca.
Vale destacar una decisión inteligente de los investigadores. Prefirieron usar reglas fijas y transparentes en lugar de poner un modelo de lenguaje como juez de la simulación. La idea fue evitar una debilidad observada en pruebas similares, como el Vending-Bench, donde un proveedor simulado por IA podía recompensar al agente por promesas verbales irreales. Aquí, lo que vale es resultado concreto, no palabrería.
Quién sobrevivió y quién quebró
De los 14 modelos de IA puestos a prueba, la gran mayoría no llegó al día 500 con las cuentas en positivo. Casi todos lograban generar comandos válidos y consultas a la base de datos, pero ninguno era capaz de mantener una estrategia coherente a lo largo del tiempo. Muchos quebraron mucho antes de que terminara la simulación.
Solo tres modelos consiguieron terminar su mejor ronda por encima del capital inicial de un millón de dólares:
- Claude Fable 5: impresionantes 47,15 millones de dólares 🥇
- Claude Opus 4.8: 27,8 millones de dólares
- GPT-5.5: 21,3 millones de dólares
El Claude Fable 5 fue el único modelo en terminar por encima del capital inicial en más de una ronda. Pero hay un detalle importante: una de las rondas del Fable 5 fue abortada porque el propio modelo se negó a continuar, y en las otras dos algunas solicitudes recayeron en el Opus 4.8. Por su parte, el GPT-5.5 quebró en dos de sus tres intentos. O sea, ni el podio se libró de tropiezos. 😅
La sorpresa del agente basado en reglas simples
Pero el dato más revelador de toda la investigación no vino de ninguno de los grandes modelos de lenguaje. Un agente basado en una heurística simple, que nunca llama a un modelo de lenguaje ni una sola vez, estuvo absurdamente cerca de superar a todos.
Ese agente define precios, cuotas y planes fijos, concentra la publicidad y el desarrollo en un pequeño conjunto de segmentos de clientes y ajusta la capacidad según el uso reciente. Así de simple. Y aun así alcanzó 15,76 millones de dólares, superando a todos los modelos de IA, excepto al Fable 5, el Opus 4.8 y el GPT-5.5.
Este resultado sacudió a la comunidad porque plantea una pregunta incómoda: ¿será que, para tareas de gestión estratégica a largo plazo, las heurísticas bien calibradas todavía les ganan a modelos de lenguaje complejos? ¿O será que los LLMs simplemente aún no han sido optimizados para este tipo de razonamiento temporal encadenado? La respuesta honesta es: probablemente las dos cosas. 🤔
Para poner todo en perspectiva, los investigadores estimaron que el techo de caja final que sería posible alcanzar ronda los 2.200 millones de dólares. Incluso los mejores agentes quedaron muy, pero muy lejos de eso. La prueba, según los autores, está lejos de ser dominada.
Exploración le gana a la cautela
Al analizar las trayectorias de decisión, los investigadores encontraron diferencias claras de comportamiento entre los modelos. El GPT-5.5 y el Claude Opus 4.8 siguen probando nuevas estrategias conforme cambian las condiciones, ya sea acelerando la adquisición de clientes, ajustando los planes o redistribuyendo presupuestos de soporte e I+D.
En cambio, el Claude Opus 4.7 reaccionaba a los problemas principalmente recortando costos y preservando caja. Esa postura más pasiva le permitía al modelo sobrevivir hasta el final, pero le impedía generar ganancias de verdad. Es la clásica diferencia entre quien juega para no perder y quien juega para ganar.
Un detalle curioso: el Opus 4.8 y el GPT-5.5 llegaron a resultados parecidos por caminos completamente diferentes. El Opus 4.8 consigue más clientes al principio, pero llega a quedarse sin ninguno a mitad de la simulación, mientras que el GPT-5.5 mantiene su base de clientes de principio a fin. Ambos escribieron código sorprendentemente sofisticado. El Opus 4.8 construyó su propia simulación interna, modelando grupos de clientes para predecir el flujo de caja futuro. El GPT-5.5, por su parte, rastreó el historial de negociaciones en la base de datos para descubrir preferencias ocultas de los clientes. Pura astucia. 💡
Los investigadores midieron cuatro capacidades que se correlacionan con el éxito:
- Descubrir información oculta, como qué canal de anuncios funciona mejor para cada segmento de clientes;
- Predecir el futuro, medido por el error en las previsiones de caja a cuatro semanas;
- Adaptarse rápido a los cambios, medido por la velocidad con que el modelo detecta el movimiento de un competidor;
- Planificar con anticipación, medido en parte por la frecuencia con que aparecen escenarios del tipo si-entonces en las anotaciones del agente.
En los cuatro puntos, tanto el Opus 4.8 como el GPT-5.5 quedaron por encima del promedio del resto de modelos. No es casualidad que justamente ellos terminaran en positivo.
El entorno de herramientas también marca la diferencia
Otro hallazgo interesante tiene que ver con el entorno de software que los agentes usan para actuar. Los investigadores probaron el Claude Opus 4.7 con Claude Code y el GPT-5.5 con Codex, dos asistentes de programación bastante populares. En ambos casos, los agentes actuaron con mucha menos frecuencia y tuvieron un rendimiento peor.
La sospecha es que los system prompts de esas herramientas, ajustados para desarrollo de software, entorpecen el razonamiento orientado a gestión. En otras palabras: la herramienta correcta para una tarea puede ser la herramienta equivocada para otra, incluso usando el mismo modelo por debajo.
Herramientas que usamos a diario
Y no sirve de nada acortar el plazo pensando que eso lo resuelve. Cuando la simulación se comprimió a solo 50 días, únicamente el GPT-5.5 consiguió terminar con ganancias. La mayoría de los modelos, concluyen los investigadores, sigue siendo débil a la hora de coordinar decisiones incluso cuando el objetivo es de corto plazo.
Los límites del estudio y lo que viene por delante
Los autores son honestos sobre las limitaciones del experimento. El producto de NovaMind está representado por una única nota de calidad, porque no encontraron una forma confiable de evaluar cambios cualitativos más detallados. Temas como cumplimiento normativo, seguridad y captación de inversiones quedaron fuera para que cada ronda fuera económicamente viable de ejecutar. Aun así, el CEO-Bench deja al descubierto una brecha real: la distancia entre la competencia local de los modelos actuales para usar herramientas y la capacidad de conectar acciones a lo largo de horizontes temporales extensos en una estrategia coherente.
Lo que la simulación reveló es que existe un abismo entre lo que los modelos hacen bien en tareas aisladas y lo que logran sostener en entornos de decisión continua. La mayoría de los LLMs modernos fueron entrenados para responder preguntas, resumir textos, generar código y completar tareas de corto plazo con una calidad impresionante. Pero la gestión estratégica no es una tarea de corto plazo. Es una secuencia larga de microdecisiones interdependientes, donde el contexto acumulado importa tanto como la decisión inmediata.
Otro punto que el benchmark ilumina muy bien es la cuestión de la consistencia bajo incertidumbre. En el mundo real, los CEOs toman decisiones con información incompleta todo el tiempo. Desarrollan un modelo mental del negocio, actualizan ese modelo conforme llegan nuevos datos y ajustan el rumbo cuando es necesario, pero sin abandonar la estrategia central ante cada turbulencia. Los modelos de IA evaluados tendieron a oscilar demasiado o, en el extremo opuesto, a aferrarse a un enfoque inicial incluso cuando ya estaba claro que no funcionaba.
Por qué este benchmark importa para el futuro de la IA
Benchmarks como el CEO-Bench son fundamentales porque crean un vocabulario común para medir capacidades que todavía no tenían una métrica clara. Durante años, la comunidad de IA midió la inteligencia a través de pruebas de lenguaje, razonamiento matemático, generación de código y comprensión de texto. Esos criterios son importantes, pero dejan fuera una porción enorme de lo que significa tomar buenas decisiones en el mundo real.
El mercado de IA agéntica, es decir, sistemas que ejecutan tareas de forma autónoma y secuencial, está creciendo rápido. Las empresas están invirtiendo fuerte en agentes que puedan operar con supervisión mínima en contextos de negocio reales. El CEO-Bench funciona como un stress test para esas ambiciones. Si un modelo no logra mantener viva una startup ficticia durante 500 días en un entorno controlado, ¿qué garantías reales hay de que va a rendir bien gestionando procesos críticos en empresas de verdad?
La sorpresa del agente basado en reglas simples también abre una conversación importante sobre diseño de sistemas híbridos. Tal vez la respuesta no sea un LLM puro tomando todas las decisiones, sino una arquitectura donde un modelo de lenguaje trabaje junto con capas de lógica determinística, memoria estructurada y mecanismos de planificación a largo plazo. Este tipo de enfoque compuesto ya se está explorando en varios laboratorios, y resultados como los del CEO-Bench tienden a acelerar esa dirección.
Al final de cuentas, el benchmark no cierra ninguna puerta. Señala con claridad hacia dónde necesitan abrirse las próximas. La IA todavía no está lista para sentarse sola en la silla del CEO, pero el camino para llegar ahí quedó mucho más visible. 🔑🚀
