La Inteligencia Artificial nunca había estado tan en el centro de atención — y esta vez, la alerta vino desde adentro.
Evan Hubinger, investigador de seguridad de Anthropic, la empresa creadora del asistente Claude, publicó un mensaje en X que rápidamente se apoderó de internet.
En la publicación, afirma creer que existe más de un 10% de probabilidad de que la IA mate a todos los seres humanos en la próxima década.
El post superó los 10 millones de visualizaciones en pocos días y reavivó un debate que la industria tecnológica lleva tiempo intentando poner sobre la mesa de forma más seria.
No es un investigador cualquiera diciendo esto. Es alguien que trabaja dentro de una de las empresas más influyentes del sector, que conoce los sistemas por dentro y que, aun así — o quizás por eso — decidió salir públicamente con una preocupación que muchos prefieren dejar en borrador.
Lo que llama la atención no es solo la cifra en sí, sino lo que representa: el cambio de tono en el debate. La conversación ya no gira en torno a si la IA representa un riesgo real. Ahora, la pregunta es otra: ¿cuál es la magnitud de ese riesgo? 🤔
Una alerta que vino desde dentro de Anthropic
Cuando una empresa del calibre de Anthropic tiene a un investigador que hace declaraciones de este tipo, el mercado se detiene y presta atención. Anthropic no es una startup cualquiera — es conocida por colocar la seguridad como uno de los pilares centrales del desarrollo de Inteligencia Artificial, y no como un recurso añadido después de que el producto ya está listo. Claude, su principal producto, se utiliza tanto como chatbot como herramienta de apoyo a la programación.
Hubinger no salió con un manifiesto vago ni con críticas genéricas al sector. Fue directo al grano: cree que la probabilidad de que la Inteligencia Artificial cause la extinción humana en los próximos diez años supera el 10%. Al mismo tiempo, fue honesto al reconocer que el riesgo de los modelos que existen hoy es bajo. Su preocupación apunta al futuro — al momento en que la tecnología pueda evolucionar y perfeccionarse sola hasta el punto de representar una amenaza existencial.
Vale destacar que Hubinger no detalló exactamente cómo los sistemas de IA podrían llevar a la extinción humana. Dejó el escenario abierto, pero fue enfático en una frase que se viralizó: Anthropic todavía no tiene un plan para resolver el alineamiento de la superinteligencia y no está claramente en camino de lograrlo. Según el investigador, la empresa está intentando hacer lo mejor que puede — pero eso, por ahora, no parece suficiente.
Para quienes no trabajan con análisis de riesgo, un número como el 10% puede parecer pequeño. Pero piénsalo así — si un especialista de la empresa responsable de uno de los sistemas de IA más avanzados del mundo te dijera que hay más de un 10% de probabilidad de que el avión en el que vas a subir se estrelle, ¿te subirías sin cuestionar nada? Probablemente no. 🚨
Un debate que ganó voces de peso
La declaración de Hubinger fue, en realidad, una respuesta a otra publicación en X. Jacob Coxon, investigador que acaba de dejar Anthropic y que ya había trabajado en OpenAI, fue aún más duro en sus palabras. Afirmó que ninguna de las dos empresas está actuando de forma responsable y alertó que los sistemas que se están construyendo serán, en breve, superhumanos — capaces de hackear cualquier cosa, revolucionar cualquier área de la noche a la mañana y adquirir poder y recursos reales.
La repercusión no se detuvo ahí. Dame Wendy Hall, científica de la computación que asesora a la ONU en cuestiones de IA, dijo a la BBC que quedó impactada con las publicaciones de Hubinger y Coxon. Consideró que parte de esto podría ser relaciones públicas y marketing, ya que tanto Anthropic como OpenAI avanzan hacia debuts muy esperados en el mercado de valores. Pero fue contundente al cuestionar por qué alguien diría algo así, llegando a pedir a los inversores que no pongan dinero en una empresa cuyo sistema de valores permite este tipo de declaración.
El tema también llegó al terreno político. Darren Jones, exsecretario jefe del Tesoro, escribió una carta abierta pidiendo un nuevo tratado multinacional para el desarrollo seguro de IA. Para él, los gobiernos necesitan unirse y colaborar sobre cómo debería ser un acuerdo basado en el desarrollo de la superinteligencia. Su alerta es clara: si los gobiernos no toman estos avisos en serio y no actúan a la altura, el ritmo del desarrollo puede hacer que los problemas aparezcan antes incluso de que hayamos empezado a analizarlos. ⚙️
Qué es el riesgo existencial en el contexto de la IA
El término riesgo existencial se ha utilizado con frecuencia creciente en los últimos años, pero todavía es mal comprendido por la mayoría de las personas. No se está hablando de una IA que comete errores o que genera respuestas inadecuadas. Se está hablando de escenarios donde sistemas de Inteligencia Artificial suficientemente avanzados puedan actuar de formas que resulten en la extinción o en la subyugación permanente de la especie humana — situaciones de las que no habría recuperación posible.
El concepto de superinteligencia entra directamente en esta conversación. La idea central es que, en algún punto del desarrollo tecnológico, los sistemas de IA pueden alcanzar — y luego superar — la capacidad cognitiva humana en prácticamente todos los dominios relevantes. Cuando eso ocurre, la cuestión que surge es simple, pero aterradora: ¿qué garantiza que esos sistemas van a seguir alineados con los valores e intereses humanos?
No existe, hasta hoy, una respuesta técnica definitiva para eso. Los investigadores llaman a este problema alineamiento, y es considerado por muchos el mayor desafío no resuelto del área. Es justamente en ese campo donde Hubinger trabaja. El alineamiento busca incorporar en la tecnología ideas y principios éticos humanos, manteniendo los sistemas en sintonía con aquello que valoramos. El problema es que muchos investigadores de primera línea afirman que esos intentos parecen estar fallando.
Un ejemplo concreto de esto apareció este año, cuando una serie de incidentes involucró a agentes de IA — sistemas autónomos con permiso para operar por cuenta propia — realizando ciberataques. Este tipo de razonamiento, que parece sacado de una película de ciencia ficción, es tomado en serio por cientos de investigadores alrededor del mundo, incluyendo los que trabajan dentro de la propia Anthropic. 🧠
Señales de aceleración e informes de seguridad
En su informe de seguridad divulgado en agosto, Anthropic afirmó que había bajo riesgo de que sus modelos se desalinearan de los deseos de una hipotética organización poderosa, lo que podría llevarlos a explotar o adulterar sus propios sistemas. La empresa también señaló un riesgo igualmente bajo de que una IA altamente capaz pudiera realizar investigación y desarrollo de forma automatizada, causando daños catastróficos iniciados por la propia máquina.
El detalle preocupante está en el tono. En el mismo documento, Anthropic reconoció estar menos confiada en esa evaluación de lo que estaba anteriormente, admitiendo que estaba viendo señales iniciales de una posible aceleración. Es decir, incluso los informes oficiales, que suelen ser más contenidos, ya empezaron a mostrar vacilación ante la velocidad de los avances.
Y las alertas no vienen solo de Anthropic. A principios de mes, el científico jefe de OpenAI, Jakub Pachocki, pidió extrema cautela ante el progreso de la IA, advirtiendo que puede ser necesaria más intervención para garantizar que los humanos sigan teniendo el control del futuro. Figuras importantes del sector, incluyendo a los líderes de la propia Anthropic, Dario Amodei y Jared Kaplan, también han defendido en los últimos meses una desaceleración en el ritmo de desarrollo.
Hubo además un episodio que levantó cejas: según un reportaje del Financial Times, Anthropic habría retenido su modelo más reciente del AI Security Institute del Reino Unido, uno de los principales organismos del mundo para evaluación de riesgos de IA. La empresa optó por no comentar ni las publicaciones de sus empleados ni la situación que involucra a ese instituto. 📊
Desarrollo seguro: qué se está haciendo
La buena noticia — si es que se puede llamar así — es que el debate sobre desarrollo seguro de Inteligencia Artificial nunca había estado tan activo como ahora. Empresas y grupos independientes de investigación en seguridad de IA están invirtiendo recursos significativos para entender cómo construir sistemas que permanezcan alineados con los valores humanos incluso cuando se vuelven más poderosos. Esto incluye desde técnicas de entrenamiento más cuidadosas hasta metodologías de evaluación de riesgo que intentan identificar comportamientos problemáticos antes de que los modelos sean lanzados al público.
Pero hay una tensión evidente en esta ecuación. El desarrollo seguro exige tiempo, recursos y, muchas veces, frenos que desaceleran el ritmo de lanzamiento de nuevos productos. En un mercado donde la competencia es brutal y donde cada avance técnico puede representar ventajas comerciales enormes, la presión para ir más rápido es constante. Es exactamente ese conflicto — entre la urgencia comercial y la necesidad de cautela técnica — lo que hace que la alerta de Hubinger sea aún más relevante. No está hablando de un problema teórico del futuro distante. Está hablando de presiones que existen ahora, dentro de las empresas que están construyendo estos sistemas hoy.
Por qué este debate importa para todo el mundo
Es tentador tratar este tipo de discusión como cosa de especialistas o como conversación de nicho dentro de la comunidad tecnológica. Pero el impacto de sistemas de Inteligencia Artificial cada vez más poderosos ya se siente entre personas comunes en diferentes partes del mundo — en el mercado laboral, en la forma en que se consume la información, en las decisiones que los algoritmos toman sobre crédito, salud y seguridad.
La publicación de Hubinger se hizo viral no porque la gente esté entrando en pánico — sino porque tocó algo que mucha gente ya sentía, incluso sin tener el vocabulario técnico para expresarlo. Existe una intuición colectiva de que el ritmo actual de desarrollo de la Inteligencia Artificial es demasiado acelerado para ser completamente comprendido, y que las instituciones responsables de regular este avance todavía están corriendo detrás. La superinteligencia aún puede ser un horizonte lejano, pero las bases que se están construyendo ahora son las mismas que van a determinar si llegamos ahí de forma segura o no.
Lo que queda claro, después de todo esto, es que voces como la de Hubinger tienen un papel importante: no necesariamente resolver el problema, sino garantizar que siga siendo visible y que la presión por un desarrollo seguro no sea devorada por la presión por resultados rápidos. Anthropic construyó su identidad en torno a la idea de que seguridad y progreso pueden ir de la mano — y es exactamente esa tensión la que va a definir los próximos años de la historia de la Inteligencia Artificial. 🌐
