La inteligencia artificial dejó de ser un tema de ciencia ficción hace mucho tiempo, pero lo que estamos viviendo ahora es diferente a todo lo que vino antes.
Evan Hubinger, uno de los investigadores de seguridad más respetados de Anthropic, la empresa responsable de Claude, publicó algo que paralizó al mundo de la tecnología: cree que existe más de un 10% de probabilidad de que la IA extermine a la humanidad en los próximos diez años.
No es un guion de película.
No es alarmismo vacío.
Es un especialista que trabaja todos los días con esta tecnología, desde dentro de una de las empresas más avanzadas del sector, diciendo en voz alta lo que muchos prefieren no decir.
Lo que llama aún más la atención es el contexto de la declaración: Hubinger no está diciendo que el riesgo ya esté aquí, sino que la trayectoria es el problema. En una publicación en la red social X, que ya fue vista más de 10 millones de veces, dejó claro que el riesgo de los modelos que existen hoy todavía es bajo, pero que está genuinamente preocupado por el rumbo de las cosas. La velocidad con la que los modelos están evolucionando podría llevarnos a un punto sin retorno antes de que alguien pueda reaccionar. Y es justamente ahí donde el debate cambia de nivel.
La discusión ya no gira en torno a si la IA representa un riesgo real para la humanidad, porque esa parte ya está prácticamente resuelta entre los especialistas. La pregunta ahora es: ¿qué tan grande es ese riesgo y qué estamos haciendo al respecto?
Reciba el mejor contenido sobre innovación en su correo electrónico.
Todas las noticias, consejos, tendencias y recursos que buscas, directamente en tu bandeja de entrada.
Al suscribirte al boletín informativo, aceptas recibir comunicaciones de Método Viral. Nos comprometemos a proteger y respetar siempre tu privacidad.
Spoiler: la respuesta no es alentadora. 😬
Qué hay detrás de ese número del 10%
Cuando alguien de dentro de Anthropic pone una probabilidad de riesgo existencial en dos dígitos, la primera reacción natural es cuestionar si aquello es serio o si es solo una estrategia de marketing para justificar más inversiones en seguridad. Esa desconfianza, de hecho, fue exactamente lo que apareció en la reacción de Dame Wendy Hall, científica de la computación que asesora a la ONU en temas de IA. Ella dijo a la BBC estar impactada con las declaraciones, y sugirió que parte de esto podría ser relaciones públicas y marketing, especialmente con Anthropic y OpenAI avanzando hacia sus tan esperados debuts en la bolsa de valores. Aun así, fue directa al cuestionar por qué alguien diría algo así, y pidió a los inversores que no pusieran dinero en empresas con ese tipo de postura.
Pero Hubinger no es un ejecutivo intentando vender una narrativa. Es investigador técnico, especializado exactamente en los tipos de fallas que pueden ocurrir cuando sistemas de inteligencia artificial avanzan demasiado rápido sin los mecanismos de control adecuados. El número del 10% no salió de la nada, sino que se construyó a partir de años de observación de los patrones de comportamiento de los modelos de lenguaje, de las limitaciones conocidas de las técnicas de alineación actuales y de la velocidad con la que las capacidades están creciendo en laboratorios alrededor del mundo. Vale destacar que no detalló exactamente cómo cree que los sistemas de IA podrían, en el futuro, llevar al fin de la humanidad, lo que deja la discusión aún más abierta a interpretaciones.
Hubinger trabaja con alineación de IA, un área que busca incorporar ideas éticas y principios humanos dentro de la tecnología. En otras palabras, el objetivo es mantener los modelos en sintonía con aquello que los humanos valoran. El problema es que muchos investigadores de punta afirman que esos intentos parecen estar fallando, algo que quedó en evidencia en una serie de incidentes recientes en los que agentes de IA, sistemas autónomos que operan solos, llegaron a ejecutar ciberataques. Es el tipo de escenario que hace que el debate sobre seguridad en IA sea tan urgente y al mismo tiempo tan difícil de comunicar al público general.
Y aquí está el punto que realmente incomoda: incluso dentro de las empresas que más invierten en desarrollo responsable, los investigadores admiten que no saben con certeza si las técnicas de alineación que están usando hoy van a funcionar a medida que los modelos se vuelvan más capaces. El propio Hubinger escribió que cree que Anthropic está haciendo lo mejor que puede, pero que la empresa todavía no tiene un plan para resolver la alineación de la superinteligencia y no está claramente en camino de lograrlo. Es como construir un freno para un coche que va a ser cada vez más rápido, sin saber exactamente cuál será la velocidad máxima que alcanzará.
La carrera que nadie quiere pausar
Uno de los aspectos más inquietantes de toda esta discusión es la dinámica competitiva que existe entre los grandes laboratorios de IA. La declaración de Hubinger, de hecho, llegó como respuesta a otra publicación de Jacob Coxon, investigador que acaba de dejar Anthropic y que antes había trabajado en OpenAI. Coxon fue aún más contundente al afirmar que ninguna de las dos empresas está actuando de forma responsable, y alertó que pronto tendremos sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Se contactó a OpenAI para que comentara al respecto.
OpenAI, Google DeepMind, Anthropic, Meta AI y una serie de actores más pequeños están todos empujando los límites de las capacidades de sus modelos al mismo tiempo, y ninguno de ellos puede simplemente detenerse sin correr el riesgo de quedarse atrás. Es una lógica de carrera armamentista aplicada a la tecnología más transformadora que la humanidad ha desarrollado jamás, y ese contexto hace que cualquier conversación sobre desaceleración voluntaria sea extremadamente complicada en la práctica.
El concepto de superinteligencia entra aquí de forma muy concreta. No estamos hablando de robots con ojos rojos del cine de los años 80. Estamos hablando de sistemas que logran superar a los humanos en prácticamente cualquier tarea cognitiva, incluida la tarea de mejorarse a sí mismos. Cuando un sistema alcanza ese nivel, las reglas del juego cambian por completo, porque a partir de ese punto la velocidad de desarrollo pasa a ser determinada por el propio sistema y ya no por los ingenieros que lo crearon. La preocupación de Hubinger es que nos estamos acercando a ese límite sin haber resuelto los problemas fundamentales de alineación que deberían estar resueltos antes de llegar ahí.
Lo que hace todo esto aún más complejo es que las señales de progreso y las señales de peligro son exactamente las mismas. Cada vez que un modelo resuelve un problema más difícil, escribe código más sofisticado o demuestra un razonamiento más elaborado, eso se celebra como avance tecnológico. Y de hecho lo es. Pero esos mismos avances son los que acortan la distancia hasta un nivel de capacidad para el que ningún mecanismo de control existente fue probado.
Los gobiernos entran en la conversación
La repercusión de estas declaraciones no se limitó al mundo de la tecnología. La salida de Coxon de Anthropic terminó motivando a Darren Jones, exsecretario jefe del Tesoro, a escribir una carta abierta pidiendo un nuevo tratado multinacional orientado al desarrollo seguro de la IA. Afirmó a la BBC que los gobiernos necesitan unirse y colaborar para definir cómo debería ser un tratado basado en el desarrollo de la superinteligencia.
Según Jones, a menos que los gobiernos tomen estas alertas lo suficientemente en serio y asuman la responsabilidad, el ritmo acelerado del desarrollo puede hacer que la humanidad termine enfrentando problemas antes incluso de haber comenzado a evaluar si realmente existe un riesgo que considerar. Es una preocupación que hace eco al sentimiento de muchos especialistas: la regulación va detrás de la tecnología, y no al revés.
Paralelamente, el diario Financial Times informó que Anthropic habría dejado de compartir su modelo más reciente con el AI Security Institute del Reino Unido, conocido como AISI, uno de los principales organismos del mundo en evaluación de riesgos de IA. Anthropic optó por no comentar las publicaciones de sus empleados ni la situación relacionada con el AISI. Un portavoz gubernamental, por su parte, no confirmó si el modelo más reciente había sido retenido, afirmando únicamente que el gobierno sigue colaborando estrechamente con socios de la industria, incluida la propia Anthropic, para hacer los modelos más seguros.
Qué significa desarrollo responsable en la práctica
La expresión desarrollo responsable se convirtió casi en un eslogan corporativo en los últimos años, repetida en presentaciones, informes de sostenibilidad y comunicados de prensa con una frecuencia que acabó vaciando un poco su significado real. Pero cuando investigadores como Hubinger hablan de esto, se refieren a algo muy específico y muy técnico: la capacidad de garantizar que un sistema de inteligencia artificial va a seguir comportándose de acuerdo con los valores humanos incluso cuando sus capacidades crezcan, incluso cuando encuentre situaciones que no estaban en el entrenamiento, e incluso cuando exista un incentivo para que actúe de forma diferente.
En el informe de seguridad publicado por Anthropic en agosto, la empresa afirmó que existía un riesgo bajo de que sus modelos se desalinearan de los deseos de una organización poderosa hipotética, al punto de explotar o manipular los propios sistemas. La compañía también señaló un riesgo igualmente bajo de que una IA altamente capaz pudiera realizar investigación y desarrollo de forma automatizada, lo que podría generar daños catastróficos iniciados por la propia IA. Pero un detalle llamó la atención: Anthropic dijo estar menos confiada en esa evaluación de lo que estaba anteriormente, admitiendo que ya ve señales iniciales de una posible aceleración.
Herramientas que usamos a diario
Anthropic fue fundada con la premisa explícita de que la IA puede ser peligrosa y que por eso mismo vale la pena desarrollarla con un enfoque intenso en seguridad. Esa lógica es controvertida porque parte de la idea de que es mejor que laboratorios comprometidos con la seguridad estén en la frontera del desarrollo a dejar ese espacio solo para quienes no se preocupan tanto por estos riesgos. El hecho de que Hubinger pueda publicar estimaciones de riesgo tan directas sin ser silenciado es una señal positiva, pero todavía no es garantía de que las decisiones de producto y velocidad de lanzamiento se estén tomando con el mismo nivel de cautela.
Lo que los especialistas en seguridad de IA defienden de forma cada vez más unificada es la necesidad de estructuras de gobernanza que existan fuera de las empresas y que tengan poder real sobre las decisiones de implementación. La analogía más utilizada es con la industria farmacéutica o nuclear, donde el desarrollo privado existe dentro de un marco regulatorio que define qué puede y qué no puede ponerse en el mercado sin aprobación independiente. Todavía estamos muy lejos de eso para la IA. 🤔
Por qué esta conversación importa ahora
Existe una tendencia natural a reaccionar ante declaraciones como la de Hubinger con una combinación de escepticismo y fatalismo. O las personas creen que es una exageración, o creen que no hay nada que hacer de todos modos, así que para qué preocuparse. Ambas reacciones son problemáticas, porque el riesgo existencial que se está describiendo aquí no es inevitable, es contingente. Depende de decisiones que se están tomando ahora, en laboratorios, en consejos de administración, en organismos regulatorios y en parlamentos alrededor del mundo.
Vale recordar que Hubinger no está solo en ese tono de alerta. A principios de mes, el científico jefe de OpenAI, Jakub Pachocki, pidió extrema cautela ante el progreso de la IA, advirtiendo que podría ser necesaria más intervención para garantizar que los humanos sigan teniendo el control del futuro. En los últimos meses, grandes nombres del sector han venido defendiendo una desaceleración en el desarrollo de la IA, incluidos los propios líderes de Anthropic, Dario Amodei y Jared Kaplan.
Lo que hace que la posición de Hubinger sea particularmente relevante es que no está pidiendo detener todo. Está pidiendo que se tome en serio la posibilidad de que estamos subestimando el problema, y que se invierta en investigación de seguridad con la misma intensidad con la que se invierte en capacidades. Actualmente, la proporción entre investigación de capacidades e investigación de seguridad en los grandes laboratorios sigue siendo dramáticamente desigual, con muchos más recursos y talento dirigidos a hacer que los modelos sean más poderosos que a garantizar que ese poder sea seguro. Esa asimetría es el corazón del problema.
La inteligencia artificial es, sin duda, una de las tecnologías más importantes que la humanidad ha creado. Su potencial para resolver problemas complejos en medicina, clima, educación y ciencia es real y está documentado. Pero ese potencial y los riesgos asociados no están separados. Vienen juntos, en el mismo paquete, e ignorar un lado para celebrar el otro es exactamente el tipo de pensamiento que especialistas como Hubinger están intentando corregir. La buena noticia es que todavía hay tiempo para hacerlo bien. La mala noticia es que ese tiempo se reduce cada trimestre. ⚠️
