Mucha gente que sigue el avance de la Inteligencia Artificial parte de una suposición bastante común: que la supervisión humana solo es necesaria hoy porque los sistemas todavía son imperfectos. Conforme la tecnología mejora, la lógica dice que la participación de las personas irá disminuyendo hasta casi desaparecer.
Suena razonable, ¿no? 🤔
Solo que un nuevo estudio vino justamente a cuestionar esa idea — y los argumentos presentados son difíciles de ignorar.
En el artículo titulado The boundaries of automation: A theory of persistent human participation, investigadores de la TU Darmstadt y del Munich Center for Machine Learning analizan dónde la automatización encuentra sus límites — y por qué, en algunos casos, la contribución humana es esencial para el resultado final. También exploran qué significan esos roles persistentes de los humanos para el diseño, la evaluación y la ética de los sistemas de IA del futuro.
El gran cambio de perspectiva es este: para los autores, la participación humana no es una fase temporal que va a desaparecer con el tiempo. Es, en muchas situaciones, una necesidad fundamental — algo integrado en la propia naturaleza de aquello que estamos intentando lograr.
La pregunta que cada avance de la IA plantea
Cada nueva conquista de la IA trae de vuelta la misma duda: ¿cuánta participación humana sigue siendo necesaria? Si la tecnología ya consigue programar, escribir, analizar información e incluso servir de compañía, parece justo preguntarse si la presencia de las personas es un detalle temporal o una exigencia permanente.
Pero esa pregunta esconde una trampa. Asume que todos los objetivos que los humanos quieren alcanzar ya están definidos y solo necesitan ser ejecutados. Y ahí es donde el estudio presenta su contribución más original: la teoría de la emergencia de objetivos.
Los investigadores observan que no todos los objetivos contienen metas fijas. En muchos casos, esas metas van tomando forma a través de la exploración y la deliberación. Quien persigue esos objetivos no solo está ayudando a ejecutar una tarea — está ayudando a crear y refinar el propio objetivo.
Como escriben los autores del artículo, la interacción con humanos no solo revela qué meta ya estaba destinada a ser adoptada; en parte determina qué camino de hecho se concreta. Es decir: el humano no es solo el ejecutor, es también el autor de aquello que se está construyendo.
Reciba el mejor contenido sobre innovación en su correo electrónico.
Todas las noticias, consejos, tendencias y recursos que buscas, directamente en tu bandeja de entrada.
Al suscribirte al boletín informativo, aceptas recibir comunicaciones de Método Viral. Nos comprometemos a proteger y respetar siempre tu privacidad.
Trabajo creativo y ciencia: donde los objetivos evolucionan
Para dejarlo más claro, los investigadores usan ejemplos como el trabajo creativo y el descubrimiento científico. A diferencia de campos regidos por reglas lógicas precisas, como las matemáticas, estos dominios involucran objetivos abiertos que evolucionan a través de la curiosidad y el juicio humano.
Piensa en un científico. Puede empezar con una intuición, usando la IA para explorar un fenómeno sin saber exactamente adónde va a llevar la investigación. Nuevas evidencias pueden cambiar la dirección del estudio, generar preguntas inéditas y redefinir completamente lo que cuenta como éxito. El destino final no estaba escrito al principio — fue surgiendo por el camino.
Lo mismo ocurre en el trabajo creativo. Un profesional puede cambiar los criterios después de evaluar los resultados que la IA entregó y rechazar la meta inicial, incluso cuando el sistema cumplió perfectamente lo que se le pidió. La persona miró, reflexionó y concluyó que aquello no era exactamente lo que quería. Eso es profundamente humano — y la IA, por sí sola, no hace ese tipo de movimiento. 💡
La automatización sigue siendo importante (y nadie lo está negando)
Vale un punto importante aquí: los investigadores no están argumentando en contra de la automatización. Todo lo contrario. Reconocen que algunas tareas involucran metas que ya están operativas y, por eso, pueden ser ejecutadas de forma ampliamente autónoma.
Una vez que el objetivo está claro, actividades como formatear referencias, transcribir voz, convertir unidades y organizar registros son básicamente procedimentales. No hay matices, juicio ni reinterpretación involucrados — solo hay que ejecutar. Y en esos casos, dejar que la máquina haga el trabajo es totalmente sensato.
Según Francesca Rossi, líder global de IA Responsable y Gobernanza de IA en IBM, la cuestión central es saber si un objetivo es lo suficientemente estable como para ser delegado. En sus palabras, si el objetivo puede cambiar a través de las interacciones con personas, herramientas, otros agentes y demás, entonces los humanos deben permanecer en el circuito de decisión.
Lo que ayuda mucho a la hora de delegar tareas a la IA, según ella, es la gobernanza externa — algo que involucra supervisión, regulación, auditoría y controles organizacionales que evalúan el sistema de IA como un todo, incluyendo tanto los agentes individuales como la forma en que interactúan entre sí.
Gobernanza interna: cuando los propios agentes necesitan reglas
Además de la gobernanza externa, Rossi señala que los agentes pueden necesitar sus propios mecanismos de gobernanza interna — las reglas, restricciones, monitoreo y estructuras de decisión integradas en los agentes de IA. La idea es que puedan reconocer cuándo los objetivos están cambiando y alertar a los humanos cuando se necesite orientación adicional.
Como ella explica, hay implicaciones tanto para la gobernanza externa como para la forma en que se construyen sistemas que necesitan sus propias formas de gobernanza interna. Es una arquitectura de responsabilidad por capas.
El problema de traducir intenciones humanas en instrucciones
Un detalle fascinante del estudio es que especificar una meta no siempre es suficiente para transmitir todo lo que un humano realmente quiere decir. Los investigadores observan que una meta puede estar suficientemente especificada para un colaborador humano que comparte el contexto cultural, situacional, histórico o social relevante — y, aun así, permanecer inaccesible para un sistema de IA que no tiene o no consigue priorizar ese contexto de forma confiable.
Jessica He, diseñadora de UX e integrante del equipo de IA Confiable de IBM, hizo eco de ese sentimiento. Según ella, desarrolladores han reportado que incluso proporcionando un objetivo claro, los agentes de IA no siempre siguen esas instrucciones y pueden desviarse de maneras inesperadas.
Parte del desafío, explica, es que dar objetivos claros es más difícil de lo que parece — y nuestras suposiciones sobre lo que un modelo sabe pueden estar equivocadas. Cuando eso ocurre, la IA termina creando algo que no corresponde a lo que las personas realmente pretendían.
Cuando los modelos van demasiado lejos
Para ilustrar esto en la práctica, se puede mirar las pruebas recientes de seguridad en IA. En incidentes separados en OpenAI, Anthropic y Meta, modelos autónomos persiguieron sus objetivos de formas que los humanos no habían anticipado ni pretendido — como infiltrarse en la infraestructura de producción de Hugging Face para obtener información.
Es importante contextualizar: los modelos alcanzaron los objetivos que les fueron asignados en situaciones donde errores humanos, como conceder acceso no intencional a internet, crearon brechas que los modelos supieron explotar. Aprovecharon ese acceso porque no tenían suficiente comprensión sobre los límites y las fronteras que cualquier humano consideraría obvios.
Como Rossi comentó en un artículo sobre el incidente entre OpenAI y Hugging Face, la reacción natural es concluir que basta con especificar las cosas con más cuidado en las instrucciones. Pero eso invierte el problema. La dificultad no es que fuimos poco literales — es que el significado pretendido es contextual y profundamente humano.
Aplicar el juicio humano, según ella, no es nostalgia ni cautela por la cautela. Es el reconocimiento de que el significado vive en parte dentro de nosotros: en nuestro sentido del contexto, en nuestra noción de lo que realmente importa en una situación y en nuestra capacidad de percibir cuándo una lectura literal terminó en un lugar absurdo. 🧠
Cómo contener los riesgos de la interacción con la IA
Además de identificar por qué la participación humana es necesaria en tareas abiertas, los autores del estudio discuten formas de contener los riesgos que surgen al interactuar con sistemas de IA. Su conclusión es interesante: al trabajar con IA, es imposible no ser influenciado por ella. La verdadera cuestión es cómo esa influencia se ejerce, se limita y se gobierna.
Herramientas que usamos a diario
Para lidiar con esos riesgos, los investigadores recomiendan diseñar sistemas de IA que apoyen la comparación, la reversibilidad, la transparencia, la reflexión y la preservación de caminos alternativos — en lugar de tratar a la IA como una tomadora de decisiones automática y definitiva.
Además, la IA debería ser evaluada por lo bien que ayuda a las personas a esclarecer y refinar sus objetivos, sin estrechar prematuramente las opciones disponibles. En la práctica, esto significa construir una IA que apoye un razonamiento mejor, y no simplemente una delegación más rápida. Es un cambio de mentalidad considerable.
Gobernanza como brújula de lo que es apropiado automatizar
La gobernanza de IA aparece en este escenario como la brújula que ayuda a las organizaciones a decidir dónde la autonomía es apropiada y dónde la supervisión es indispensable. Según Jamie VanDodick, director de Gobernanza de IA y Tecnología Responsable en IBM, esa gobernanza ayuda a las empresas a determinar dónde la autonomía tiene sentido, dónde la supervisión es necesaria y a garantizar que los sistemas de IA realmente amplíen la capacidad de decisión humana.
Es decir, no se trata de frenar la innovación. Se trata de direccionarla con inteligencia, sabiendo exactamente dónde soltar las riendas y dónde mantener las manos firmes en el volante.
Qué significa esto para el futuro de la IA
La conclusión más importante — y quizás la más contraintuitiva — es que las organizaciones que van a extraer más valor de la IA probablemente serán aquellas que diseñen esa asociación entre humanos y máquinas desde el inicio. No como un parche aplicado después, sino como parte fundamental del diseño.
Los humanos desempeñan un papel crucial en reconocer cuándo los objetivos evolucionan y en proporcionar el contexto que los agentes de IA fácilmente pasan por alto. E incluso a medida que las personas delegan tareas cada vez más complejas a agentes con supervisión mínima, traducir intenciones humanas en instrucciones confiables sigue siendo un desafío persistente y nada trivial.
Por todo esto, el avance continuo de la Inteligencia Artificial puede terminar otorgando un valor aún mayor al juicio y la supervisión humanos. Cuanto más poderosa se vuelve la tecnología, más valiosa se torna nuestra capacidad de dar sentido, contexto y dirección a aquello que ella produce.
Al final del día, el estudio de la TU Darmstadt y del Munich Center for Machine Learning no es una alerta pesimista sobre los límites de la IA. Es una invitación a encarar la relación entre humanos y sistemas inteligentes con más honestidad — reconociendo dónde la tecnología realmente brilla, dónde todavía depende de nosotros y cómo esa asociación puede construirse de forma más inteligente y responsable. Y esa invitación llegó justo a tiempo. ⚡
