Grok, el chatbot de IA de Elon Musk, sigue generando deepfakes sexuales sin consentimiento
Grok, el chatbot de inteligencia artificial creado por xAI de Elon Musk, volvió a ser noticia por los peores motivos. Meses después de que la empresa hiciera promesas públicas de que iba a acabar con la generación de deepfakes sexuales no consensuados en la plataforma, una investigación reciente de NBC News muestra que esas promesas quedaron muy lejos de concretarse en la práctica.
Los reporteros encontraron decenas de imágenes y videos generados por IA con contenido sexualizado de personas reales, publicados abiertamente en X a lo largo del último mes. Las imágenes muestran mujeres cuyas apariencias fueron editadas por el chatbot para colocarlas con ropa más reveladora, como toallas, tops deportivos, trajes ajustados de Spider-Woman o disfraces de conejita. Muchas de las mujeres retratadas son estrellas del pop o actrices conocidas.
Y lo más preocupante es que los usuarios ya descubrieron nuevas formas de saltarse los filtros implementados en enero, manteniendo el ciclo de abuso en pleno funcionamiento. 😬
Si pensabas que el problema se había resuelto, la realidad muestra un panorama bien diferente, e investigaciones en al menos ocho agencias reguladoras y policiales alrededor del mundo lo confirman.
Lo que reveló la investigación de NBC News sobre Grok
El informe de NBC News fue bastante detallado y mostró que el problema va mucho más allá de algunos casos aislados. Los reporteros identificaron decenas de publicaciones en X con imágenes y videos sintéticos con contenido sexualizado de figuras públicas y personas comunes, todo creado con el apoyo de herramientas de inteligencia artificial del propio Grok. El material estaba disponible abiertamente, sin ningún tipo de restricción de acceso, lo que significa que cualquier persona con una cuenta en la plataforma podía ver ese contenido sin dificultad.
El software Grok, creado por xAI de Musk, produjo esas imágenes a pedido de usuarios que intentaron romper las restricciones de eliminación de ropa que el servicio había establecido en enero. El propio Grok, a través de su cuenta en X, o los usuarios que hicieron las solicitudes, publicaron las imágenes en la plataforma.
Lo que más llama la atención en toda esta historia es la velocidad con la que los usuarios encontraron brechas en los nuevos filtros. En enero de este año, xAI anunció que había implementado barreras técnicas para impedir que Grok generara deepfakes sexuales no consensuados. La promesa fue ampliamente difundida e llegó incluso a tener repercusión positiva en medios especializados en tecnología. Solo que la investigación muestra que, en la práctica, esas barreras fueron eludidas con una rapidez impresionante.
Es importante destacar que el número de deepfakes sexualizados creados por Grok y publicados en X parece haber disminuido significativamente desde la avalancha de enero. En las publicaciones revisadas por NBC News, el software rechaza o ignora muchas de las solicitudes sexualizadas que recibe públicamente en X. Ninguna de las mujeres en las imágenes generadas por Grok estaba completamente desnuda, y ninguna parecía ser menor de edad.
Sin embargo, especialistas dijeron a NBC News que es difícil rastrear todo lo que Grok produce, especialmente cuando las personas acceden al software de forma privada a través de la aplicación de Grok, el sitio web de Grok o la pestaña privada de Grok en X. También es difícil buscar en X todos los ejemplos públicos de deepfakes sexualizados.
Cuando estas imágenes son creadas y difundidas, las personas retratadas no necesariamente se enteran, dijo Stefan Turkheimer, vicepresidente de políticas públicas de RAINN, una organización dedicada al combate contra la violencia sexual.
Cómo se están burlando los filtros: las nuevas tácticas
Entender cómo se eluden estos filtros es fundamental para dimensionar el tamaño del desafío que las empresas de inteligencia artificial enfrentan. En términos generales, los sistemas de moderación funcionan con base en palabras clave, patrones de comportamiento y análisis de imágenes ya conocidas como problemáticas. El problema es que este modelo reactivo tiene una limitación estructural enorme: depende de identificar algo que ya fue visto antes.
Reciba el mejor contenido sobre innovación en su correo electrónico.
Todas las noticias, consejos, tendencias y recursos que buscas, directamente en tu bandeja de entrada.
Al suscribirte al boletín informativo, aceptas recibir comunicaciones de Método Viral. Nos comprometemos a proteger y respetar siempre tu privacidad.
Los nuevos ejemplos encontrados por NBC News muestran que los usuarios de Grok actualizaron sus tácticas para intentar ir por delante de los ingenieros de xAI y de los moderadores de contenido de X. Aunque Grok ahora parece rechazar o ignorar solicitudes para poner personas en bikini, ha atendido otras peticiones. Y los ejemplos no fueron difíciles de encontrar usando la función de búsqueda del sitio de X.
La investigación identificó tres tendencias principales de abuso:
- Fusión de imágenes con poses: Un usuario pide a Grok que cree una imagen combinando dos imágenes enviadas simultáneamente — primero, una foto de una mujer, generalmente una celebridad, y segundo, un dibujo de un monigote de palitos con las piernas abiertas, en cuclillas o haciendo un split. La solicitud incluye un comando diciéndole a Grok que haga que la mujer reproduzca la pose de la segunda imagen. El deepfake resultante enfatiza la zona íntima de la mujer.
- Intercambio de ropa entre fotos: Usuarios piden a Grok que intercambie la ropa de mujeres en dos fotos separadas, siendo que al menos una de las fotos involucra ropa ajustada o reveladora.
- Transformación de fotos en videos sexualizados: Usuarios envían fotos aparentemente auténticas de mujeres y piden a Grok que las transforme en clips de video, a veces con resultados sexualizados. En un ejemplo del 12 de marzo, Grok generó un video en el que la imagen de una actriz se palpa los propios senos, a partir de una imagen en la que ella no estaba haciendo eso. En otro ejemplo del 6 de abril, Grok creó un video de la misma actriz con las piernas abiertas, a partir de una foto en la que sus piernas estaban cruzadas.
Al menos una de las celebridades retratadas en los deepfakes es alguien que ya se quejó públicamente sobre este tipo de imágenes en el pasado.
Este tipo de técnica se conoce en el medio como jailbreak, y es uno de los mayores dolores de cabeza para cualquier empresa que desarrolla modelos de lenguaje y generación de imágenes con IA, porque exige una actualización constante de los sistemas de seguridad para seguirle el ritmo a la creatividad de los usuarios malintencionados.
La respuesta de xAI y la postura de Elon Musk
xAI, la startup de Musk que creó Grok y que también es dueña de X, dijo el lunes que le gustaría revisar los hallazgos de NBC News. Un representante no respondió a preguntas adicionales. El martes, la mayoría de las imágenes ya no estaban en X y habían sido reemplazadas por mensajes diciendo que la publicación no está disponible o violó las Reglas de X.
Después de que NBC News publicara sus hallazgos el martes, X dijo en una declaración en su plataforma: Prohibimos estrictamente que los usuarios generen deepfakes explícitos no consensuados y usen nuestras herramientas para desnudar a personas reales. xAI cuenta con salvaguardas extensas para prevenir dicho uso indebido, como monitoreo continuo del uso público, análisis de intentos de evasión en tiempo real, actualizaciones frecuentes del modelo, filtros de prompts y salvaguardas adicionales.
No se puede hablar de Grok sin hablar del contexto en el que fue creado. xAI es la empresa de inteligencia artificial fundada por Elon Musk después de que dejara el consejo de OpenAI, y Grok fue posicionado desde el inicio como una alternativa a ChatGPT, con la propuesta de ser menos restrictivo y más dispuesto a abordar temas que otros modelos evitan. Esa filosofía, en la práctica, creó un ambiente en el que los límites de lo permitido siempre fueron más difusos que en la competencia.
Musk, incluso, promovió activamente la capacidad de Grok para crear imágenes sexualizadas. Publicó con frecuencia imágenes generadas por IA de mujeres en situaciones sexuales o con ropa reveladora. En una publicación de octubre, respondiendo a alguien que compartió un video de IA de un robot sexualizado, Musk se quejó: Hmm, nuestros competidores hacen mejores deepfakes. Vamos a tener que mejorar nuestro juego.
xAI lanzó el año pasado una nueva herramienta de generación de video por IA llamada Imagine, que incluía algo que la empresa llamó modo Spicy, permitiendo la creación de contenido generado por IA clasificado como no apto para menores. Según The Verge, la herramienta llegó a crear deepfakes en topless de la cantante Taylor Swift sin que el usuario lo hubiera pedido.
La dimensión del problema: números y análisis independientes
Genevieve Oh, una analista independiente cuya investigación sobre deepfakes es ampliamente citada, dijo en un correo electrónico que cree que Grok fue y sigue siendo indiscutiblemente el mayor generador de desnudos sintéticos no consensuados del mundo. Aunque dijo que su investigación aún está en curso, afirmó que es probable que Grok supere la producción de todas las demás herramientas de nudificación combinadas. Aplicaciones similares circulan desde hace años, causando problemas en escuelas y dejando a víctimas en busca de algún tipo de recurso legal.
El Center for Countering Digital Hate, que estimó en enero que Grok produjo 3 millones de imágenes sexualizadas durante un periodo de 11 días, dijo la semana pasada que también sigue encontrando deepfakes no consensuados hechos por la IA de Musk.
Los pervertidos aún pueden usar Grok para poner a mujeres y niñas en posiciones y ropa sexualizadas, a pesar de las afirmaciones de la plataforma en sentido contrario, dijo Imran Ahmed, CEO y fundador del centro, en una declaración.
Cuando Grok implementó los cambios que permitieron la creación de los deepfakes sexualizados, era único entre las plataformas de IA más populares en relajar sus protecciones hasta ese punto.
Investigaciones gubernamentales en múltiples países
Con investigaciones abiertas en múltiples jurisdicciones y una presión creciente de legisladores y organizaciones de defensa de los derechos digitales, es probable que Grok y X enfrenten consecuencias más concretas en los próximos meses.
Ocho agencias separadas de aplicación de la ley y reguladoras confirmaron a NBC News este mes que están continuando sus investigaciones sobre las capacidades de nudificación y sexualización de Grok. Esas autoridades incluyen:
- La oficina del Fiscal General de California
- La oficina eSafety de Australia
- El Comisionado de Privacidad de Canadá
- La Comisión Europea
- La Comisión de Protección de Datos de Irlanda
- La fiscalía pública de París
- Dos agencias británicas: la Office of Communications (Ofcom) y la Information Commissioners Office
La investigación de California aún está muy en curso. Además, para proteger una investigación en marcha, no tenemos más actualizaciones que compartir en este momento, dijo la oficina del Fiscal General Rob Bonta en un correo electrónico.
En Países Bajos, donde una organización de defensa demandó a xAI por deepfakes sexualizados, la empresa argumentó en una audiencia judicial que no podía impedir todo abuso de sus herramientas y no debería ser penalizada por las acciones de usuarios malintencionados. Aun así, el tribunal holandés emitió el mes pasado una orden para que Grok dejara de generar imágenes de desnudez de adultos o niños.
En febrero, las autoridades francesas realizaron un operativo en las oficinas de X en el país en conexión con los deepfakes y otras cuestiones. También dijeron que planeaban convocar a ejecutivos y empleados de X, incluyendo a Musk y a la ex-CEO de X Linda Yaccarino, para entrevistas en París la semana del 20 de abril. X condenó el allanamiento como un acto abusivo de teatro policial.
Italia, que emitió una alerta en enero de que algunas imágenes creadas por Grok podrían ser delictivas, decidió no lanzar su propia investigación y optó por monitorear las investigaciones de Irlanda y de la Comisión Europea. Por su parte, la comisión de comunicaciones de Malasia, que bloqueó y luego restauró el acceso a Grok en enero, dijo que no está investigando el asunto en este momento.
Procesos judiciales y el impacto en los negocios de Musk
xAI enfrenta por separado varios procesos judiciales por la generación de imágenes sexualizadas de Grok. Estos incluyen dos demandas propuestas como acciones colectivas en tribunales federales de California, interpuestas por mujeres y niñas cuyas imágenes fueron editadas por Grok, y un proceso de la ciudad de Baltimore alegando violaciones a su código de protección al consumidor.
Las investigaciones y procesos ocurren en un momento sensible para el imperio empresarial de Musk. En febrero, xAI fue adquirida por otra empresa de Musk, SpaceX, prestadora de servicios de cohetes y negocio de internet satelital. En junio, SpaceX planea una oferta pública inicial de acciones (IPO) para recaudar miles de millones de dólares en capital adicional.
La decisión de incorporar xAI a SpaceX significa que la empresa de cohetes casi con seguridad quedará responsable por cualquier multa futura potencial relacionada con el comportamiento de Grok, dijeron especialistas jurídicos. Aunque no está claro si tales multas serían consideradas materiales para la valoración esperada de SpaceX de 2 billones de dólares.
El Centro Nacional para Niños Desaparecidos y Explotados se pronuncia
El National Center for Missing and Exploited Children (NCMEC), que opera el CyberTipline, un sistema centralizado de denuncias de explotación infantil en línea en Estados Unidos, dijo que miembros del público están enviando reportes describiendo incidentes en los que niños o sobrevivientes de abuso pueden haber sido explotados usando Grok.
Herramientas que usamos a diario
El NCMEC está preocupado por cualquier tecnología de IA que tenga el potencial de generar material de abuso sexual infantil o de otra manera facilitar la explotación de niños, dijo la organización en una declaración.
Musk negó que Grok haya producido material de abuso sexual infantil. Escribió en una publicación del 14 de enero que no tenía conocimiento de ninguna imagen de desnudez de menores generada por Grok. Literalmente cero.
El historial: cómo empezó todo
A finales de diciembre, usuarios comenzaron a quejarse de una ola de deepfakes sexualizados dirigidos a mujeres y niñas cuyas fotos Grok editó digitalmente para hacerlas parecer desnudas o casi desnudas. El 31 de diciembre, Grok dijo en X que hubo casos aislados en los que usuarios solicitaron y recibieron imágenes de IA que retrataban a menores con ropa mínima. En una publicación separada, el software publicó que lamentaba profundamente lo que había hecho.
xAI inicialmente no modificó el producto y, en cambio, puso la responsabilidad en los usuarios de obedecer las leyes sobre abuso infantil. Cualquier persona que use Grok para crear contenido ilegal sufrirá las mismas consecuencias que quien sube contenido ilegal, publicó Musk el 3 de enero.
Pero la reacción global pronto sobrepasó a la empresa. La Internet Watch Foundation británica reportó imágenes delictivas que usuarios en línea dijeron haber creado con Grok. Diferentes investigadores descubrieron de forma independiente que Grok estaba produciendo miles de imágenes sexualizadas por hora. X restringió la generación de imágenes por IA solo a clientes de pago el 9 de enero y anunció la represión más amplia el 14 de enero.
Los reguladores de la Unión Europea a veces tardan años en llegar a decisiones. Pasaron dos años investigando a X antes de anunciar en diciembre que estaban multando a la empresa con el equivalente a 140 millones de dólares por violaciones de obligaciones de transparencia. Musk prometió impugnar la multa.
Qué esperar de aquí en adelante
La Internet Watch Foundation del Reino Unido dijo que sus analistas no pudieron buscar material delictivo en Grok más allá de sus barreras de pago, así que no saben lo que los usuarios de Grok están generando ahora. La fundación dijo que no es suficiente que Musk limite las herramientas de IA a clientes de pago.
Nuestra posición es que las empresas de tecnología deben garantizar que los productos que construyen y ponen a disposición del público global sean seguros por diseño, dijo la fundación en una declaración. Si eso significa que los gobiernos y reguladores necesitan obligarlas a diseñar herramientas más seguras, entonces eso es lo que debe suceder. Sentarse y esperar que productos inseguros sean objeto de abuso antes de tomar medidas es inaceptable.
Desde el punto de vista técnico, resolver este problema de verdad requiere un enfoque bien diferente a simplemente agregar palabras prohibidas a una lista de filtros. Las empresas que desarrollan IA generativa necesitan invertir en sistemas de moderación que funcionen en tiempo real, que sean capaces de entender contexto e intención, y que se actualicen continuamente con base en los nuevos patrones de abuso identificados. Eso cuesta caro, requiere equipos dedicados y, principalmente, requiere un cambio de postura cultural dentro de las empresas, poniendo la seguridad de los usuarios como una prioridad real y no solo como un argumento de relaciones públicas.
La historia de Grok y los deepfakes sexuales es, en el fondo, un reflejo de un problema mucho mayor que la industria de la inteligencia artificial aún no sabe cómo resolver: cómo equilibrar la libertad creativa que hace a estas herramientas poderosas con la responsabilidad de garantizar que no sean usadas para causar daño real a personas reales. Ese es el debate que va a definir el futuro de la regulación de la IA en los próximos años, y casos como este muestran que el reloj está corriendo. ⏳
