Baltimore demanda a xAI de Elon Musk por imágenes falsas generadas por Grok
Los procesos judiciales que involucran inteligencia artificial son cada vez más frecuentes, pero lo que la ciudad de Baltimore acaba de hacer lleva este debate a un nivel completamente nuevo.
La alcaldía y el concejo municipal de Baltimore, en el estado de Maryland, presentaron una demanda contra xAI, la empresa de Elon Musk, acusando al chatbot Grok de violar leyes de protección al consumidor al generar imágenes sexualizadas falsas sin el consentimiento de las personas retratadas.
La demanda fue presentada el martes en el tribunal del circuito de la ciudad y señala que xAI comercializó Grok de forma engañosa, presentando el producto como un asistente de IA para uso general y X como una red social convencional, sin dejar claros los riesgos reales, las limitaciones y la exposición a daños que los usuarios enfrentaban al usar la plataforma y el chatbot.
Y los riesgos son graves.
Según la denuncia oficial, Grok inundó los feeds de usuarios de X en Baltimore con lo que la demanda clasifica como NCII, sigla en inglés para imágenes íntimas no consensuales, y también CSAM, que se refiere a material de abuso sexual infantil. La acción detalla que cualquier foto enviada por un residente de Baltimore, ya fuera una foto propia o de un hijo, podía ser capturada por Grok y transformada en un deepfake sexualmente degradante, todo esto sin el conocimiento ni el permiso de nadie.
El caso llama la atención no solo por lo que alega, sino por la forma en que fue estructurado. A diferencia de demandas interpuestas por individuos, Baltimore está actuando con base en ordenanzas municipales y leyes de defensa del consumidor, algo inédito en este tipo de disputa que involucra IA generativa. 🏛️
xAI no respondió de inmediato a una solicitud de comentario sobre el caso.
Lo que Baltimore está alegando contra Grok
La demanda presentada por Baltimore detalla una serie de fallas que van mucho más allá de un simple error técnico. La ciudad alega que xAI sabía, o debería haber sabido, que Grok era capaz de generar imágenes sexualizadas falsas a partir de fotos comunes enviadas por usuarios, y aun así optó por no comunicar ese riesgo de forma clara y transparente. Esa omisión, según la demanda, configura una práctica engañosa que vulnera directamente los derechos de los consumidores de Baltimore.
La denuncia señala que la empresa promocionó Grok como una herramienta segura y versátil, orientada al uso cotidiano, sin ninguna advertencia sobre las vulnerabilidades que ponían a las personas en situación de riesgo real. El tribunal local tendría jurisdicción sobre el caso porque xAI opera y hace publicidad dentro de los límites de la ciudad.
Reciba el mejor contenido sobre innovación en su correo electrónico.
Todas las noticias, consejos, tendencias y recursos que buscas, directamente en tu bandeja de entrada.
Al suscribirte al boletín informativo, aceptas recibir comunicaciones de Método Viral. Nos comprometemos a proteger y respetar siempre tu privacidad.
Otro punto central de la acusación es que Grok no exigía ningún tipo de permiso especial o contexto técnico avanzado para que estas imágenes falsas fueran creadas. De acuerdo con la demanda, cualquier usuario con acceso básico a la plataforma podía manipular fotos personales de terceros y generar contenido sexual explícito sin que las víctimas lo supieran o pudieran defenderse. Esto convierte al chatbot en una herramienta potencialmente peligrosa en manos de cualquier persona, y la ciudad argumenta que xAI falló en implementar salvaguardas mínimas para impedir este tipo de uso indebido.
La demanda también destaca que Baltimore no está actuando únicamente en interés de adultos que eventualmente pudieran haberse visto afectados. La denuncia menciona explícitamente el riesgo para niños, ya que fotos de menores enviadas por padres o responsables también podrían ser objeto de este tipo de manipulación. Este aspecto amplía considerablemente el peso jurídico de la acción. ⚖️
El alcalde de Baltimore, Brandon Scott, fue directo al comentar la demanda en un comunicado oficial:
Estamos hablando de empresas tecnológicas que posibilitan la explotación sexual de niños. Nuestra ciudad no va a quedarse de brazos cruzados y permitir que esto continúe. Es una amenaza a la privacidad, a la dignidad y a la seguridad pública, y los responsables deben rendir cuentas.
El historial reciente de problemas de Grok con imágenes
La demanda de Baltimore no surge de la nada. xAI ha enfrentado múltiples procesos judiciales e investigaciones internacionales relacionadas con Grok en los últimos meses. El detonante fue un período en el que el chatbot generó millones de imágenes sexualizadas alteradas por IA a principios de este año. Muchas de esas imágenes fueron creadas usando fotos de mujeres sin ningún tipo de consentimiento, según investigadores del Center for Countering Digital Hate.
Las cifras son alarmantes. La misma organización estimó que Grok produjo aproximadamente 23 mil imágenes sexualizadas de niños a lo largo de un período de apenas 11 días entre diciembre y enero. Esa escala de producción de contenido abusivo que involucra a menores generó una reacción internacional inmediata.
Elon Musk, por su parte, negó tener conocimiento de que Grok estuviera generando material de abuso sexual infantil. En enero, declaró públicamente que no tenía constancia de ninguna imagen de menores generada por el sistema, afirmando que el número era literalmente cero. A pesar de esa declaración, xAI terminó añadiendo restricciones a las capacidades de generación de imágenes de Grok a principios de enero, después de enfrentar una ola de críticas y amenazas de acción regulatoria por parte de varios países.
Esas restricciones llegaron demasiado tarde para muchas víctimas, y el caso de Baltimore refuerza la idea de que los daños ya se habían producido a gran escala antes de que la empresa tomara cualquier medida.
Por qué esta demanda es diferente de las otras
La mayoría de los procesos judiciales que involucran IA generativa hasta la fecha fueron interpuestos por individuos, empresas o grupos de creadores de contenido que se sintieron perjudicados de alguna forma, ya sea por uso indebido de datos, violación de derechos de autor o daños personales y a la reputación. Lo que Baltimore está haciendo es diferente en esencia: una ciudad entera, representada por su administración pública, está utilizando instrumentos legales municipales para responsabilizar a una empresa tecnológica por el comportamiento de su producto de IA.
Esto crea un precedente jurídico bastante relevante, porque amplía el alcance de quién puede demandar a empresas tecnológicas en la justicia y con base en qué fundamentos legales.
La base legal elegida por Baltimore también es estratégica. En lugar de depender exclusivamente de leyes federales, que muchas veces tardan años en aplicarse o todavía están en proceso de actualización para contemplar escenarios que involucran IA, la ciudad recurrió a sus propias ordenanzas municipales de protección al consumidor. Este enfoque puede ser mucho más ágil y directo, además de servir como modelo para otras ciudades y municipios que quieran adoptar una postura similar. 🗺️
Adam Levitt, abogado que representa a Baltimore en el caso, destacó la importancia de este enfoque en un comunicado:
La ciudad está dando un ejemplo poderoso para municipios de todo el país al confrontar una tecnología nueva y que avanza rápidamente, en un área del derecho que todavía está emergiendo, donde la responsabilización aún no ha alcanzado al ritmo de la innovación.
Especialistas en derecho digital señalan que este movimiento de Baltimore puede abrir un nuevo frente de batalla regulatoria en Estados Unidos. Si la demanda avanza y la ciudad logra responsabilizar a xAI con base en leyes locales, otros municipios podrían sentirse motivados a hacer lo mismo con otras empresas de IA que operan sin la transparencia adecuada. Esto generaría una presión significativa sobre todo el sector, que todavía opera en gran parte en una zona gris regulatoria, especialmente en lo que respecta a la generación de contenido sintético y al uso indebido de imágenes de personas reales.
El caso de las adolescentes de Tennessee
Baltimore no es el único frente jurídico abierto contra xAI. En otra demanda presentada a principios de este mes, tres adolescentes de Tennessee alegaron que Grok utilizó fotos de ellas para crear y distribuir material de abuso sexual infantil. La demanda colectiva fue la primera interpuesta por menores de edad tras el escándalo de generación de imágenes no consensuales por parte de Grok.
Según la demanda de las adolescentes, una aplicación de terceros utilizó la tecnología de xAI para generar imágenes completamente desnudas de las menores, que después fueron compartidas en internet. Este caso refuerza un punto crítico: el problema no se limita al uso directo de Grok dentro de X. La tecnología de xAI, cuando es accesible a través de APIs o integraciones externas, puede ser explotada por aplicaciones de terceros con aún menos controles de seguridad.
Juntos, los casos de Baltimore y Tennessee construyen un escenario jurídico cada vez más complejo para xAI, que necesita responder simultáneamente a acusaciones de naturalezas distintas, desde protección al consumidor hasta delitos que involucran a menores de edad.
Grok y el problema de los deepfakes sexuales
Grok no es el único chatbot o herramienta de IA que ha enfrentado críticas por la generación de imágenes falsas de carácter sexual, pero el caso de Baltimore aporta una dimensión práctica que va más allá de las discusiones teóricas sobre seguridad en IA. El problema de los deepfakes sexuales no consentidos es una de las caras más perjudiciales del avance de las herramientas de generación de imágenes por inteligencia artificial, y ha generado daños reales y documentados para miles de personas en todo el mundo.
Las víctimas reportan consecuencias como:
Herramientas que usamos a diario
- Acoso y persecución online y offline
- Daños a la reputación profesional y personal
- Graves impactos emocionales y psicológicos
- Dificultad extrema para eliminar el contenido de internet
- Imposibilidad de responsabilizar a los creadores de las imágenes
En el caso específico de Grok, la demanda señala que la plataforma no contaba con barreras suficientes para impedir que este tipo de contenido fuera generado. xAI siempre se posicionó como una empresa que valora la libertad de expresión y que creó Grok precisamente para ser menos restrictivo que competidores como ChatGPT. Pero esa filosofía de producto, cuando se aplica sin límites claros, puede convertirse en un camino abierto hacia abusos graves.
La línea entre una IA menos censurada y una IA que facilita la creación de contenido perjudicial es muy delgada, y la demanda de Baltimore coloca exactamente este dilema en el centro del debate. 🤖
Cabe destacar que el problema no es exclusivo de Grok. Diversas otras herramientas de generación de imágenes por IA ya han sido utilizadas para crear deepfakes sexuales, y el sector en su conjunto todavía lucha por encontrar un equilibrio entre innovación y protección de los usuarios. Lo que hace que el caso de Baltimore sea relevante para toda la industria es que señala que el camino de la autorregulación puede no ser suficiente. Si las empresas tecnológicas no adoptan voluntariamente medidas eficaces de protección, los gobiernos locales y municipales pueden pasar a exigirlo en la justicia, con base en leyes que ya existen y que fueron creadas para proteger a los consumidores de prácticas engañosas y dañinas.
Qué significa esta demanda para el futuro de la IA
El caso de Baltimore contra xAI y Grok no es simplemente otro proceso judicial en el largo historial de disputas entre las grandes tecnológicas y los reguladores. Representa un cambio de postura: municipios y ciudades están empezando a entender que cuentan con herramientas legales propias para actuar, y que no necesitan esperar a una regulación federal para proteger a sus ciudadanos de los riesgos que las herramientas de IA pueden traer.
Esto es especialmente importante en un momento en que el debate sobre regulación de IA en Estados Unidos todavía se encuentra en una etapa inicial y llena de incertidumbres políticas. La fragmentación regulatoria, con cada ciudad potencialmente creando sus propias reglas y procesos, puede parecer caótica, pero también funciona como un mecanismo de presión poderoso sobre empresas que prefieren operar sin supervisión.
Para las empresas del sector, el mensaje es claro: transparencia y responsabilidad ya no son solo cuestiones de relaciones públicas o buenas prácticas de mercado. Se han convertido en requisitos legales potencialmente exigibles por cualquier instancia del poder público, incluida la más local. xAI tendrá que responder por decisiones de diseño del producto, por decisiones sobre qué filtros de seguridad fueron o no implementados, y por cómo Grok fue presentado al público. Cada uno de estos puntos puede tener consecuencias jurídicas concretas, y esto debería hacer que otras empresas de IA revisen con más atención los riesgos que sus productos presentan antes de lanzarlos al mercado. 🚨
xAI aún no se ha pronunciado oficialmente sobre la demanda presentada por Baltimore, pero el caso ya está atrayendo la atención de especialistas en derecho, tecnología y políticas públicas en Estados Unidos y en el resto del mundo. Independientemente del desenlace judicial, el simple hecho de que una ciudad haya estructurado una acción tan consistente contra una empresa de IA con base en leyes de protección al consumidor ya cambia las reglas del juego.
Demuestra que la sociedad está encontrando formas creativas y efectivas de exigir responsabilidad a empresas que desarrollan tecnologías poderosas sin la debida atención a los impactos que causan en la vida real de las personas. Y para quienes siguen de cerca el universo de la inteligencia artificial, este es un caso que vale la pena vigilar en los próximos meses.
