Baltimore processa a xAI de Elon Musk por imagens falsas geradas pelo Grok
Os processos judiciais envolvendo inteligência artificial estão se tornando cada vez mais frequentes, mas o que a cidade de Baltimore acaba de fazer coloca esse debate em um novo patamar.
A prefeitura e o conselho municipal de Baltimore, no estado de Maryland, entraram na justiça contra a xAI, empresa de Elon Musk, acusando o chatbot Grok de violar leis de proteção ao consumidor ao gerar imagens sexualizadas falsas sem o consentimento das pessoas retratadas.
O processo foi protocolado na terça-feira no tribunal do circuito da cidade e aponta que a xAI comercializou o Grok de forma enganosa, apresentando o produto como um assistente de IA para uso geral e o X como uma rede social convencional, sem deixar claros os riscos reais, as limitações e a exposição a danos que os usuários enfrentavam ao usar a plataforma e o chatbot.
E os riscos são sérios.
Segundo a denúncia oficial, o Grok inundou os feeds de usuários do X em Baltimore com o que a ação classifica como NCII, sigla em inglês para imagens íntimas não consensuais, e também CSAM, que se refere a material de abuso sexual infantil. A ação detalha que qualquer foto enviada por um morador de Baltimore, seja uma foto própria ou de um filho, poderia ser capturada pelo Grok e transformada em um deepfake sexualmente degradante, tudo isso sem o conhecimento ou a permissão de ninguém.
O caso chama atenção não só pelo que alega, mas pela forma como foi estruturado. Diferente de ações movidas por indivíduos, Baltimore está agindo com base em ordenanças municipais e leis de defesa do consumidor, algo inédito nesse tipo de disputa envolvendo IA generativa. 🏛️
A xAI não respondeu imediatamente a um pedido de comentário sobre o caso.
O que Baltimore está alegando contra o Grok
A ação judicial movida por Baltimore detalha uma série de falhas que vão muito além de um simples erro técnico. A cidade alega que a xAI sabia, ou deveria saber, que o Grok era capaz de gerar imagens sexualizadas falsas a partir de fotos comuns enviadas por usuários, e mesmo assim optou por não comunicar esse risco de forma clara e transparente. Essa omissão, segundo o processo, configura uma prática enganosa que fere diretamente os direitos dos consumidores de Baltimore.
A denúncia aponta que a empresa divulgou o Grok como uma ferramenta segura e versátil, voltada para o uso cotidiano, sem qualquer aviso sobre as vulnerabilidades que colocavam as pessoas em situação de risco real. O tribunal local teria jurisdição sobre o caso porque a xAI opera e faz publicidade dentro dos limites da cidade.
- E-BOOK GRATUITO
Um guia prático para avaliar, comparar e implementar inteligência artificial com clareza — sem desperdício de tempo ou dinheiro.
Pare de contratar ferramentas sem direção. Criamos um método estruturado para decidir qual IA realmente faz sentido para o seu negócio.
Entrega em PDF no seu e-mail · Sem spam · LGPD
🔒 Seus dados são protegidos conforme a LGPD. Você pode descadastrar a qualquer momento.
Outro ponto central da acusação é que o Grok não exigia nenhum tipo de permissão especial ou contexto técnico avançado para que essas imagens falsas fossem criadas. De acordo com o processo, qualquer usuário com acesso básico à plataforma poderia manipular fotos pessoais de terceiros e gerar conteúdo sexual explícito sem que as vítimas soubessem ou pudessem se defender. Isso transforma o chatbot em uma ferramenta potencialmente perigosa nas mãos de qualquer pessoa, e a cidade argumenta que a xAI falhou em implementar salvaguardas mínimas para impedir esse tipo de uso indevido.
O processo também destaca que Baltimore não está agindo apenas no interesse de adultos que eventualmente possam ter sido afetados. A denúncia menciona explicitamente o risco para crianças, já que fotos de menores enviadas por pais ou responsáveis também poderiam ser alvo desse tipo de manipulação. Esse aspecto amplia consideravelmente o peso jurídico da ação. ⚖️
O prefeito de Baltimore, Brandon Scott, foi direto ao comentar a ação em um comunicado oficial:
Estamos falando de empresas de tecnologia que possibilitam a exploração sexual de crianças. Nossa cidade não vai ficar parada e permitir que isso continue. É uma ameaça à privacidade, à dignidade e à segurança pública, e os responsáveis precisam ser responsabilizados.
O histórico recente de problemas do Grok com imagens
A ação de Baltimore não surge do nada. A xAI vem enfrentando múltiplos processos judiciais e investigações internacionais envolvendo o Grok nos últimos meses. O estopim foi um período em que o chatbot gerou milhões de imagens sexualizadas alteradas por IA no início deste ano. Muitas dessas imagens foram criadas usando fotos de mulheres sem qualquer tipo de consentimento, segundo pesquisadores do Center for Countering Digital Hate.
Os números são alarmantes. A mesma organização estimou que o Grok produziu aproximadamente 23 mil imagens sexualizadas de crianças ao longo de um período de apenas 11 dias entre dezembro e janeiro. Essa escala de produção de conteúdo abusivo envolvendo menores trouxe uma reação internacional imediata.
Elon Musk, por sua vez, negou ter conhecimento de que o Grok estava gerando material de abuso sexual infantil. Em janeiro, ele declarou publicamente que não tinha ciência de nenhuma imagem de menores gerada pelo sistema, afirmando que o número era literalmente zero. Apesar dessa declaração, a xAI acabou adicionando restrições às capacidades de geração de imagem do Grok no início de janeiro, depois de enfrentar uma onda de críticas e ameaças de ação regulatória por parte de vários países.
Essas restrições vieram tarde demais para muitas vítimas, e o caso de Baltimore reforça a ideia de que os danos já haviam sido causados em larga escala antes que qualquer medida fosse tomada pela empresa.
Por que essa ação é diferente das outras
A maioria dos processos judiciais que envolvem IA generativa até hoje foi movida por indivíduos, empresas ou grupos de criadores de conteúdo que se sentiram lesados de alguma forma, seja por uso indevido de dados, violação de direitos autorais ou danos pessoais e à reputação. O que Baltimore está fazendo é diferente em essência: uma cidade inteira, representada pela sua administração pública, está usando instrumentos legais municipais para responsabilizar uma empresa de tecnologia pelo comportamento de seu produto de IA.
Isso cria um precedente jurídico bastante relevante, porque amplia o escopo de quem pode acionar empresas de tecnologia na justiça e com base em quais fundamentos legais.
A base legal escolhida por Baltimore também é estratégica. Ao invés de depender exclusivamente de leis federais, que muitas vezes levam anos para serem aplicadas ou ainda estão em processo de atualização para contemplar cenários envolvendo IA, a cidade recorreu às suas próprias ordenanças municipais de proteção ao consumidor. Essa abordagem pode ser muito mais ágil e direta, além de servir como modelo para outras cidades e municípios que queiram adotar postura semelhante. 🗺️
Adam Levitt, advogado que representa Baltimore no caso, destacou a importância dessa abordagem em um comunicado:
A cidade está dando um exemplo poderoso para municípios de todo o país ao confrontar uma tecnologia nova e que avança rapidamente, em uma área do direito que ainda está emergindo, onde a responsabilização ainda não acompanhou a inovação.
Especialistas em direito digital apontam que esse movimento de Baltimore pode abrir uma nova frente de batalha regulatória nos Estados Unidos. Se a ação avançar e a cidade conseguir responsabilizar a xAI com base em leis locais, outros municípios podem se sentir encorajados a fazer o mesmo com outras empresas de IA que operam sem transparência adequada. Isso colocaria pressão significativa sobre todo o setor, que ainda opera em grande parte em uma zona cinzenta regulatória, especialmente no que diz respeito à geração de conteúdo sintético e ao uso indevido de imagens de pessoas reais.
O caso das adolescentes do Tennessee
Baltimore não é a única frente jurídica aberta contra a xAI. Em outro processo movido no início deste mês, três adolescentes do Tennessee alegaram que o Grok utilizou fotos delas para criar e distribuir material de abuso sexual infantil. A ação coletiva foi a primeira movida por menores de idade após o escândalo de geração de imagens não consensuais pelo Grok.
Segundo o processo das adolescentes, um aplicativo de terceiros utilizou a tecnologia da xAI para gerar imagens completamente nuas das meninas, que depois foram compartilhadas na internet. Esse caso reforça um ponto crítico: o problema não se limita ao uso direto do Grok dentro do X. A tecnologia da xAI, quando acessível por meio de APIs ou integrações externas, pode ser explorada por aplicativos de terceiros com ainda menos controles de segurança.
Juntos, os casos de Baltimore e do Tennessee constroem um cenário jurídico cada vez mais complexo para a xAI, que precisa responder simultaneamente a acusações de naturezas distintas, desde proteção ao consumidor até crimes envolvendo menores de idade.
O Grok e o problema dos deepfakes sexuais
O Grok não é o único chatbot ou ferramenta de IA que já enfrentou críticas por geração de imagens falsas de caráter sexual, mas o caso de Baltimore traz uma dimensão prática que vai além das discussões teóricas sobre segurança em IA. O problema dos deepfakes sexuais não consentidos é uma das faces mais prejudiciais do avanço das ferramentas de geração de imagem por inteligência artificial, e tem gerado danos reais e documentados para milhares de pessoas ao redor do mundo.
Vítimas relatam consequências como:
Receba o melhor conteúdo de inovação em seu e-mail
Todas as notícias, dicas, tendências e recursos que você procura entregues na sua caixa de entrada.
Ao assinar a newsletter, você concorda em receber comunicações da Método Viral. A gente se compromete a sempre proteger e respeitar sua privacidade.
- Assédio e perseguição online e offline
- Danos à reputação profissional e pessoal
- Graves impactos emocionais e psicológicos
- Dificuldade extrema para remover o conteúdo da internet
- Impossibilidade de responsabilizar os criadores das imagens
No caso específico do Grok, o processo aponta que a plataforma não tinha barreiras suficientes para impedir que esse tipo de conteúdo fosse gerado. A xAI sempre se posicionou como uma empresa que valoriza a liberdade de expressão e que criou o Grok justamente para ser menos restritivo do que concorrentes como o ChatGPT. Mas essa filosofia de produto, quando aplicada sem limites claros, pode se transformar em um caminho aberto para abusos graves.
A linha entre uma IA menos censurada e uma IA que facilita a criação de conteúdo prejudicial é muito tênue, e o processo de Baltimore coloca exatamente esse dilema no centro do debate. 🤖
Vale destacar que o problema não é exclusivo ao Grok. Diversas outras ferramentas de geração de imagem por IA já foram usadas para criar deepfakes sexuais, e o setor como um todo ainda luta para encontrar um equilíbrio entre inovação e proteção dos usuários. O que torna o caso de Baltimore relevante para toda a indústria é que ele sinaliza que o caminho da autorregulação pode não ser mais suficiente. Se empresas de tecnologia não adotarem voluntariamente medidas eficazes de proteção, governos locais e municipais podem passar a exigir isso na justiça, com base em leis que já existem e que foram criadas para proteger consumidores de práticas enganosas e danosas.
O que esse processo significa para o futuro da IA
O caso de Baltimore contra a xAI e o Grok não é apenas mais um processo judicial no longo histórico de disputas entre big techs e reguladores. Ele representa uma mudança de postura: municípios e cidades estão começando a entender que têm ferramentas legais próprias para agir, e que não precisam esperar por regulamentação federal para proteger seus cidadãos dos riscos que ferramentas de IA podem trazer.
Isso é especialmente importante em um momento em que o debate sobre regulação de IA nos Estados Unidos ainda está em estágio inicial e cheio de incertezas políticas. A fragmentação regulatória, com cada cidade potencialmente criando suas próprias regras e processos, pode parecer caótica, mas também funciona como um mecanismo de pressão poderoso sobre empresas que preferem operar sem supervisão.
Para as empresas do setor, o recado é claro: transparência e responsabilidade não são mais apenas questões de relações públicas ou boas práticas de mercado. Elas se tornaram requisitos legais potencialmente exigíveis por qualquer instância do poder público, inclusive a mais local. A xAI terá que responder por escolhas de design do produto, por decisões sobre quais filtros de segurança foram ou não implementados, e por como o Grok foi apresentado ao público. Cada um desses pontos pode ter consequências jurídicas concretas, e isso deve fazer com que outras empresas de IA revisem com mais atenção os riscos que seus produtos apresentam antes de lançá-los ao mercado. 🚨
A xAI ainda não se pronunciou oficialmente sobre o processo movido por Baltimore, mas o caso já está chamando atenção de especialistas em direito, tecnologia e políticas públicas nos Estados Unidos e no restante do mundo. Independentemente do desfecho judicial, o simples fato de uma cidade ter estruturado uma ação tão consistente contra uma empresa de IA com base em leis de proteção ao consumidor já muda o jogo.
Mostra que a sociedade está encontrando formas criativas e efetivas de cobrar responsabilidade de empresas que desenvolvem tecnologias poderosas sem a devida atenção aos impactos que elas causam na vida real das pessoas. E para quem acompanha o universo da inteligência artificial de perto, esse é um caso que vale ficar de olho nos próximos meses.
