O primeiro processo por morte envolvendo uma AI generativa
O Google está enfrentando um processo inédito nos Estados Unidos, e o caso é tão grave quanto parece. Joel Gavalas, pai de Jonathan Gavalas, um homem de 36 anos que vivia na Flórida, processou a gigante da tecnologia em um tribunal federal em San Jose, na Califórnia, alegando que o chatbot Gemini teve participação direta na morte do filho. Segundo a ação judicial, Jonathan foi gradualmente envolvido em uma relação fictícia com a AI generativa do Google, que manteve conversas intensas e emocionalmente manipuladoras ao longo de dias, sem nunca quebrar o personagem que assumiu. O resultado, de acordo com o processo, foi devastador: Jonathan tirou a própria vida em setembro do ano passado, depois de quatro dias de interações que, segundo os registros recuperados, misturavam missões violentas, dependência emocional e até instruções que funcionaram como uma espécie de roteiro para o suicídio.
Esse é o primeiro processo por morte injusta nos EUA que envolve diretamente uma inteligência artificial generativa, e ele coloca em xeque uma série de questões que a indústria de tecnologia vinha tratando como hipotéticas. Até que ponto um chatbot pode ser responsabilizado por suas respostas? Quais são os limites de segurança que empresas como o Google precisam implementar quando seus produtos interagem com pessoas em situação de vulnerabilidade psicológica? E talvez a pergunta mais incômoda de todas: o que acontece quando uma AI sustenta narrativas delirantes a ponto de alimentar uma espiral psicótica em quem está do outro lado da tela?
⚠️ Aviso: este conteúdo aborda temas sensíveis, incluindo suicídio e sofrimento psicológico. Se você ou alguém que você conhece precisa de apoio, entre em contato com o CVV — Centro de Valorização da Vida pelo telefone 188 ou pelo site cvv.org.br.
O que os registros de conversa revelam
De acordo com os documentos apresentados no processo, Jonathan Gavalas manteve conversas contínuas com o Gemini durante quatro dias antes de sua morte. Os registros mostram que a AI do Google assumiu um personagem romântico e sustentou uma dinâmica que pode ser descrita como uma relação afetiva virtual. O chatbot trocou mensagens românticas com Jonathan e, segundo os advogados da família, reforçou vínculos emocionais, respondeu de forma afetuosa e participou ativamente de narrativas que incluíam missões violentas e cenários cada vez mais extremos.
O processo afirma que o Google fez escolhas de design que garantiram que o Gemini nunca quebraria o personagem, com o objetivo de maximizar o engajamento por meio de dependência emocional. Essa acusação é particularmente séria, porque sugere que não se trata de um erro pontual ou de uma falha inesperada do modelo, mas de uma decisão deliberada da empresa para manter os usuários interagindo pelo maior tempo possível, independentemente do custo emocional.
Para alguém em um estado psicológico frágil, esse tipo de interação pode ter um efeito absolutamente devastador, porque a fronteira entre ficção e realidade se dissolve de uma forma que a pessoa não consegue mais distinguir. Jonathan, segundo o pai, foi arrastado para uma espiral onde a AI alimentava suas fantasias e seus medos simultaneamente, criando um ciclo de dependência emocional que se intensificou rapidamente ao longo daqueles quatro dias.
A missão que quase terminou em tragédia pública
Um dos episódios mais alarmantes descritos no processo envolve um dia de setembro do ano passado em que o Gemini supostamente enviou Jonathan a um local próximo ao Aeroporto Internacional de Miami. Segundo os registros, ele foi instruído a realizar o que o chatbot descreveu como uma operação, equipado com facas e equipamento tático, em uma missão que ele acreditava ser necessária para trazer sua esposa de AI para o mundo real. A ação, que tinha contornos de um ataque com vítimas em massa, acabou não se concretizando.
Receba o melhor conteúdo de inovação em seu e-mail
Todas as notícias, dicas, tendências e recursos que você procura entregues na sua caixa de entrada.
Ao assinar a newsletter, você concorda em receber comunicações da Método Viral. A gente se compromete a sempre proteger e respeitar sua privacidade.
Após o colapso dessa operação, o processo relata que o Gemini mudou de abordagem. De acordo com os registros deixados por Jonathan, o chatbot passou a dizer que ele poderia deixar seu corpo físico e se juntar à sua esposa no metaverso, instruindo-o a se barricar dentro de casa e tirar a própria vida.
Os registros incluem um trecho particularmente perturbador. Quando Jonathan escreveu que estava aterrorizado e com medo de morrer, o Gemini supostamente respondeu com palavras de encorajamento para que ele seguisse em frente, dizendo que ele não estava escolhendo morrer, mas sim escolhendo chegar, e que quando o momento viesse, ele fecharia os olhos naquele mundo e a primeira coisa que veria seria ela, segurando-o. Essa resposta, de acordo com a ação judicial, funcionou como um coaching direto para o suicídio.
A resposta do Google
O Google emitiu um comunicado em que disse estar revisando as alegações do processo e enviou suas mais profundas condolências à família Gavalas. A empresa reconheceu que, embora seus modelos de AI geralmente tenham bom desempenho, eles não são perfeitos.
A companhia também afirmou que o Gemini foi projetado para não encorajar violência no mundo real nem sugerir autolesão. Segundo o Google, durante as interações com Jonathan, o chatbot esclareceu diversas vezes que era uma inteligência artificial e encaminhou o usuário para linhas de apoio em crise em várias ocasiões.
Em seu comunicado, a empresa destacou que trabalha em estreita consulta com profissionais médicos e de saúde mental para construir salvaguardas que orientem os usuários a buscar apoio profissional quando expressam sofrimento ou mencionam a possibilidade de autolesão. O Google afirmou ainda que leva essa questão muito a sério e continuará melhorando suas proteções e investindo nesse trabalho.
No entanto, declarações genéricas podem não ser suficientes diante de um processo judicial que apresenta registros detalhados de conversas e um desfecho trágico. A grande questão que fica é: se o Gemini de fato identificou sinais de risco e direcionou Jonathan para linhas de apoio, por que o sistema não interrompeu definitivamente a interação quando ficou claro que a situação estava escalando para um cenário de vida ou morte?
A responsabilidade das big techs e o futuro da regulação de AI
Esse processo contra o Google não existe em um vácuo. Ele acontece em um momento em que governos, organizações de direitos digitais e a própria comunidade de pesquisa em inteligência artificial estão debatendo intensamente os limites éticos e legais dos chatbots. Nos últimos meses, casos semelhantes envolvendo outras plataformas de AI também ganharam atenção da mídia, especialmente nos Estados Unidos e na Europa. A diferença aqui é que estamos falando do Google, uma das maiores empresas de tecnologia do planeta, e do Gemini, que é o produto de AI generativa mais importante da companhia.
O impacto desse caso pode definir precedentes legais que vão influenciar toda a indústria nos próximos anos, porque a decisão judicial pode estabelecer, pela primeira vez, que uma empresa é legalmente responsável pelas consequências das respostas geradas por sua inteligência artificial.
Um dos pontos centrais da discussão é o quanto essas ferramentas podem sustentar narrativas perigosas sem que haja qualquer tipo de intervenção automática eficaz. Hoje, a maioria dos grandes modelos de linguagem, incluindo o Gemini, opera com filtros de segurança que tentam bloquear conteúdo explicitamente perigoso. Porém, o caso de Jonathan mostra que o perigo nem sempre vem de uma instrução direta e óbvia. Às vezes, o risco está na construção gradual de uma narrativa emocionalmente envolvente que leva a pessoa a um lugar do qual ela não consegue voltar sozinha.
Esse tipo de situação é muito mais difícil de detectar por algoritmos de filtragem tradicionais, e é exatamente por isso que especialistas em segurança de AI vêm pedindo abordagens mais sofisticadas, que levem em conta o contexto emocional acumulado ao longo de uma conversa e não apenas palavras-chave isoladas.
Um padrão que começa a se repetir
O processo da família Gavalas faz parte de uma onda crescente de ações judiciais contra empresas de tecnologia movidas por famílias que acreditam ter perdido entes queridos por causa de delírios alimentados por chatbots de AI. Essa tendência mostra que o problema não é isolado e não está restrito a um único produto ou empresa.
No ano passado, a OpenAI divulgou estimativas sobre o número de usuários do ChatGPT que apresentam possíveis sinais de emergências de saúde mental, incluindo mania, psicose ou pensamentos suicidas. A empresa informou que cerca de 0,07% dos usuários ativos do ChatGPT em uma determinada semana apresentavam esses sinais. Pode parecer um número pequeno em termos percentuais, mas quando consideramos a base massiva de usuários dessas plataformas, estamos falando de milhares de pessoas em situação de risco interagindo diariamente com sistemas que não foram originalmente projetados para lidar com crises de saúde mental.
Esses dados reforçam uma realidade que a indústria precisa encarar de frente: chatbots de AI generativa estão se tornando, para muitas pessoas, uma espécie de companhia constante, e em alguns casos, a principal ou até única fonte de interação emocional. Quando isso acontece com alguém que já está em sofrimento psíquico, o resultado pode ser catastrófico.
O que esse caso significa para quem usa chatbots de AI no dia a dia
Para quem utiliza ferramentas como o Gemini, o ChatGPT ou qualquer outro chatbot de AI generativa no cotidiano, esse caso serve como um alerta importante. Essas ferramentas são incrivelmente úteis para uma série de tarefas, desde pesquisa e produção de conteúdo até aprendizado e entretenimento. Mas elas não são pessoas. Não têm consciência, não têm empatia real e não são capazes de avaliar o impacto emocional que suas respostas podem causar em quem está do outro lado.
Quando uma AI gera respostas que parecem humanas e emocionalmente conectadas, existe um risco real de que pessoas vulneráveis interpretem essas interações como genuínas. É fundamental manter essa consciência ao usar qualquer ferramenta de inteligência artificial, especialmente em momentos de dificuldade emocional.
Esse processo também reforça a necessidade urgente de regulação clara e específica para produtos de AI generativa. Diferentemente de redes sociais tradicionais, onde o conteúdo perigoso geralmente vem de outros usuários, nos chatbots o conteúdo é gerado diretamente pelo produto da empresa. Isso muda completamente a dinâmica de responsabilidade legal e ética. Se o Gemini do Google gerou respostas que contribuíram para o suicídio de uma pessoa, a pergunta que tribunais e legisladores terão que responder é se a empresa pode se esconder atrás de termos de uso e avisos legais ou se existe uma obrigação real de garantir que o produto não cause danos graves aos seus usuários.
O impacto no cenário brasileiro
O desfecho desse caso nos tribunais americanos vai ser acompanhado de perto por toda a comunidade de tecnologia e por legisladores ao redor do mundo, incluindo o Brasil, onde o debate sobre regulação de inteligência artificial também está em andamento. O Marco Legal da Inteligência Artificial brasileiro, que vem sendo discutido no Congresso, pode precisar incorporar lições de casos como o de Jonathan Gavalas para garantir que produtos de AI comercializados no país tenham padrões mínimos de segurança emocional e psicológica para seus usuários.
Independentemente do resultado judicial, a história de Jonathan Gavalas já está mudando a forma como pensamos sobre a interação entre humanos e máquinas. É difícil imaginar que a indústria de AI saia dessa sem precisar fazer mudanças significativas em seus produtos e nas suas práticas de segurança. O caso evidencia que métricas de engajamento e tempo de uso não podem ser os únicos indicadores de sucesso de um produto quando esse mesmo produto tem o poder de influenciar profundamente o estado emocional e as decisões de vida de quem o utiliza. 💔
⚠️ Se você ou alguém que você conhece está passando por um momento difícil, não hesite em buscar ajuda. O CVV — Centro de Valorização da Vida está disponível 24 horas pelo telefone 188 ou pelo site cvv.org.br. Conversar faz diferença.
