Arquitetura híbrida em inteligência artificial para assistentes in-vehicle com NVIDIA DRIVE AGX e modelos de linguagem
Arquitetura híbrida no cockpit do carro já saiu do laboratório e está batendo na porta da produção em série, mudando na prática a experiência de quem dirige e de quem constrói sistemas automotivos. Em vez de depender só de comandos de voz engessados, a nova geração de veículos começa a adotar agentes de IA multimodais, capazes de raciocinar, planejar e agir em tempo real, integrando borda e nuvem.
Nos carros atuais, a maioria dos assistentes embarcados ainda funciona em cima de padrões fixos de comando e resposta: interpreta uma frase, dispara uma ação e volta ao estado inicial. Esse modelo até resolve tarefas bem definidas, mas não acompanha o que o público espera hoje: conversas naturais, pedidos ambíguos, tarefas em vários passos e um contexto que se estende por toda a jornada, do momento em que o motorista entra no carro até o final do trajeto.
É aqui que entram os modelos de linguagem de grande porte (LLMs), os modelos de visão-linguagem (VLMs) e os modelos de voz. Em vez de simplesmente tentar casar um comando com uma lista de intents, esses modelos abrem espaço para um novo tipo de interação: conversação contínua com memória, entendimento multimodal e assistência proativa. O carro passa a combinar voz, visão e telemetria, entendendo o que está acontecendo dentro e fora da cabine, antecipando necessidade do usuário em vez de só reagir.
Esse pacote de capacidades permite criar experiências bem mais ricas. Rotinas inteligentes, como saudações baseadas em calendário, integração com casa conectada e ajustes automáticos de conforto, se tornam naturais. Sistemas de assistência à condução conseguem ser mais transparentes, explicando em linguagem simples o motivo de uma frenagem, de uma mudança de faixa ou de um alerta. Diagnósticos em linguagem natural ajudam o motorista a entender problemas mecânicos sem precisar ser especialista. E modos de conforto personalizados, pensados para crianças, idosos ou diferentes perfis de uso, ficam muito mais fáceis de implementar.
Em escala, o impacto disso no mercado é grande. Pesquisas como as da ABI Research apontam que os embarques globais de veículos com IA agentic devem saltar de cerca de 5 milhões em 2025 para por volta de 70 milhões em 2035. O desafio é fazer tudo isso acontecer dentro do veículo, onde valem regras rígidas de latência, segurança e privacidade. Além disso, o assistente de cabine não pode viver isolado: ele precisa se integrar à nuvem, a outros agentes de IA e a serviços externos para ampliar o que consegue entregar.
Nesse cenário, a plataforma NVIDIA DRIVE vira peça central. Ela oferece o poder de computação necessário para rodar modelos com mais de 7 bilhões de parâmetros direto no carro, processar múltiplas entradas multimodais, manter latência abaixo de 500 ms e ainda preservar privacidade, privilegiando execução na borda. A seguir, vamos entrar na arquitetura, nas opções de hardware e no caminho de desenvolvimento do agente de cabine agentic, da nuvem até o carro.
O desafio central: IA em tempo real na borda
Trocar um pipeline baseado em classificação de intents por um loop de raciocínio agentic exige bem mais poder de processamento embarcado. Um assistente de cabine moderno, rodando on-device, precisa dar conta de:
- Executar modelos de linguagem com 7B+ parâmetros localmente
- Processar entradas multimodais como câmeras, áudio e telemetria do veículo
- Responder com latência abaixo de 500 ms, garantindo sensação de diálogo natural
- Manter taxas de decodificação acima de 30 tokens por segundo
- Preservar a privacidade dos dados, priorizando execução na borda sempre que possível
As plataformas DRIVE AGX foram construídas justamente para esse tipo de cenário e podem ser integradas de formas diferentes pelas montadoras. Desde um módulo dedicado para IA, o famoso AI Box, até computadores multidomínio capazes de centralizar direção autônoma, cockpit digital e agente de cabine no mesmo conjunto de hardware.
- E-BOOK GRATUITO
Um guia prático para avaliar, comparar e implementar inteligência artificial com clareza — sem desperdício de tempo ou dinheiro.
Pare de contratar ferramentas sem direção. Criamos um método estruturado para decidir qual IA realmente faz sentido para o seu negócio.
Entrega em PDF no seu e-mail · Sem spam · LGPD
🔒 Seus dados são protegidos conforme a LGPD. Você pode descadastrar a qualquer momento.
AI Box: acelerando LLM e VLM em qualquer veículo
Uma das formas mais diretas de levar IA avançada para dentro do carro é com um AI Box automotivo construído em cima de DRIVE AGX. Ele funciona como um módulo adicional de computação, pensado para turbinar os recursos de IA de sistemas de infotainment que, sozinhos, não teriam fôlego para rodar LLMs e VLMs modernos.
Na prática, esse AI Box atua como uma ECU extra, que se conecta ao sistema de infotainment existente por meio de interfaces leves para troca de tokens e dados de câmera, normalmente via Ethernet, com opção de DisplayPort ou CSI para vídeo. Os LLMs e VLMs rodam localmente no AI Box, recebem entradas vindas do computador de cockpit e devolvem respostas inteligentes que alimentam o assistente de cabine e outras experiências avançadas.
Esse desenho permite que as montadoras transformem veículos com IVIs mais básicos em plataformas de IA agentic, sem precisar refazer toda a arquitetura de eletrônica embarcada ou redesenhar o stack de infotainment. O AI Box atua como um bloco modular, que acrescenta poder de IA sem bagunçar o que já existe.
Comparado a rodar workloads pesados diretamente no SoC de infotainment, o AI Box baseado em DRIVE AGX traz uma série de vantagens:
- Mais capacidade de computação para IA: suporta modelos maiores, chegando a algo em torno de 13B parâmetros, com throughput de inferência mais alto e estável.
- Largura de banda de memória dedicada: garante QoS para inferência de LLM, sem sofrer com interferência de tarefas de UI, gráficos ou mídia.
- Performance determinística: mantém taxas de decodificação altas, essenciais para conversas fluidas, mesmo com variação de carga no cockpit.
- Tempo de lançamento menor: usa hardware automotivo pronto para produção e um stack de software consolidado, acelerando a ida para mercado.
- Zero impacto na arquitetura elétrica atual: entra como módulo acoplado, evitando requalificação de plataformas de IVI já homologadas.
- Ciclo de atualização independente: permite evoluir os recursos de IA sem ficar preso ao ciclo de atualização do sistema de infotainment.
Esse AI Box está disponível em duas configurações principais, pensadas para escalar entre diferentes segmentos de veículos:
- DRIVE AGX Orin: leva IA de alto desempenho e já pronta para produção a veículos de volume, atendendo a grande parte da frota.
- DRIVE AGX Thor: baseado na arquitetura de GPU Blackwell, mira veículos premium e libera as experiências mais sofisticadas guiadas por LLM.
DRIVE AGX Thor: computador multidomínio para AV e cabine
O DRIVE AGX Thor leva o conceito adiante, unificando em um único computador de IA multidomínio tudo o que o veículo precisa em termos de inteligência: direção autônoma, percepção, IA de cabine e assistente de cockpit. Com a arquitetura Blackwell, ele entrega uma performance de inferência na borda em outro nível, criando a folga de processamento necessária para rodar vários modelos complexos em paralelo.
Um ponto crítico é que o Thor foi desenhado com forte isolamento entre workloads de criticidade diferente, garantindo FFI (freedom from interference). Em outras palavras, tarefas ligadas à segurança, como percepção e controle de direção, ficam protegidas de qualquer interferência de workloads menos críticos, como entretenimento ou o próprio agente conversacional.
O Thor, rodando com DriveOS 7, ainda suporta múltiplas máquinas virtuais QNX e Linux, o que possibilita separar ambientes de software para AV e para IA de cabine, mantendo segurança, isolamento e flexibilidade de desenvolvimento dentro do mesmo hardware.
Integração com MediaTek Dimensity AX para cockpit centralizado
Outra combinação interessante na arquitetura de carro definido por software é o uso do DRIVE AGX junto com o MediaTek Dimensity AX C-X1 como SoC de cockpit. O C-X1 já traz uma GPU NVIDIA capaz de rodar inferência de LLM, mas, ao parear com um SoC DRIVE AGX, é possível deslocar parte das cargas de IA para o módulo dedicado.
Isso abre duas possibilidades:
- Rodar mais modelos de IA em paralelo para criar experiências multimodais mais ricas;
- Ou liberar o C-X1 para se concentrar em workloads de cockpit, como jogos, multimídia de alto nível e gráficos de painel.
Um diferencial importante é que o Dimensity AX compartilha o ambiente DriveOS com o DRIVE AGX Orin e Thor, oferecendo uma base de software unificada entre IA e IVI. Dados pesados, como áudio e vídeo, são compartilhados por um link PCIe usando a API DriveOS NvStreams, garantindo alta largura de banda e baixa sobrecarga.
Na prática, a dupla DRIVE AGX + MediaTek Dimensity AX oferece:
- Escalabilidade de hardware para diferentes faixas de veículos;
- Performance de inferência de LLM em nível de ponta para a borda;
- Arquitetura de software unificada, simplificando desenvolvimento e manutenção.
Arquitetura híbrida: IA da nuvem até a borda
Mesmo com todo esse poder na borda, muitos casos de uso comuns do assistente exigem interação com a internet: pesquisa na web, redes sociais, planejamento detalhado de viagem, acesso a serviços de terceiros. Para isso, entra o papel dos agentes em nuvem, rodando modelos ainda maiores e integrando uma quantidade maior de APIs.
Uma arquitetura híbrida bem montada combina o melhor dos dois mundos:
- Orquestração de agentes: o sistema avalia o contexto e descobre se o pedido deve ser resolvido localmente, na nuvem ou em conjunto. Uma conversa sobre uma viagem, por exemplo, pode envolver um agente local de navegação, um agente em nuvem pesquisando pontos turísticos e restaurantes, e um agente de conhecimento explicando detalhes do destino.
- Compartilhamento de contexto: quando a nuvem entra no jogo, o contexto que já foi dado pelo usuário não pode se perder. O assistente precisa repassar à nuvem apenas o que for relevante, para evitar repetições e manter a experiência fluida. Ao mesmo tempo, informações produzidas na nuvem podem ser essenciais para o agente local, como o alerta de que uma reunião importante está chegando e o motorista não deve ser sobrecarregado com informações.
- Transparência de UX: chamadas remotas demoram mais e dependem da qualidade da conexão. O assistente precisa monitorar o status das tarefas assíncronas, estimar tempo de conclusão e informar o usuário quando algo atrasar ou falhar por falta de conexão, oferecendo alternativas locais sempre que possível.
Pipeline agentic: do áudio ao plano de ação
Para entregar esse comportamento, o assistente precisa ir além do prompt-resposta. Ele deve planejar, chamar ferramentas e executar vários passos até atingir o objetivo do usuário, sempre respeitando limites de segurança, permissão e latência dentro do veículo.
Um pipeline agentic completo normalmente inclui:
- ASR (reconhecimento de fala): converte o áudio do microfone em texto, aplicando supressão de ruído e detecção de palavra de ativação. Soluções como os modelos de voz NVIDIA Nemotron são ponto inicial comum.
- Orquestrador e framework de agentes: mantém o estado da sessão, faz roteamento de intenções, escolhe ferramentas (como navegação, APIs do veículo, sistemas de conhecimento) e aplica políticas de tempo limite e fallback. O NeMo Agent Toolkit é um exemplo de ferramenta orientada para isso.
- Engine de inferência de LLM: cuida de tokenização, batching, gerenciamento de KV-cache e execução acelerada por hardware, tanto na nuvem quanto na borda, usando frameworks como TensorRT-LLM e TensorRT Edge-LLM.
- Modelos de IA: LLMs e VLMs, como a família NVIDIA Nemotron e modelos suportados pelos frameworks TensorRT, garantem entendimento de linguagem, resumo de informações e, quando multimodais, compreensão visual da cabine e do entorno.
- TTS (síntese de voz): transforma a resposta final em áudio natural, com voz consistente e prosódia ajustada ao ambiente de direção, com opções como os modelos NVIDIA Magpie.
Esses blocos, conectados da forma certa, formam o esqueleto do agente de cabine que funciona tanto na borda quanto na nuvem, alternando entre os dois conforme a necessidade.
Receba o melhor conteúdo de inovação em seu e-mail
Todas as notícias, dicas, tendências e recursos que você procura entregues na sua caixa de entrada.
Ao assinar a newsletter, você concorda em receber comunicações da Método Viral. A gente se compromete a sempre proteger e respeitar sua privacidade.
Da AI factory ao carro: ciclo de desenvolvimento
Criar um assistente agentic embarcado é bem diferente de montar um sistema clássico de comandos de voz. O processo começa na chamada AI factory, um ambiente em nuvem onde os modelos são treinados, ajustados, avaliados e combinados em fluxos agentic em escala.
Nesse contexto, o NVIDIA NeMo funciona como uma plataforma de ponta a ponta para construir, personalizar e implantar modelos generativos para uso empresarial. Ele oferece ferramentas para:
- Curadoria e preparação de dados
- Treinamento e fine-tuning de LLMs e modelos multimodais
- Avaliação de qualidade e segurança
- Implementação de guardrails e políticas de uso
- Implantação em nuvem e na borda, com microserviços otimizados
Depois que o agente de cabine é validado na AI factory, começa a fase de otimização para o ambiente embarcado.
Implantação na borda com TensorRT Edge-LLM
Para rodar dentro do veículo, os modelos saem da AI factory e passam por um processo pesado de otimização, usando CUDA e TensorRT como base comum entre nuvem e embarcado. Entra em cena o TensorRT Edge-LLM, framework de inferência para modelos autoregressivos (LLMs, VLMs e VLAs) em plataformas de borda.
O foco aqui é bem claro:
- Latência baixa, mesmo em cenários de uso intenso
- Uso enxuto de memória e computação, respeitando limites do hardware automotivo
- Mínimas dependências, simplificando integração e homologação
Técnicas como quantização e pruning ajudam a reduzir o peso dos modelos sem perder qualidade demais, e a arquitetura unificada de software entre nuvem e borda garante que o que foi validado na AI factory se comporte de forma consistente dentro do carro.
Ecossistema e jornada de implementação
Na prática, montar um projeto de assistente in-vehicle usando a pilha da NVIDIA passa por algumas etapas típicas:
- Protótipo inicial na nuvem com NeMo e NIMs, testando prompts, fluxos agentic e ferramentas.
- Otimização de inferência em nuvem com TensorRT-LLM, para os agentes que vão rodar fora do veículo.
- Construção do orquestrador de agentes e integração com ferramentas de navegação, APIs do veículo e serviços externos, usando o NeMo Agent Toolkit.
- Port do pipeline para a borda com TensorRT Edge-LLM em um DRIVE AGX DevKit, ajustando quantização, tamanho de modelo e políticas de fallback.
- Parceria com fornecedores de hardware e software que já trabalham com DRIVE AI Box e com stacks de modelos e pipelines automotivos.
- Criação de um loop contínuo de feedback entre nuvem e borda, refinando modelos com dados de uso agregados (respeitando privacidade) e distribuindo melhorias de volta para a frota.
O resultado é um caminho de ponta a ponta, da nuvem até o carro, para colocar experiências agentic, multimodais e em tempo real em qualquer veículo, em diferentes faixas de preço. Com a combinação de NVIDIA DRIVE AGX, arquitetura híbrida bem planejada e um pipeline sólido de desenvolvimento, a indústria automotiva ganha uma base concreta para transformar o cockpit em um ambiente realmente inteligente, sempre ligado e em evolução constante ao longo da vida útil do carro.
