Arquitectura híbrida en inteligencia artificial para asistentes in-vehicle con NVIDIA DRIVE AGX y modelos de lenguaje
La arquitectura híbrida en el cockpit del coche ya salió del laboratorio y está llamando a la puerta de la producción en serie, cambiando en la práctica la experiencia de quien conduce y de quien construye sistemas automotrices. En lugar de depender solo de comandos de voz rígidos, la nueva generación de vehículos empieza a adoptar agentes de IA multimodales, capaces de razonar, planear y actuar en tiempo real, integrando borde y nube.
En los autos actuales, la mayoría de los asistentes embarcados todavía funciona sobre patrones fijos de comando y respuesta: interpreta una frase, dispara una acción y vuelve al estado inicial. Este modelo incluso resuelve tareas bien definidas, pero no acompaña lo que el público espera hoy: conversaciones naturales, pedidos ambiguos, tareas en varios pasos y un contexto que se extiende por todo el viaje, desde el momento en que el conductor entra al coche hasta el final del trayecto.
Aquí es donde entran los modelos de lenguaje de gran tamaño (LLMs), los modelos de visión-lenguaje (VLMs) y los modelos de voz. En lugar de simplemente intentar encajar un comando en una lista de intents, estos modelos abren espacio para un nuevo tipo de interacción: conversación continua con memoria, entendimiento multimodal y asistencia proactiva. El coche pasa a combinar voz, visión y telemetría, entendiendo lo que está ocurriendo dentro y fuera de la cabina, anticipando las necesidades del usuario en lugar de solo reaccionar.
Este paquete de capacidades permite crear experiencias mucho más ricas. Rutinas inteligentes, como saludos basados en calendario, integración con casa conectada y ajustes automáticos de confort, se vuelven naturales. Los sistemas de asistencia a la conducción consiguen ser más transparentes, explicando en lenguaje sencillo el motivo de un frenado, de un cambio de carril o de una alerta. Diagnósticos en lenguaje natural ayudan al conductor a entender problemas mecánicos sin necesidad de ser especialista. Y modos de confort personalizados, pensados para niños, personas mayores o distintos perfiles de uso, se vuelven mucho más fáciles de implementar.
A escala, el impacto en el mercado es grande. Investigaciones como las de ABI Research señalan que los envíos globales de vehículos con IA agentic deben saltar de cerca de 5 millones en 2025 a alrededor de 70 millones en 2035. El desafío es hacer que todo esto ocurra dentro del vehículo, donde rigen reglas estrictas de latencia, seguridad y privacidad. Además, el asistente de cabina no puede vivir aislado: necesita integrarse a la nube, a otros agentes de IA y a servicios externos para ampliar lo que es capaz de ofrecer.
En este escenario, la plataforma NVIDIA DRIVE se vuelve pieza central. Ofrece la potencia de cómputo necesaria para ejecutar modelos con más de 7 mil millones de parámetros directamente en el coche, procesar múltiples entradas multimodales, mantener la latencia por debajo de 500 ms y aun así preservar la privacidad, priorizando la ejecución en el borde. A continuación, vamos a entrar en la arquitectura, en las opciones de hardware y en el camino de desarrollo del agente de cabina agentic, desde la nube hasta el coche.
El desafío central: IA en tiempo real en el borde
Cambiar un pipeline basado en clasificación de intents por un loop de razonamiento agentic exige mucha más potencia de procesamiento embarcado. Un asistente de cabina moderno, ejecutándose on-device, necesita ser capaz de:
- Ejecutar modelos de lenguaje con 7B+ parámetros de forma local
- Procesar entradas multimodales como cámaras, audio y telemetría del vehículo
- Responder con latencia por debajo de 500 ms, garantizando sensación de diálogo natural
- Mantener tasas de decodificación por encima de 30 tokens por segundo
- Preservar la privacidad de los datos, priorizando la ejecución en el borde siempre que sea posible
Las plataformas DRIVE AGX fueron construidas justamente para este tipo de escenario y pueden integrarse de diferentes formas por los fabricantes. Desde un módulo dedicado para IA, el famoso AI Box, hasta ordenadores multidominio capaces de centralizar conducción autónoma, cockpit digital y agente de cabina en el mismo conjunto de hardware.
Reciba el mejor contenido sobre innovación en su correo electrónico.
Todas las noticias, consejos, tendencias y recursos que buscas, directamente en tu bandeja de entrada.
Al suscribirte al boletín informativo, aceptas recibir comunicaciones de Método Viral. Nos comprometemos a proteger y respetar siempre tu privacidad.
AI Box: acelerando LLM y VLM en cualquier vehículo
Una de las formas más directas de llevar IA avanzada al coche es con un AI Box automotriz construido sobre DRIVE AGX. Funciona como un módulo adicional de cómputo, pensado para potenciar los recursos de IA de sistemas de infoentretenimiento que, por sí solos, no tendrían fuerza suficiente para ejecutar LLMs y VLMs modernos.
En la práctica, este AI Box actúa como una ECU extra, que se conecta al sistema de infoentretenimiento existente a través de interfaces ligeras para intercambio de tokens y datos de cámara, normalmente vía Ethernet, con opción de DisplayPort o CSI para video. Los LLMs y VLMs se ejecutan localmente en el AI Box, reciben entradas provenientes del ordenador de cockpit y devuelven respuestas inteligentes que alimentan al asistente de cabina y otras experiencias avanzadas.
Este diseño permite que los fabricantes transformen vehículos con IVIs más básicos en plataformas de IA agentic, sin necesidad de rehacer toda la arquitectura de electrónica embarcada o rediseñar el stack de infoentretenimiento. El AI Box actúa como un bloque modular, que añade potencia de IA sin desordenar lo que ya existe.
Comparado con ejecutar cargas de trabajo pesadas directamente en el SoC de infoentretenimiento, el AI Box basado en DRIVE AGX aporta una serie de ventajas:
- Mayor capacidad de cómputo para IA: soporta modelos más grandes, llegando a algo en torno a 13B parámetros, con un throughput de inferencia más alto y estable.
- Amplitud de banda de memoria dedicada: garantiza QoS para inferencia de LLM, sin sufrir interferencia de tareas de UI, gráficos o medios.
- Rendimiento determinista: mantiene tasas de decodificación altas, esenciales para conversaciones fluidas, incluso con variación de carga en el cockpit.
- Menor tiempo de lanzamiento: utiliza hardware automotriz listo para producción y un stack de software consolidado, acelerando la salida al mercado.
- Cero impacto en la arquitectura eléctrica actual: entra como módulo acoplado, evitando la reclasificación de plataformas de IVI ya homologadas.
- Ciclo de actualización independiente: permite evolucionar los recursos de IA sin quedar atado al ciclo de actualización del sistema de infoentretenimiento.
Este AI Box está disponible en dos configuraciones principales, pensadas para escalar entre distintos segmentos de vehículos:
- DRIVE AGX Orin: lleva IA de alto rendimiento y ya lista para producción a vehículos de volumen, atendiendo a gran parte de la flota.
- DRIVE AGX Thor: basado en la arquitectura de GPU Blackwell, apunta a vehículos premium y libera las experiencias más sofisticadas guiadas por LLM.
DRIVE AGX Thor: ordenador multidominio para AV y cabina
DRIVE AGX Thor lleva el concepto más allá, unificando en un único ordenador de IA multidominio todo lo que el vehículo necesita en términos de inteligencia: conducción autónoma, percepción, IA de cabina y asistente de cockpit. Con la arquitectura Blackwell, ofrece un rendimiento de inferencia en el borde a otro nivel, creando el margen de procesamiento necesario para ejecutar varios modelos complejos en paralelo.
Un punto crítico es que Thor fue diseñado con un fuerte aislamiento entre cargas de trabajo de distinta criticidad, garantizando FFI (freedom from interference). En otras palabras, las tareas ligadas a la seguridad, como percepción y control de la dirección, quedan protegidas de cualquier interferencia de cargas de trabajo menos críticas, como entretenimiento o el propio agente conversacional.
Thor, ejecutándose con DriveOS 7, también soporta múltiples máquinas virtuales QNX y Linux, lo que posibilita separar entornos de software para AV y para IA de cabina, manteniendo seguridad, aislamiento y flexibilidad de desarrollo dentro del mismo hardware.
Integración con MediaTek Dimensity AX para cockpit centralizado
Otra combinación interesante en la arquitectura de coche definido por software es el uso de DRIVE AGX junto con MediaTek Dimensity AX C-X1 como SoC de cockpit. El C-X1 ya incorpora una GPU NVIDIA capaz de ejecutar inferencia de LLM, pero al emparejarse con un SoC DRIVE AGX es posible desplazar parte de las cargas de IA hacia el módulo dedicado.
Esto abre dos posibilidades:
- Ejecutar más modelos de IA en paralelo para crear experiencias multimodales más ricas;
- O liberar el C-X1 para concentrarse en cargas de trabajo de cockpit, como juegos, multimedia de alto nivel y gráficos de panel.
Un diferencial importante es que Dimensity AX comparte el entorno DriveOS con DRIVE AGX Orin y Thor, ofreciendo una base de software unificada entre IA e IVI. Datos pesados, como audio y video, se comparten por un enlace PCIe usando la API DriveOS NvStreams, garantizando alta amplitud de banda y baja sobrecarga.
En la práctica, la dupla DRIVE AGX + MediaTek Dimensity AX ofrece:
- Escalabilidad de hardware para diferentes gamas de vehículos;
- Rendimiento de inferencia de LLM de nivel punta en el borde;
- Arquitectura de software unificada, simplificando desarrollo y mantenimiento.
Arquitectura híbrida: IA de la nube hasta el borde
Incluso con toda esta potencia en el borde, muchos casos de uso comunes del asistente exigen interacción con internet: búsqueda en la web, redes sociales, planificación detallada de viajes, acceso a servicios de terceros. Para ello entra el papel de los agentes en la nube, que ejecutan modelos aún más grandes e integran una cantidad mayor de APIs.
Una arquitectura híbrida bien montada combina lo mejor de ambos mundos:
- Orquestación de agentes: el sistema evalúa el contexto y detecta si el pedido debe resolverse localmente, en la nube o en conjunto. Una conversación sobre un viaje, por ejemplo, puede involucrar a un agente local de navegación, un agente en la nube investigando puntos turísticos y restaurantes, y un agente de conocimiento explicando detalles del destino.
- Compartición de contexto: cuando la nube entra en juego, el contexto ya proporcionado por el usuario no puede perderse. El asistente necesita enviar a la nube solo lo que sea relevante, para evitar repeticiones y mantener la experiencia fluida. Al mismo tiempo, la información producida en la nube puede ser esencial para el agente local, como la alerta de que se acerca una reunión importante y el conductor no debe ser sobrecargado con información.
- Transparencia de UX: las llamadas remotas tardan más y dependen de la calidad de la conexión. El asistente necesita monitorear el estado de las tareas asíncronas, estimar el tiempo de conclusión e informar al usuario cuando algo se retrasa o falla por falta de conexión, ofreciendo alternativas locales siempre que sea posible.
Pipeline agentic: del audio al plan de acción
Para ofrecer este comportamiento, el asistente necesita ir más allá del esquema pregunta-respuesta. Debe planear, llamar herramientas y ejecutar varios pasos hasta alcanzar el objetivo del usuario, respetando siempre los límites de seguridad, permisos y latencia dentro del vehículo.
Un pipeline agentic completo normalmente incluye:
- ASR (reconocimiento de voz): convierte el audio del micrófono en texto, aplicando supresión de ruido y detección de palabra de activación. Soluciones como los modelos de voz NVIDIA Nemotron son un punto de partida común.
- Orquestador y framework de agentes: mantiene el estado de la sesión, realiza el ruteo de intenciones, elige herramientas (como navegación, APIs del vehículo, sistemas de conocimiento) y aplica políticas de tiempo límite y fallback. NeMo Agent Toolkit es un ejemplo de herramienta orientada a esto.
- Motor de inferencia de LLM: se encarga de la tokenización, batching, gestión de KV-cache y ejecución acelerada por hardware, tanto en la nube como en el borde, usando frameworks como TensorRT-LLM y TensorRT Edge-LLM.
- Modelos de IA: LLMs y VLMs, como la familia NVIDIA Nemotron y modelos soportados por los frameworks TensorRT, garantizan entendimiento del lenguaje, resumen de información y, cuando son multimodales, comprensión visual de la cabina y del entorno.
- TTS (síntesis de voz): transforma la respuesta final en audio natural, con voz consistente y prosodia ajustada al entorno de conducción, con opciones como los modelos NVIDIA Magpie.
Estos bloques, conectados de la forma correcta, forman el esqueleto del agente de cabina que funciona tanto en el borde como en la nube, alternando entre ambos según la necesidad.
Herramientas que usamos a diario
De la AI factory al coche: ciclo de desarrollo
Crear un asistente agentic embarcado es muy diferente a montar un sistema clásico de comandos de voz. El proceso comienza en la llamada AI factory, un entorno en la nube donde los modelos son entrenados, ajustados, evaluados y combinados en flujos agentic a escala.
En este contexto, NVIDIA NeMo funciona como una plataforma de extremo a extremo para construir, personalizar e implementar modelos generativos para uso empresarial. Ofrece herramientas para:
- Curaduría y preparación de datos
- Entrenamiento y fine-tuning de LLMs y modelos multimodales
- Evaluación de calidad y seguridad
- Implementación de guardrails y políticas de uso
- Despliegue en la nube y en el borde, con microservicios optimizados
Después de que el agente de cabina se valida en la AI factory, comienza la fase de optimización para el entorno embarcado.
Despliegue en el borde con TensorRT Edge-LLM
Para ejecutarse dentro del vehículo, los modelos salen de la AI factory y pasan por un proceso intenso de optimización, usando CUDA y TensorRT como base común entre nube y embarcado. Entra en escena TensorRT Edge-LLM, framework de inferencia para modelos autoregresivos (LLMs, VLMs y VLAs) en plataformas de borde.
El foco aquí es muy claro:
- Baja latencia, incluso en escenarios de uso intenso
- Uso ajustado de memoria y cómputo, respetando los límites del hardware automotriz
- Mínimas dependencias, simplificando integración y homologación
Técnicas como cuantización y pruning ayudan a reducir el peso de los modelos sin perder demasiada calidad, y la arquitectura unificada de software entre nube y borde garantiza que lo que se validó en la AI factory se comporte de forma consistente dentro del coche.
Ecosistema y recorrido de implementación
En la práctica, montar un proyecto de asistente in-vehicle usando el stack de NVIDIA pasa por algunas etapas típicas:
- Prototipo inicial en la nube con NeMo y NIMs, probando prompts, flujos agentic y herramientas.
- Optimización de inferencia en la nube con TensorRT-LLM, para los agentes que se ejecutarán fuera del vehículo.
- Construcción del orquestador de agentes e integración con herramientas de navegación, APIs del vehículo y servicios externos, usando NeMo Agent Toolkit.
- Port del pipeline al borde con TensorRT Edge-LLM en un DRIVE AGX DevKit, ajustando cuantización, tamaño de modelo y políticas de fallback.
- Alianza con proveedores de hardware y software que ya trabajen con DRIVE AI Box y con stacks de modelos y pipelines automotrices.
- Creación de un loop continuo de feedback entre nube y borde, afinando modelos con datos de uso agregados (respetando la privacidad) y distribuyendo mejoras de vuelta a la flota.
El resultado es un camino de extremo a extremo, desde la nube hasta el coche, para poner experiencias agentic, multimodales y en tiempo real en cualquier vehículo, en distintas gamas de precio. Con la combinación de NVIDIA DRIVE AGX, una arquitectura híbrida bien planificada y un pipeline sólido de desarrollo, la industria automotriz gana una base concreta para transformar el cockpit en un entorno realmente inteligente, siempre conectado y en evolución constante a lo largo de la vida útil del coche.
