NVIDIA acaba de compartir datos que van a hacer que mucha gente en el sector de infraestructura se detenga a pensar.
Los AI Agents ya son una realidad en producción — y son mucho más hambrientos de recursos que cualquier chatbot convencional. Según datos de OpenRouter, las cargas de trabajo agentic consumen hasta 15 veces más tokens que una simple conversación de chat. Esto no es un detalle técnico menor, es un cambio de paradigma completo en la forma de pensar la infraestructura de IA.
Y es exactamente ahí donde entra la Vera Rubin NVL72. NVIDIA reveló que el nuevo sistema entrega hasta 30x más throughput por megavatio que la generación anterior, la GB300 NVL72, específicamente en workloads agentic. No estamos hablando de una mejora incremental — este es un salto que cambia las cuentas de las AI factories que operan en entornos con restricción energética. En este artículo, vas a entender por qué los agentes de IA exigen tanto, qué significan en la práctica los números reales de rendimiento, y qué tecnologías están detrás de esta eficiencia que NVIDIA está presentando al mercado. 🚀
Por qué los AI Agents son tan diferentes de un chatbot común
Antes de entrar en los números de la Vera Rubin NVL72, vale la pena entender el problema que está intentando resolver. Un chatbot convencional tiene un flujo relativamente simple: el usuario envía un mensaje, el modelo lo procesa y devuelve una respuesta. El contexto es corto, la interacción es puntual y el volumen de tokens por sesión está bastante controlado. En estos casos, las secuencias de entrada y salida se mantienen normalmente entre 1 mil y 8 mil tokens. Pero los AI Agents funcionan de una manera completamente diferente. No solo responden — planifican, ejecutan etapas, verifican resultados, llaman herramientas externas, crean sub-agentes e iteran sobre sí mismos hasta alcanzar un objetivo.
Piensa en un ejemplo concreto: un agente de IA investigando una empresa para una decisión de inversión. Consulta bases de datos financieras, busca noticias y documentos regulatorios, activa un sub-agente para ejecutar comparaciones con competidores y modelar valoraciones, y luego sintetiza todo en una recomendación final. Agentes y sub-agentes siguen razonando hasta que la tarea está completa, y cada paso acumula tokens que se convierten en la entrada del paso siguiente. Es por eso que el manejo de contexto largo se vuelve absolutamente central para el rendimiento de la IA agentic.
Según los datos compartidos por NVIDIA con base en información de OpenRouter, las cargas de trabajo agentic llegan a consumir 15 veces más tokens que las interacciones de chat tradicionales. En la práctica, esto significa que un único agente autónomo ejecutando una tarea compleja puede generar un volumen de procesamiento equivalente a decenas de conversaciones simultáneas en un sistema convencional. Y este mismo patrón se repite en prácticamente todos los casos de uso agentic, desde el desarrollo de software hasta la atención al cliente, pasando por investigaciones en profundidad. Para quien opera infraestructura de IA a escala, este número es una alerta importante: la demanda de throughput va a crecer mucho más rápido de lo que sugiere el crecimiento en el número de usuarios finales.
Reciba el mejor contenido sobre innovación en su correo electrónico.
Todas las noticias, consejos, tendencias y recursos que buscas, directamente en tu bandeja de entrada.
Al suscribirte al boletín informativo, aceptas recibir comunicaciones de Método Viral. Nos comprometemos a proteger y respetar siempre tu privacidad.
Este comportamiento crea un cuello de botella serio. Si la infraestructura no está diseñada para aguantar este tipo de carga, lo que ocurre es latencia alta, colas largas de peticiones y, en el peor escenario, degradación completa de la experiencia. Empresas que ya están migrando sus flujos de trabajo hacia arquitecturas basadas en agentes lo están sintiendo en la práctica. La cuestión ya no es si los AI Agents van a dominar los casos de uso corporativos — es cuándo. Y la respuesta a ese cuándo depende directamente de qué tan rápido la infraestructura consiga evolucionar para soportar esta nueva realidad.
Vera Rubin NVL72: 30x más throughput por megavatio y 35x menor costo por token
La Vera Rubin NVL72 es la más reciente arquitectura de sistema de NVIDIA, y fue diseñada con este escenario agentic en mente desde el inicio. El dato más impactante divulgado por la empresa es la mejora de 30x en throughput por megavatio en comparación con la generación anterior, la GB300 NVL72, específicamente cuando el workload es de tipo agentic. Estos números fueron medidos usando el workload SemiAnalysis AgentX, compuesto por sesiones reales de programación agentic grabadas, con crecimiento de contexto real, llamadas a herramientas y creación de sub-agentes preservados. Es decir: no es una prueba sintética, es comportamiento de producción de verdad.
Esta métrica es mucho más relevante que el throughput absoluto, porque coloca la eficiencia energética en el centro de la ecuación — algo que cualquier operador de data center a gran escala va a reconocer inmediatamente como un factor crítico de costo y sostenibilidad. Para AI factories con restricción de energía, esto se traduce directamente en 30x más trabajo agentic dentro del mismo consumo energético.
Pero, ¿qué hay detrás de este salto? La arquitectura Vera Rubin representa una evolución significativa en múltiples frentes al mismo tiempo. Desde el punto de vista del silicio, la nueva generación incorpora avances en el proceso de fabricación y en la organización de la jerarquía de memoria, lo que permite que los modelos procesen contextos mucho más largos con mucha menos latencia. En las sesiones agentic, el contexto se acumula a lo largo de los pasos y puede llegar a cientos de miles de tokens de entrada, con gran variación tanto en el tamaño de entrada como de salida entre las peticiones. Por eso la medición de rendimiento necesitó evolucionar para capturar el flujo completo del agente, y no solo una única petición de inferencia.
La plataforma Blackwell como base sólida
En el benchmark SemiAnalysis AgentX, la plataforma NVIDIA Blackwell entrega rendimiento de liderazgo en múltiples modelos agentic, incluyendo Kimi K3, MiniMax M3, GLM5.3, Qwen3.5 y DeepSeek V4 Pro. La GB300 NVL72, por ejemplo, ya entregaba hasta 15x más throughput por megavatio que la arquitectura Hopper en el modelo DeepSeek V4 Pro, ofreciendo una base de alto rendimiento para ejecutar cargas agentic. Este avance refleja la ventaja de un dominio de GPU con mayor escala combinado con software codiseñado para entregar una eficiencia de inferencia muy superior.
La Vera Rubin amplía aún más esta ventaja, elevando el rendimiento por toda la curva de Pareto para entregar hasta 30x más throughput por megavatio que la GB300 NVL72 en el modelo DeepSeek V4 Pro. Vale destacar que estos resultados iniciales, medidos con el workload SemiAnalysis AgentX y aún pendientes de revisión por SemiAnalysis, ni siquiera reflejan el desempeño de la CPU Vera para llamadas a herramientas. O sea, hay margen para que mejore todavía más. 💡
Costo por token y el impacto en el margen
El throughput por megavatio impacta directamente el costo de cada token producido. Con un costo por millón de tokens hasta 35x menor que la GB300 NVL72, la Vera Rubin NVL72 consigue ejecutar agentes continuamente, a escala, cubriendo toda la amplitud de las cargas de trabajo de los clientes. Para AI factories con restricción de energía, el throughput por megavatio determina los ingresos de la AI factory, mientras que el costo por millón de tokens determina el margen de beneficio sobre esos ingresos.
Vale mencionar también que las tecnologías NVIDIA DSX MaxLPS gestionan la energía a niveles de GPU, rack y workload para aprovisionar hasta un 40% más de GPUs dentro del mismo presupuesto de megavatios, empujando aún más el throughput por megavatio a escala de AI factory. 🔥
Codiseño extremo para escala agentic
La optimización moderna de inferencia abarca una serie de técnicas que son especialmente críticas para la IA agentic. La Vera Rubin NVL72 viabiliza todas ellas y más mediante un codiseño extremo en cada capa de la plataforma. Vamos con los principales puntos destacados:
- Serving desagregado: separa el procesamiento de contexto (prefill) de la generación de respuesta (decode), permitiendo que cada etapa escale de forma independiente.
- Rate matching: sincroniza las velocidades con que las GPUs de prefill y de decode producen tokens, maximizando la eficiencia.
- Paralelismo de expertos a gran escala: distribuye las sub-redes de expertos en modelos mixture-of-experts por el dominio de GPU de escala.
- KV-caching distribuido: extiende la memoria por el dominio de GPU, mientras el offloading de KV-cache mueve contextos menos activos al host y almacenamiento, manteniendo el contexto ya procesado accesible sin necesidad de recomputación.
- Enrutamiento con consciencia de KV: dirige las peticiones entrantes hacia las GPUs que ya poseen el contexto en caché relevante, reduciendo computación redundante en sesiones largas.
- Kernels CUDA fusionados: técnicas como MegaMoE combinan muchas operaciones de computación y comunicación entre GPUs en un solo paso de ejecución, manteniendo las GPUs activas en lugar de esperando datos.
Las GPUs Rubin traen Tensor Cores de quinta generación mejorados y el Transformer Engine de tercera generación, que aceleran tanto el prefill como el decode de la inferencia. La cuantización NVFP4 comprime los pesos del modelo a precisión de 4 bits, reduciendo el uso de memoria y aumentando el throughput sin sacrificar la calidad de la salida.
El dominio de escala NVL72
El dominio de escala NVL72, una arquitectura que define tanto a Vera Rubin como a Grace Blackwell, viabiliza la comunicación entre GPUs de alto ancho de banda y baja latencia que es esencial para técnicas como el paralelismo de expertos a gran escala y el KV-caching distribuido. Hecha a medida para alimentar este dominio, la tecnología de interconexión NVIDIA NVLink y los NVLink Switches, ahora en su sexta generación, entregan 10x más tasa de paquetes y 3x menos latencia que alternativas Ethernet estándar.
Herramientas que usamos a diario
Abarcando kernels CUDA optimizados, runtimes de inferencia como NVIDIA TensorRT LLM y frameworks de serving como NVIDIA Dynamo, el stack de software de NVIDIA está codiseñado junto con el hardware para habilitar todas estas optimizaciones. Y los resultados presentados hasta aquí reflejan solo el rendimiento actual — la plataforma completa es una arquitectura de siete chips que incluye la CPU Vera, el Groq 3 LPU, el NVLink 6 Switch, el BlueField-4 DPU, el Spectrum-6 SPX y el ConnectX-9 SuperNIC, todos hechos a medida para AI factories que despliegan agentes a escala.
Por qué throughput por megavatio es la métrica que importa ahora
Durante mucho tiempo, el benchmark preferido de quien evaluaba hardware de IA era el throughput bruto — cuántos tokens por segundo consigue generar el sistema, punto final. Esa métrica sigue importando, claro, pero solo cuenta la mitad de la historia. La otra mitad es cuánto pagas para generar esos tokens, tanto en costo de energía como en costo de capital del hardware. Es por eso que el throughput por megavatio está emergiendo como la métrica más relevante para quien toma decisiones de infraestructura en entornos de producción con AI Agents y modelos de lenguaje de gran escala.
Vamos a ser directos: una ganancia de 30x en esta métrica no es solo una nota al pie en una diapositiva de presentación. Cambia las cuentas fundamentales de cómo diseñas, operas y estableces el precio de una AI factory. Imagina un data center que hoy opera con restricciones de energía — un escenario extremadamente común, dado que la expansión de capacidad eléctrica no acompaña el crecimiento de la demanda de computación. Con la Vera Rubin NVL72, el mismo presupuesto energético que antes soportaba un determinado volumen de workloads agentic pasa a soportar hasta 30 veces más. Eso significa más clientes, más modelos en producción, más agentes ejecutándose en paralelo — sin necesidad de construir un nuevo data center o negociar más capacidad en la red eléctrica.
NVIDIA claramente entendió este cambio de perspectiva antes de presentar la Vera Rubin NVL72. Al posicionar el producto con foco en esta métrica específica — y específicamente para cargas agentic — la empresa está señalando que conoce bien hacia dónde va el mercado. Los próximos años van a estar marcados por una explosión en el número de agentes autónomos ejecutándose en producción, y cada uno de ellos va a exigir un volumen de computación que ningún modelo de costo basado en chatbots convencionales estaba preparado para absorber. Hablar de eficiencia energética en este contexto no es greenwashing corporativo — es planificación financiera y operativa seria.
Es también por eso que la comparación con la generación GB300 NVL72 es tan reveladora. No estamos comparando generaciones separadas por muchos años de distancia — y aun así el salto es de 30x en la métrica que más importa para quien opera a escala. Estos resultados iniciales de la Vera Rubin NVL72 demuestran el ritmo acelerado de innovación de NVIDIA, y con optimizaciones continuas de software, el rendimiento tanto de la Vera Rubin como de la GB300 NVL72 debería seguir mejorando. El codiseño extremo también se extiende a la co-ingeniería con socios, y la Vera Rubin ya está en producción plena, escalando por todo el ecosistema. Para quien sigue el sector de cerca, este tipo de progreso en ciclos cortos es lo que define qué plataformas de hardware van a dominar la infraestructura de IA en los próximos años. 🧠
