NVIDIA nunca se ha quedado de brazos cruzados cuando el tema es innovación, y esta vez la jugada apunta a algo que mucha gente que trabaja con agentes de IA conoce bien, pero rara vez logra resolver de forma organizada.
Seguramente ya notaste que los agentes de IA pueden ser increíblemente capaces, pero aun así tropezar en las tareas más simples cuando no tienen el contexto adecuado a mano.
Y ese es exactamente el punto de partida de todo esto: sin las instrucciones correctas, un agente puede gastar tokens a lo tonto, recorrer caminos equivocados y tardar mucho más de lo necesario para llegar a cualquier resultado.
Para atacar este problema de frente, NVIDIA creó el SkillEvaluator, una herramienta open source pensada para medir, de forma rigurosa y transparente, cuánto las llamadas skills realmente marcan la diferencia en el rendimiento de agentes de IA.
La idea es simple, pero poderosa: si vas a confiar en un agente para ejecutar tareas complejas, necesitas saber si el contexto que le estás entregando está funcionando de verdad.
Y ahora, por primera vez, esa respuesta viene acompañada de números concretos provenientes de más de 300 skills verificadas en más de 30 productos de la propia NVIDIA 👇
Reciba el mejor contenido sobre innovación en su correo electrónico.
Todas las noticias, consejos, tendencias y recursos que buscas, directamente en tu bandeja de entrada.
Al suscribirte al boletín informativo, aceptas recibir comunicaciones de Método Viral. Nos comprometemos a proteger y respetar siempre tu privacidad.
Qué son las skills y por qué importan tanto
Antes de entender lo que hace el SkillEvaluator, vale la pena dar un paso atrás y comprender el concepto de skill dentro del universo de agentes de inteligencia artificial. Una skill, en este contexto, es básicamente un bloque de contexto estructurado que le entregas al agente antes de que ejecute cualquier cosa. Puede ser una instrucción de cómo usar una herramienta, un conjunto de reglas a seguir en determinada situación, o incluso ejemplos de cómo responder a ciertos tipos de solicitudes. Su función es simple: preparar al agente para actuar mejor, con más precisión y menos desperdicio de recursos computacionales durante el proceso.
En el caso específico de NVIDIA, las skills verificadas son descriptores de capacidad empaquetados y firmados que le dicen al agente exactamente lo que un producto de la empresa hace, cuándo debe activarse y cómo debe llamarse. La parte verificada es justamente la medición que confirma que esa skill está lista para usarse, y no solo una promesa en el papel. Es ese sello de calidad lo que separa una instrucción genérica de algo que ya pasó por un proceso serio de evaluación.
El problema es que, hasta ahora, medir si una skill estaba realmente funcionando era un proceso bastante subjetivo. Los equipos de desarrollo probaban, ajustaban, volvían a probar y cruzaban los dedos para que los resultados mejoraran. No había una forma estandarizada de comparar diferentes versiones de una skill ni de saber con certeza si el cambio que hiciste en el contexto del agente trajo alguna ganancia real de rendimiento. Era mucha intuición, poca métrica. Y cuando estás lidiando con sistemas que necesitan tomar decisiones a escala, la intuición no es suficiente.
Es en ese punto donde NVIDIA entró con una propuesta concreta. Al desarrollar el SkillEvaluator, la empresa creó un framework capaz de aislar el impacto de cada skill individualmente, probándola en condiciones controladas y generando datos medibles sobre qué cambió, cuánto cambió y si el cambio fue positivo o negativo para el agente. Ese impacto se mide a través de una métrica llamada Skill Lift, que representa exactamente la diferencia de puntuación entre ejecutar la tarea con la skill instalada y sin ella.
Cómo funciona el SkillEvaluator en la práctica
El SkillEvaluator opera con una lógica de evaluación en tres capas, y cada una de ellas responde a una pregunta diferente sobre la skill. La primera capa se encarga de seguridad y estructura, ejecutando verificaciones estáticas de esquema, puntuación de calidad, escaneo contra inyección de prompt y filtración de datos, además de detección de información sensible y verificación de licencias. La segunda capa se enfoca en distinción, usando similitud de embeddings para identificar orientaciones duplicadas dentro de una misma skill o solapamientos entre diferentes skills del catálogo.
La tercera capa es donde la magia realmente ocurre. Ejecuta una evaluación en vivo, con un agente realizando tareas generadas automáticamente, una vez con la skill instalada y otra sin ella, todo dentro de un entorno aislado y controlado. Para esto, la herramienta se apoya en Harbor, un framework open source pensado para ejecutar evaluaciones de agentes en entornos repetibles y aislados. El SkillEvaluator se encarga de toda la configuración, transformando los casos de prueba en tareas, ejecutando los agentes en los sandboxes y calculando el impacto final de la skill.
El punto genial aquí es el rigor de la comparación. Para cada caso evaluado, el agente se ejecuta dos veces con exactamente el mismo prompt, el mismo modelo, las mismas entradas y los mismos criterios de corrección. La única variable que cambia entre las dos ejecuciones es la presencia o ausencia de la skill. Esto garantiza que cualquier diferencia observada en el resultado sea de hecho atribuible a la skill, y no a algún factor aleatorio. Y como esta comparación se repite en dos entornos de agente diferentes, los resultados ganan aún más solidez.
Al ser open source, el SkillEvaluator también fue construido con flexibilidad en mente. Los equipos de desarrollo pueden adaptar los criterios de evaluación a sus propios casos de uso, conectar diferentes modelos de inteligencia artificial en el proceso de prueba e integrar la herramienta dentro de sus pipelines ya existentes. NVIDIA claramente no quiere que esto sea solo una vitrina tecnológica, sino algo que equipos reales puedan usar en el día a día para tomar mejores decisiones sobre cómo están construyendo sus agentes.
Qué muestran los resultados hasta ahora
Los datos iniciales divulgados junto con el lanzamiento del SkillEvaluator son bastante reveladores sobre el impacto real que skills bien construidas pueden tener en el rendimiento de agentes de inteligencia artificial. Las pruebas se realizaron en dos entornos populares, Codex y Claude Code, y evaluaron cada skill en cinco dimensiones diferentes: corrección, descubrimiento, eficacia, eficiencia y seguridad.
Sin ninguna skill instalada, los agentes tuvieron un rendimiento bastante mediocre en la mayoría de las dimensiones. Las puntuaciones base quedaron entre 39 y 46 puntos de un total de 100 en las áreas de corrección, descubrimiento, eficacia y eficiencia, lo que ya indicaba un espacio enorme para mejorar. La única excepción fue la seguridad, que comenzó con una puntuación altísima de 97 puntos, ya que el objetivo principal en esa dimensión era garantizar que instalar una skill no introdujera ningún problema nuevo.
Las ganancias con skills verificadas
Cuando las skills verificadas entraron en escena, los números dieron un salto impresionante. La corrección subió de 46 a 87 puntos, una ganancia de 41 puntos. El descubrimiento saltó de 42 a 82, un avance de 40 puntos. La eficacia fue de 39 a 78, más 39 puntos, y la eficiencia creció de 43 a 78, una ganancia de 35 puntos. La seguridad, que ya era alta, subió solo un punto, pasando de 97 a 98. En el promedio general excluyendo la seguridad, la ganancia quedó en 39 puntos, lo cual es un resultado considerable.
Estos números no representan probabilidad de acierto, sino un rendimiento promedio más alto en las tareas especializadas evaluadas. Vale destacar que las dimensiones de descubrimiento y eficiencia funcionan como indicadores de que la skill está siendo activada y usada correctamente cuando está presente. Esto importa mucho, porque cada skill en un entorno compite por la atención del agente, y una skill que se carga cuando no es relevante puede incluso perjudicar el rendimiento general.
El entorno también marca la diferencia
Un detalle interesante es que el Skill Lift varió entre los dos entornos probados. Claude Code presentó ganancias ligeramente mayores, con un Skill Lift de 42 puntos excluyendo seguridad, contra 36 puntos de OpenAI Codex. Esta diferencia es esperada, ya que cada entorno tiene sus propios prompts de sistema, formas de manejar el contexto e sus implementaciones de llamada de herramientas. Aun así, ambos mostraron ganancias consistentes y significativas, lo que refuerza que la skill proporciona una base estructurada que ninguno de los dos logra producir por sí solo.
Herramientas que usamos a diario
Por qué esto cambia las reglas del juego para quienes trabajan con agentes de IA
Si trabajas con desarrollo de sistemas basados en inteligencia artificial, probablemente ya pasaste por la situación de ajustar el prompt de un agente varias veces sin tener certeza de si los cambios estaban ayudando o estorbando. La mayoría de los equipos todavía opera en un ciclo de prueba y error bastante manual, donde las decisiones sobre qué incluir o quitar del contexto del agente dependen mucho de la intuición de quien está desarrollando. El SkillEvaluator propone una ruptura con ese patrón al introducir un proceso de evaluación sistemático y reproducible que cualquier miembro del equipo puede ejecutar e interpretar.
Uno de los aprendizajes más valiosos que las pruebas revelaron es que el ahorro de tokens no es automático. En un ejemplo, la skill de optimización de memoria del Jetson redujo el consumo de tokens de más de 617 mil a poco más de 142 mil, una caída de casi 77 por ciento, además de recortar el tiempo de ejecución a la mitad. Por otro lado, una skill de instalación de otro producto terminó aumentando el consumo de tokens en más de 120 por ciento, revelando una clara oportunidad de optimización. Es decir, la herramienta no solo muestra lo que funciona, sino que también señala dónde todavía hay trabajo por hacer.
Otro punto que quedó evidente es que el producto importa más que el agente. El Skill Lift varió mucho más entre diferentes productos que entre los dos entornos de prueba. Mientras Claude Code y Codex difieren en cerca de cinco puntos en el promedio, el Skill Lift por producto fue de aproximadamente 2 hasta 46 puntos. Esto demuestra que el dominio de la tarea, el diseño de la evaluación y la calidad del conjunto de pruebas pesan mucho más que la elección del entorno en sí.
NVIDIA también ya puso el SkillEvaluator en práctica con socios. OpenClaw está piloteando la herramienta para organizaciones oficiales en ClawHub, mostrando los resultados con y sin skill directamente en la interfaz. Por su parte, Nous Research probó la solución en Hermes Agent, con un escaneo de seguridad opcional que verifica datos sensibles, problemas de licencia y otras cuestiones antes de la instalación, todo en aproximadamente un segundo y medio por skill.
El SkillEvaluator está disponible como proyecto open source y representa un paso más de NVIDIA hacia un desarrollo de inteligencia artificial más transparente, medible y eficiente para todo tipo de equipos. 🚀
