A NVIDIA nunca foi de ficar parada quando o assunto é inovação, e dessa vez a jogada mira um ponto que muita gente que trabalha com agentes de IA conhece bem, mas raramente consegue resolver de forma organizada.
Você já deve ter notado que agentes de IA podem ser incrivelmente capazes, mas ainda assim tropeçar nas tarefas mais simples quando não têm o contexto certo na mão.
E esse é exatamente o ponto de partida de tudo isso: sem as instruções certas, um agente pode gastar tokens à toa, percorrer caminhos errados e demorar muito mais do que o necessário para chegar em qualquer lugar.
Para atacar esse problema de frente, a NVIDIA criou o SkillEvaluator, uma ferramenta open source pensada para medir, de forma rigorosa e transparente, o quanto as chamadas skills realmente fazem diferença no desempenho de agentes de IA.
A ideia é simples, mas poderosa: se você vai confiar em um agente para executar tarefas complexas, precisa saber se o contexto que está entregando a ele está funcionando de verdade.
E agora, pela primeira vez, essa resposta vem acompanhada de números concretos vindos de mais de 300 skills verificadas em mais de 30 produtos da própria NVIDIA 👇
- E-BOOK GRATUITO
Um guia prático para avaliar, comparar e implementar inteligência artificial com clareza — sem desperdício de tempo ou dinheiro.
Pare de contratar ferramentas sem direção. Criamos um método estruturado para decidir qual IA realmente faz sentido para o seu negócio.
Entrega em PDF no seu e-mail · Sem spam · LGPD
🔒 Seus dados são protegidos conforme a LGPD. Você pode descadastrar a qualquer momento.
O que são skills e por que elas importam tanto
Antes de entender o que o SkillEvaluator faz, vale dar um passo atrás e entender o conceito de skill dentro do universo de agentes de inteligência artificial. Uma skill, nesse contexto, é basicamente um bloco de contexto estruturado que você entrega ao agente antes de ele executar qualquer coisa. Pode ser uma instrução de como usar uma ferramenta, um conjunto de regras para seguir em determinada situação, ou até exemplos de como responder a certos tipos de pedidos. A função dela é simples: preparar o agente para agir melhor, com mais precisão e menos desperdício de recursos computacionais durante o processo.
No caso específico da NVIDIA, as skills verificadas são descritores de capacidade empacotados e assinados que dizem ao agente exatamente o que um produto da empresa faz, quando ele deve ser acionado e como deve ser chamado. A parte verificada é justamente a medição que confirma que aquela skill está pronta para uso, e não apenas uma promessa no papel. É esse selo de qualidade que separa uma instrução genérica de algo que já passou por um processo sério de avaliação.
O problema é que, até agora, medir se uma skill estava realmente funcionando era um processo bastante subjetivo. Os times de desenvolvimento testavam, ajustavam, testavam de novo e torciam para que os resultados melhorassem. Não havia uma forma padronizada de comparar diferentes versões de uma skill ou de saber com certeza se a mudança que você fez no contexto do agente trouxe algum ganho real de desempenho. Era muito feeling, pouca métrica. E quando você está lidando com sistemas que precisam tomar decisões em escala, feeling não é suficiente.
É nesse ponto que a NVIDIA entrou com uma proposta concreta. Ao desenvolver o SkillEvaluator, a empresa criou um framework capaz de isolar o impacto de cada skill individualmente, testando ela em condições controladas e gerando dados mensuráveis sobre o que mudou, o quanto mudou e se a mudança foi positiva ou negativa para o agente. Esse impacto é medido através de uma métrica chamada Skill Lift, que representa exatamente a diferença de pontuação entre rodar a tarefa com a skill instalada e sem ela.
Como o SkillEvaluator funciona na prática
O SkillEvaluator opera com uma lógica de avaliação em três camadas, e cada uma delas responde a uma pergunta diferente sobre a skill. A primeira camada cuida de segurança e estrutura, rodando checagens estáticas de esquema, pontuação de qualidade, varredura contra injeção de prompt e vazamento de dados, além de detecção de informações sensíveis e verificação de licenças. A segunda camada foca em distinção, usando similaridade de embeddings para identificar orientações duplicadas dentro de uma mesma skill ou sobreposições entre diferentes skills do catálogo.
A terceira camada é onde a mágica realmente acontece. Ela roda uma avaliação ao vivo, com um agente executando tarefas geradas automaticamente, uma vez com a skill instalada e outra sem ela, tudo dentro de um ambiente isolado e controlado. Para isso, a ferramenta se apoia no Harbor, um framework open source pensado para rodar avaliações de agentes em ambientes repetíveis e isolados. O SkillEvaluator cuida de toda a configuração, transformando os casos de teste em tarefas, rodando os agentes nos sandboxes e calculando o impacto final da skill.
O ponto genial aqui é o rigor da comparação. Para cada caso avaliado, o agente roda duas vezes com exatamente o mesmo prompt, o mesmo modelo, as mesmas entradas e os mesmos critérios de correção. A única variável que muda entre as duas execuções é a presença ou ausência da skill. Isso garante que qualquer diferença observada no resultado seja de fato atribuível à skill, e não a algum fator aleatório. E como essa comparação é repetida em dois ambientes de agente diferentes, os resultados ganham ainda mais solidez.
Por ser open source, o SkillEvaluator também foi construído com flexibilidade em mente. Equipes de desenvolvimento podem adaptar os critérios de avaliação para os seus próprios casos de uso, plugar diferentes modelos de inteligência artificial no processo de teste e integrar a ferramenta dentro dos seus pipelines já existentes. A NVIDIA claramente não quer que isso seja apenas uma vitrine tecnológica, mas sim algo que times reais possam usar no dia a dia para tomar decisões melhores sobre como estão construindo os seus agentes.
O que os resultados mostram até agora
Os dados iniciais divulgados junto com o lançamento do SkillEvaluator são bastante reveladores sobre o impacto real que skills bem construídas podem ter no desempenho de agentes de inteligência artificial. Os testes foram conduzidos em dois ambientes populares, o Codex e o Claude Code, e avaliaram cada skill em cinco dimensões diferentes: correção, descoberta, eficácia, eficiência e segurança.
Sem nenhuma skill instalada, os agentes tiveram um desempenho bastante mediano na maioria das dimensões. As pontuações de base ficaram entre 39 e 46 pontos de um total de 100 nas áreas de correção, descoberta, eficácia e eficiência, o que já indicava um espaço enorme para melhoria. A única exceção foi a segurança, que começou com uma pontuação altíssima de 97 pontos, já que o objetivo principal nessa dimensão era garantir que instalar uma skill não introduzisse nenhum problema novo.
Os ganhos com skills verificadas
Quando as skills verificadas entraram em cena, os números deram um salto impressionante. A correção subiu de 46 para 87 pontos, um ganho de 41 pontos. A descoberta pulou de 42 para 82, um avanço de 40 pontos. A eficácia foi de 39 para 78, mais 39 pontos, e a eficiência cresceu de 43 para 78, um ganho de 35 pontos. A segurança, que já era alta, subiu apenas um ponto, indo de 97 para 98. Na média geral excluindo a segurança, o ganho ficou em 39 pontos, o que é um resultado e tanto.
Esses números não representam probabilidade de acerto, e sim um desempenho médio mais alto nas tarefas especializadas avaliadas. Vale destacar que as dimensões de descoberta e eficiência funcionam como indicadores de que a skill está sendo ativada e usada corretamente quando presente. Isso importa muito, porque cada skill em um ambiente compete pela atenção do agente, e uma skill que carrega quando não é relevante pode até prejudicar o desempenho geral.
O ambiente também faz diferença
Um detalhe interessante é que o Skill Lift variou entre os dois ambientes testados. O Claude Code apresentou ganhos ligeiramente maiores, com um Skill Lift de 42 pontos excluindo segurança, contra 36 pontos do OpenAI Codex. Essa diferença é esperada, já que cada ambiente tem seus próprios prompts de sistema, formas de lidar com contexto e implementações de chamada de ferramentas. Mesmo assim, ambos mostraram ganhos consistentes e significativos, o que reforça que a skill fornece uma base estruturada que nenhum dos dois consegue produzir sozinho.
Receba o melhor conteúdo de inovação em seu e-mail
Todas as notícias, dicas, tendências e recursos que você procura entregues na sua caixa de entrada.
Ao assinar a newsletter, você concorda em receber comunicações da Método Viral. A gente se compromete a sempre proteger e respeitar sua privacidade.
Por que isso muda o jogo para quem trabalha com agentes de IA
Se você trabalha com desenvolvimento de sistemas baseados em inteligência artificial, provavelmente já passou pela situação de ajustar o prompt de um agente diversas vezes sem ter certeza se as mudanças estavam ajudando ou atrapalhando. A maioria das equipes ainda opera num ciclo de tentativa e erro bastante manual, onde as decisões sobre o que incluir ou retirar do contexto do agente dependem muito da intuição de quem está desenvolvendo. O SkillEvaluator propõe uma ruptura com esse padrão ao introduzir um processo de avaliação sistemático e reproduzível que qualquer membro da equipe pode executar e interpretar.
Um dos aprendizados mais valiosos que os testes revelaram é que a economia de tokens não é automática. Em um exemplo, a skill de otimização de memória do Jetson reduziu o consumo de tokens de mais de 617 mil para pouco mais de 142 mil, uma queda de quase 77 por cento, além de cortar o tempo de execução pela metade. Por outro lado, uma skill de instalação de outro produto acabou aumentando o consumo de tokens em mais de 120 por cento, revelando uma clara oportunidade de otimização. Ou seja, a ferramenta não só mostra o que funciona, mas também aponta onde ainda há trabalho a ser feito.
Outro ponto que ficou evidente é que o produto importa mais do que o agente. O Skill Lift variou muito mais entre diferentes produtos do que entre os dois ambientes de teste. Enquanto Claude Code e Codex diferem em cerca de cinco pontos na média, o Skill Lift por produto foi de aproximadamente 2 até 46 pontos. Isso mostra que o domínio da tarefa, o desenho da avaliação e a qualidade do conjunto de testes pesam muito mais do que a escolha do ambiente em si.
A NVIDIA também já colocou o SkillEvaluator em prática com parceiros. A OpenClaw está pilotando a ferramenta para organizações oficiais na ClawHub, exibindo os resultados com e sem skill diretamente na interface. Já a Nous Research testou a solução no Hermes Agent, com uma varredura de segurança opcional que verifica dados sensíveis, problemas de licença e outras questões antes da instalação, tudo em cerca de um segundo e meio por skill.
O SkillEvaluator está disponível como projeto open source e representa mais um passo da NVIDIA em direção a um desenvolvimento de inteligência artificial mais transparente, mensurável e eficiente para todos os tipos de equipe. 🚀
