Leanstral: provas formais e agentes de codificação open-source

Leanstral: a base open-source da Mistral para vibe-coding com provas formais

Agentes de codificação alimentados por inteligência artificial já mostraram que conseguem produzir código numa velocidade que seria impensável há poucos anos, mas existe um gargalo que continua atrasando todo mundo: a necessidade de revisão humana. Quanto mais sensível e crítico é o projeto em questão, maior o volume de tempo e conhecimento especializado exigido para garantir que cada linha realmente faz o que promete. Esse é um problema antigo, e até agora a solução mais comum era simplesmente jogar mais horas de trabalho humano em cima do resultado gerado pela máquina, o que obviamente não escala bem.

A visão da Mistral para resolver esse impasse é ambiciosa: criar uma nova geração de agentes de codificação que não apenas executem tarefas, mas que também provem formalmente que suas implementações estão corretas em relação a especificações rigorosas. Em vez de gastar horas depurando lógica gerada por máquina, o humano simplesmente dita o que quer, e o sistema cuida tanto da execução quanto da verificação. O primeiro grande passo nessa direção acaba de ser dado com o lançamento do Leanstral.

O que é o Leanstral e por que ele importa

O Leanstral é o primeiro agente de código open-source projetado especificamente para trabalhar com o Lean 4, um assistente de provas formais capaz de expressar objetos matemáticos complexos, como perfectoid spaces, e especificações de software, como propriedades de fragmentos em Rust. Diferente de outros sistemas de prova existentes que funcionam como wrappers em torno de grandes modelos generalistas ou que focam em problemas matemáticos isolados, o Leanstral foi construído para operar em repositórios formais realistas, aqueles que a gente encontra no dia a dia de projetos sérios de verificação.

A arquitetura por trás dele é esparsa: são 120 bilhões de parâmetros no total, mas apenas 6 bilhões ficam ativos durante a inferência. Isso significa que o modelo consegue ser expressivo o suficiente para lidar com problemas complexos de prova formal sem exigir o tipo de infraestrutura absurda que modelos densos de tamanho equivalente precisariam. O resultado prático é um custo de operação muito menor e uma latência que permite uso interativo real, sem aquela espera eterna que a gente já conhece de modelos pesados.

O modelo está disponível sob licença Apache 2.0, o que significa que qualquer pessoa ou empresa pode baixar, modificar e redistribuir sem restrições comerciais. Além disso, a Mistral prometeu publicar um relatório técnico detalhando a abordagem de treinamento e uma nova suíte de avaliação chamada FLTEval, projetada para mover os benchmarks para além do foco tradicional em matemática de competição.

Três pilares do Leanstral

A Mistral destacou três características centrais do modelo no anúncio oficial:

Aberto e acessível: os pesos do modelo estão disponíveis com licença Apache 2.0. Ele também funciona em modo agente dentro do Mistral Vibe e conta com um endpoint de API gratuito. A equipe também vai liberar o relatório técnico e a suíte de avaliação FLTEval.
Eficiente e poderoso: a arquitetura altamente esparsa foi otimizada para tarefas de engenharia de provas. Ao combinar inferência paralela com o Lean como verificador perfeito, o Leanstral entrega desempenho competitivo contra concorrentes de código fechado com custo muito menor.
Atualizável via MCP: o Leanstral suporta MCPs arbitrários através do Vibe e foi especificamente treinado para alcançar performance máxima com o lean-lsp-mcp, uma ferramenta frequentemente utilizada pela comunidade Lean.

Como o Leanstral funciona na prática

O Lean 4 é uma linguagem de programação e um framework de verificação formal que permite escrever proposições matemáticas e, em seguida, construir provas de que essas proposições são verdadeiras. Ele é usado em projetos acadêmicos de formalização da matemática, como o Mathlib, mas também tem aplicações diretas na verificação de software crítico, como sistemas embarcados, protocolos criptográficos e contratos inteligentes. O problema é que escrever provas em Lean exige um nível de especialização que pouquíssimos desenvolvedores possuem. A curva de aprendizado é íngreme e o processo de construção de uma prova completa pode ser extremamente demorado, mesmo para quem já domina a ferramenta.

Como Implementar as Melhores Ferramentas de IA

Um guia prático para avaliar, comparar e implementar inteligência artificial com clareza — sem desperdício de tempo ou dinheiro.

Pare de contratar ferramentas sem direção. Criamos um método estruturado para decidir qual IA realmente faz sentido para o seu negócio.

Entrega em PDF no seu e-mail · Sem spam · LGPD

🔒 Seus dados são protegidos conforme a LGPD. Você pode descadastrar a qualquer momento.

É exatamente aí que o Leanstral entra. Ele foi treinado com dados específicos do ecossistema Lean 4 para ser capaz de sugerir táticas, completar passos intermediários e até gerar provas inteiras para lemas e teoremas que o usuário está tentando demonstrar. Na prática, isso transforma o fluxo de trabalho de quem usa Lean de algo puramente manual e cerebral em uma colaboração ativa entre o humano e o modelo, onde o Leanstral propõe caminhos e o verificador formal do Lean garante que esses caminhos são matematicamente válidos. Se o modelo sugerir algo incorreto, o próprio Lean rejeita a prova, então existe uma camada de segurança embutida que não depende de confiança cega no modelo.

Outro ponto relevante é a integração nativa com o Mistral Vibe, a plataforma de agentes de codificação da Mistral. Com suporte ao protocolo MCP — o Model Context Protocol — o Leanstral pode ser conectado a pipelines de desenvolvimento existentes e funcionar como uma peça dentro de um fluxo maior de geração e verificação de código. Isso abre possibilidades interessantes, como ter um agente que primeiro gera código funcional e depois invoca o Leanstral para produzir provas de que propriedades específicas desse código são respeitadas.

Avaliação: o benchmark FLTEval

Para refletir a utilidade em cenários realistas de engenharia de provas, a Mistral não optou por avaliar o Leanstral apenas com problemas matemáticos isolados. Em vez disso, eles usaram o projeto FLT (Fermat’s Last Theorem) como base e criaram o benchmark FLTEval, que mede a capacidade do modelo de completar todas as provas formais e definir corretamente novos conceitos matemáticos em cada pull request do projeto. Isso é muito mais representativo do trabalho real que um engenheiro de provas faz no dia a dia.

O Leanstral foi comparado contra os principais agentes de codificação do mercado, incluindo modelos da família Claude — Opus 4.6, Sonnet 4.6 e Haiku 4.5 — e modelos open-source de grande escala como Qwen3.5 397B-A17B, Kimi-K2.5 1T-A32B e GLM5 744B-A40B.

Leanstral contra modelos open-source

O Leanstral-120B-A6B demonstrou uma vantagem de eficiência significativa sobre seus pares open-source, que são muito maiores em termos de parâmetros ativos. Modelos como o GLM5-744B-A40B e o Kimi-K2.5-1T-32B tiveram dificuldade para escalar, com suas pontuações no FLTEval travando em aproximadamente 16.6 e 20.1, respectivamente. O Leanstral superou ambos com apenas um único passe de inferência.

Até mesmo o Qwen3.5-397B-A17B, o competidor open-source mais forte avaliado, precisou de 4 passes para alcançar uma pontuação de 25.4. Em contraste, o Leanstral atingiu 26.3 com metade desse investimento, usando pass@2, e continuou a escalar de forma linear, chegando a 29.3 no mesmo nível de custo.

Leanstral contra a família Claude

Os resultados contra a família Claude são onde a proposta de valor do Leanstral fica mais evidente. Com pass@2, ele alcança 26.3 pontos, superando o Sonnet 4.6 por 2.6 pontos, com um custo de apenas US$ 36 contra US$ 549 do Sonnet. Com pass@16, o Leanstral chega a 31.9 pontos, batendo o Sonnet por 8 pontos confortáveis.

O Claude Opus 4.6 continua sendo o líder em qualidade absoluta, com 39.6 pontos, mas carrega um custo impressionante de US$ 1.650 — isso é 92 vezes mais caro do que rodar o Leanstral. Para contexto, aqui está a tabela completa:

Haiku 4.5: US$ 184 — 23.0 pontos
Sonnet 4.6: US$ 549 — 23.7 pontos
Opus 4.6: US$ 1.650 — 39.6 pontos
Leanstral (pass@1): US$ 18 — 21.9 pontos
Leanstral (pass@2): US$ 36 — 26.3 pontos
Leanstral (pass@4): US$ 72 — 29.3 pontos
Leanstral (pass@8): US$ 145 — 31.0 pontos
Leanstral (pass@16): US$ 290 — 31.9 pontos

Um detalhe importante: nos benchmarks, a Mistral usou o Mistral Vibe como scaffold sem nenhuma modificação específica para a avaliação.

Estudos de caso: o Leanstral em ação

Números de benchmark são ótimos, mas o que realmente conta é como o modelo se comporta em situações do mundo real. A Mistral apresentou dois estudos de caso que ilustram bem as capacidades do Leanstral.

Resolvendo problemas reais de migração no Lean

Quando mudanças que quebram compatibilidade chegam em uma nova versão do Lean, migrar código pode virar uma dor de cabeça gigantesca. A equipe alimentou o Leanstral com uma pergunta real do Proof Assistants Stack Exchange sobre um script que misteriosamente parou de compilar no Lean 4.29.0-rc6, uma versão tão recente que sequer foi usada no treinamento do modelo.

O problema envolvia uma tática rewrite (rw) que subitamente passou a falhar ao tentar fazer matching em padrões envolvendo um alias de tipo simples, originalmente escrito como def T2 := List Bool.

Em vez de chutar uma solução no escuro, o Leanstral foi metódico. Ele construiu código de teste para recriar o ambiente com falha e diagnosticou o problema subjacente relacionado à igualdade definicional. O modelo identificou corretamente que, como def cria uma definição rígida que requer unfolding explícito, ela estava bloqueando ativamente a tática rw de enxergar a estrutura que precisava para fazer o matching.

A correção proposta foi simples e elegante: trocar def por abbrev. Como abbrev cria um alias transparente que é imediatamente definicionalmente igual ao tipo original, a tática rw voltou a conseguir fazer o matching perfeitamente. Além de resolver o problema, o Leanstral explicou o racional por trás da correção de forma clara para o usuário. 👏

Raciocinando sobre programas

No segundo estudo de caso, a equipe copiou definições em Rocq (anteriormente conhecido como Coq) de um curso de Princeton sobre linguagens imperativas e pediu ao Leanstral que convertesse tudo para Lean 4. O modelo fez a conversão com sucesso, incluindo a implementação de notação customizada. Mais impressionante ainda: quando recebeu apenas o enunciado de uma proposição em Rocq, sem a prova, o Leanstral conseguiu traduzir para Lean e então provar propriedades sobre programas nessa linguagem. Esse tipo de capacidade de tradução e raciocínio entre sistemas formais diferentes é extremamente difícil e demonstra um entendimento profundo tanto da semântica quanto da mecânica das provas.

Receba o melhor conteúdo de inovação em seu e-mail

Todas as notícias, dicas, tendências e recursos que você procura entregues na sua caixa de entrada.

Ao assinar a newsletter, você concorda em receber comunicações da Método Viral. A gente se compromete a sempre proteger e respeitar sua privacidade.

O que isso muda para agentes de codificação

O impacto mais significativo do Leanstral talvez não esteja na matemática pura, mas no que ele representa para o futuro dos agentes de codificação. Hoje, a maioria dos agentes de IA que geram código funciona de uma maneira relativamente simples: recebe uma instrução, produz código e torce para que os testes passem. Quando os testes falham, o agente tenta corrigir o problema num ciclo de tentativa e erro. Esse modelo funciona razoavelmente bem para tarefas simples, mas se torna frágil em cenários onde a correção do código é absolutamente crítica.

Introduzir provas formais nesse pipeline muda fundamentalmente a equação, porque o agente deixa de depender apenas de testes empíricos e passa a oferecer garantias matemáticas sobre o comportamento do código. Em vez de ter 95% de cobertura de testes e rezar para que os 5% restantes não escondam um bug catastrófico, o agente pode demonstrar formalmente que certas propriedades são sempre verdadeiras, independente dos inputs.

Com a integração ao Mistral Vibe e o suporte ao protocolo MCP, é possível imaginar workflows onde um agente de codificação gera uma implementação, outro agente traduz os requisitos para especificações formais em Lean 4 e o Leanstral se encarrega de produzir as provas de que a implementação satisfaz essas especificações. Se alguma prova falhar, o sistema sabe exatamente onde está o problema e pode direcionar a correção de forma muito mais precisa do que um simples log de teste quebrado. Esse tipo de pipeline ainda está nos estágios iniciais, mas o fato de todos os componentes já existirem como ferramentas open-source acessíveis é um passo enorme na direção certa.

Como usar o Leanstral agora

O Leanstral já está disponível para uso imediato através de três caminhos:

Mistral Vibe (zero setup): o modelo foi integrado diretamente ao Mistral Vibe para vibe coding e prova imediata, sem precisar configurar nada. Basta usar o comando /leanstral para começar.
API Labs: o modelo pode ser acessado pelo endpoint gratuito ou quase gratuito labs-leanstral-2603. A Mistral está mantendo esse endpoint altamente acessível por um período limitado para coletar feedback realista e dados de observabilidade que vão alimentar a próxima geração de modelos de código verificado.
Download dos pesos: como o modelo tem licença Apache 2.0, qualquer pessoa pode baixar e rodar na própria infraestrutura.

A tendência da especialização em IA

O lançamento do Leanstral também sinaliza uma tendência mais ampla no mercado de modelos de IA: a especialização. Em vez de tentar construir um único modelo que faz tudo de forma mediana, empresas como a Mistral estão investindo em modelos menores, mais eficientes e profundamente especializados em domínios específicos. Os resultados falam por si: com apenas 6 bilhões de parâmetros ativos, o Leanstral supera modelos com dezenas de vezes mais parâmetros ativos em tarefas de engenharia de provas, e faz isso a uma fração do custo.

Para quem acompanha o ecossistema de inteligência artificial, isso é um lembrete de que nem sempre o maior modelo é o melhor modelo. Às vezes, o que realmente faz diferença é ter a ferramenta certa para o problema certo. O Leanstral é um exemplo claro de como essa filosofia pode gerar resultados impressionantes sem exigir recursos computacionais absurdos. E o fato de ser completamente open-source significa que a comunidade pode contribuir, adaptar e construir em cima dessa base, acelerando o caminho para um futuro onde código gerado por IA vem acompanhado de garantias formais de correção 🚀