Memory Scaling: como a Databricks prova que agentes de IA ficam melhores ao acumular memória
Memory Scaling é um dos conceitos mais interessantes que surgiram no ecossistema de agentes de IA nos últimos tempos. A Databricks acaba de publicar resultados experimentais que mostram como agentes de IA podem melhorar de forma consistente conforme acumulam memória, e os números são bem convincentes. 📊
Mas aqui está o ponto que torna tudo isso mais fascinante: mais memória, por si só, não garante nada. Guardar muita coisa não significa usar bem o que foi guardado, e esse é exatamente o desafio que a Databricks decidiu enfrentar de frente com seus experimentos mais recentes.
Durante muito tempo, o debate em torno de AI Agents girou quase que exclusivamente em torno de modelos mais potentes, prompts mais inteligentes ou mais capacidade de raciocínio durante a inferência. O que a Databricks está propondo agora é um eixo diferente: e se o agente ficasse melhor simplesmente com o uso? Não por retreinamento, não por ajustes manuais, mas porque ele aprende com conversas reais, feedbacks de usuários e contexto organizacional acumulado ao longo do tempo. 🤖
É uma virada de chave importante, especialmente para quem trabalha com IA em ambientes corporativos, onde o conhecimento tácito é abundante e um único agente pode servir centenas de pessoas com necessidades completamente diferentes. Nos próximos tópicos, a gente mergulha nos experimentos, nos tipos de memória que realmente importam, na infraestrutura necessária e no que tudo isso significa para o futuro dos agentes que já usamos no dia a dia.
O que é Memory Scaling e por que ele importa tanto
Memory Scaling é a propriedade de que a performance de um agente de IA melhora à medida que sua memória externa cresce. Aqui, memória não se refere aos pesos do modelo ou à janela de contexto atual, mas a um armazenamento persistente de informações que o agente pode consultar durante a inferência. Pense nisso como a diferença entre alguém que precisa decorar tudo de cabeça e alguém que tem um caderno de anotações organizado e sabe exatamente onde procurar cada informação.
Esse conceito se posiciona como um eixo complementar ao parametric scaling, que é basicamente treinar modelos cada vez maiores, e ao inference-time scaling, que envolve dar mais tempo e recursos para o modelo raciocinar durante a geração de respostas. O Memory Scaling aborda lacunas de conhecimento de domínio e fundamentação que nem o tamanho do modelo nem a capacidade de raciocínio conseguem preencher sozinhos.
E os benefícios vão além da qualidade das respostas. Quando um agente já memorizou os esquemas relevantes, as regras de domínio ou as ações bem-sucedidas de interações passadas, ele pode pular explorações redundantes e resolver consultas mais rápido. Nos experimentos da Databricks, os ganhos apareceram tanto em acurácia quanto em eficiência, o que é particularmente relevante para quem se preocupa com custos operacionais de IA.
Como ele se diferencia do aprendizado contínuo
Uma dúvida natural é: isso não é a mesma coisa que continual learning? Na verdade, não. O aprendizado contínuo foca em atualizar os parâmetros do modelo ao longo do tempo, o que funciona bem em cenários limitados mas se torna computacionalmente caro e frágil quando existem muitos usuários simultâneos, múltiplos agentes e projetos que mudam rapidamente.
O Memory Scaling faz uma pergunta diferente: um agente com milhares de usuários performa melhor do que um com um único usuário? Ao expandir o estado externo compartilhado do agente enquanto mantém os pesos do LLM congelados, a resposta pode ser sim. Um padrão de workflow aprendido com um usuário pode ser recuperado e aplicado para outro imediatamente, sem nenhum retreinamento. Essa é uma propriedade que o aprendizado contínuo, focado em atualizações de parâmetros para um único usuário, simplesmente não foi projetado para oferecer.
Como ele se diferencia do contexto longo
Janelas de contexto grandes podem parecer um substituto para memória, mas elas resolvem problemas diferentes. Enfiar milhões de tokens brutos em um prompt aumenta a latência, eleva os custos computacionais e degrada a qualidade do raciocínio, já que tokens irrelevantes competem por atenção. O Memory Scaling usa recuperação seletiva, decidindo não apenas quanto contexto incluir, mas o que incluir, trazendo à tona apenas as informações de alto sinal relevantes para a tarefa atual.
Os tipos de memória que realmente fazem diferença
Nem toda memória tem o mesmo peso dentro de um sistema de AI Agents. A Databricks identificou duas distinções fundamentais que importam na prática:
- E-BOOK GRATUITO
Um guia prático para avaliar, comparar e implementar inteligência artificial com clareza — sem desperdício de tempo ou dinheiro.
Pare de contratar ferramentas sem direção. Criamos um método estruturado para decidir qual IA realmente faz sentido para o seu negócio.
Entrega em PDF no seu e-mail · Sem spam · LGPD
🔒 Seus dados são protegidos conforme a LGPD. Você pode descadastrar a qualquer momento.
Memória episódica versus memória semântica
A memória episódica consiste em registros brutos de interações passadas: logs de conversas, trajetórias de chamadas de ferramentas e feedback de usuários. Já a memória semântica são habilidades generalizadas e fatos destilados a partir dessas interações. Por exemplo, uma memória semântica pode registrar que os usuários de determinado espaço sempre se referem a trimestre fiscal quando dizem apenas trimestre. Cada tipo exige estratégias diferentes de armazenamento, processamento e recuperação: memórias episódicas para recuperação direta e memórias semânticas destiladas por um LLM para correspondência de padrões mais ampla.
Memória pessoal versus memória organizacional
Algumas memórias são específicas das preferências e fluxos de trabalho de um único usuário. Outras representam conhecimento organizacional compartilhado, como convenções de nomenclatura, consultas comuns e regras de negócio. O sistema de memória precisa direcionar a recuperação e as atualizações de forma adequada: compartilhar o conhecimento organizacional amplamente enquanto mantém o contexto individual privado, respeitando permissões e controles de acesso. Esse equilíbrio entre personalização e privacidade é um dos desafios mais delicados da arquitetura.
O que os experimentos da Databricks mostram na prática
A Databricks utilizou o MemAlign, um framework de memória para agentes de IA, para conduzir seus experimentos. O MemAlign armazena interações passadas como memórias episódicas, usa um LLM para destilá-las em regras e padrões generalizados (memórias semânticas) e recupera as entradas mais relevantes durante a inferência para orientar o agente.
Os testes foram realizados no Databricks Genie Spaces, uma interface de linguagem natural onde usuários de negócios fazem perguntas sobre dados em inglês simples e recebem respostas baseadas em SQL. O objetivo era medir como a performance do agente escala conforme ele recebe mais memória, usando duas fontes de dados: exemplos curados com rótulos e logs brutos de conversas de usuários.
Escalando com dados rotulados
O MemAlign foi avaliado em perguntas inéditas distribuídas por 10 Genie Spaces, adicionando incrementalmente fragmentos de exemplos anotados de treinamento à memória do agente. A linha de base era um agente usando instruções Genie curadas por especialistas, com esquemas de tabelas escritos manualmente, regras de domínio e exemplos few-shot.
Os resultados mostraram escala consistente em duas dimensões:
- Acurácia: Os scores de teste aumentaram de forma constante com cada fragmento adicional de memória, subindo de quase zero para 70%, superando a linha de base curada por especialistas em aproximadamente 5%. Na análise, os dados rotulados por humanos se mostraram mais abrangentes e, portanto, mais úteis do que esquemas de tabelas e regras de domínio escritos manualmente.
- Eficiência: O número médio de passos de raciocínio por exemplo caiu de aproximadamente 20 para cerca de 5 conforme a memória cresceu. O agente aprendeu a recuperar contexto relevante diretamente em vez de explorar o banco de dados do zero, se aproximando da eficiência de instruções hardcoded, que giravam em torno de 3,8 passos.
O efeito é cumulativo: como as amostras memorizadas abrangem 10 Genie Spaces diferentes, cada fragmento contribui com informações cross-domain que se somam ao conhecimento já acumulado.
Escalando com logs de usuários sem rótulos
A pergunta seguinte foi: a memória pode escalar com dados ruidosos do mundo real? Para descobrir, a equipe executou o MemAlign em um Genie Space ao vivo e alimentou-o com logs históricos de conversas de usuários, sem respostas de referência. Um juiz LLM filtrou esses logs por utilidade, e apenas os de alta qualidade foram memorizados.
A curva de escala seguiu um padrão similar, com um início ainda mais acentuado:
- Acurácia: O agente mostrou um ganho inicial abrupto. Após o primeiro fragmento de logs, ele extraiu informações-chave sobre tabelas relevantes e preferências implícitas dos usuários. A performance subiu de 2,5% para mais de 50%, superando a linha de base curada por especialistas (33,0%) depois de apenas 62 registros de log.
- Eficiência: Os passos de raciocínio caíram de aproximadamente 19 para cerca de 4,3 após o primeiro fragmento e se mantiveram estáveis. O agente internalizou o esquema do espaço cedo e evitou exploração redundante nas consultas seguintes.
A conclusão é clara: interações de usuários sem curadoria, filtradas apenas por um juiz automatizado sem referência, podem substituir instruções de domínio criadas manualmente, que são custosas e demoradas. Isso aponta para agentes que melhoram continuamente a partir do uso normal e podem escalar além das limitações da anotação humana. 🔄
Organizational Knowledge Store: conhecimento que já existia antes do primeiro usuário
Os experimentos acima mostram como o Memory Scaling acontece com interações de usuários. Mas empresas também possuem conhecimento que precede qualquer interação: esquemas de tabelas, queries de dashboards, glossários de negócios e documentação interna. A Databricks testou se pré-computar esse conhecimento organizacional em um armazenamento de memória estruturado poderia melhorar a performance do agente.
O pipeline processa metadados brutos de bancos de dados em conhecimento recuperável em três estágios: extração de informações sobre ativos, enriquecimento de ativos via transformações adicionais e indexação do conteúdo enriquecido. No momento da consulta, o agente pode buscar contexto empresarial via busca por palavras-chave ou navegação hierárquica. Isso faz a ponte entre como os usuários de negócios formulam perguntas, por exemplo consumo de IA, e como os dados estão realmente armazenados em nomes de colunas específicas em tabelas específicas.
Adicionar o knowledge store melhorou a acurácia em aproximadamente 10% nos dois benchmarks avaliados. Os ganhos se concentraram em perguntas que exigiam ponte de vocabulário, joins de tabelas e conhecimento em nível de coluna, ou seja, informações que o agente não poderia ter descoberto apenas pela exploração de esquemas.
Do ponto de vista competitivo, isso muda bastante a equação. Empresas que investem cedo nesse tipo de infraestrutura de memória não estão apenas comprando um agente mais inteligente hoje. Estão construindo uma vantagem acumulativa que cresce com o tempo. Quanto mais o agente é usado, mais ele aprende. Quanto mais ele aprende, mais útil ele se torna. E quanto mais útil ele se torna, mais as pessoas o utilizam, criando um ciclo virtuoso que é difícil de replicar.
A infraestrutura necessária para que tudo funcione em produção
Memory Scaling em deployments corporativos exige uma infraestrutura robusta que vai muito além de um simples vector store. A Databricks identificou três desafios centrais que essa infraestrutura precisa endereçar.
Armazenamento escalável
O armazenamento de memória mais simples é o sistema de arquivos: arquivos markdown em pastas hierárquicas, navegados e pesquisados com ferramentas padrão de terminal. Isso funciona bem em pequena escala e para usuários individuais, mas carece de indexação, consultas estruturadas e busca eficiente por similaridade. Conforme a memória cresce para milhares de entradas em múltiplos usuários, a recuperação degrada e a governança se torna difícil de aplicar.
Bancos de dados dedicados são o passo natural seguinte. Bancos vetoriais standalone lidam bem com busca semântica, mas carecem de capacidades relacionais como joins e filtragem. Sistemas modernos baseados em PostgreSQL oferecem uma alternativa mais unificada, suportando nativamente consultas estruturadas, busca full-text e busca por similaridade vetorial em um único motor.
A Databricks tem utilizado o Lakebase, construído sobre o motor PostgreSQL serverless da Neon, graças ao seu custo scale-to-zero e suporte tanto para busca vetorial quanto exata. O branching nativo de banco de dados também simplifica o ciclo de desenvolvimento, permitindo que engenheiros façam fork do estado da memória do agente para testes sem afetar a produção.
Gerenciamento de memória
Armazenamento escalável sozinho não basta. Um sistema de memória também precisa gerenciar seus conteúdos de forma ativa:
- Bootstrapping: Novos agentes sofrem de problemas de cold-start. Ingerir ativos empresariais existentes como wikis, documentação e guias internos por meio de parsing e extração fornece uma base de memória inicial que alivia esses problemas.
- Destilação: Memórias episódicas brutas são úteis para recuperação direta, mas se tornam caras de armazenar e buscar em escala. Destilá-las periodicamente em memórias semânticas, que são regras e padrões comprimidos, mantém o armazenamento tratável e fornece insights generalizáveis ao agente.
- Consolidação: Conforme a memória cresce, é fundamental manter o sistema consistente, compacto e atualizado. Isso requer pipelines que removem duplicatas, podam informações desatualizadas e resolvem conflitos entre entradas antigas e novas.
Segurança e governança
Memória introduz requisitos de governança que simplesmente não existem para agentes stateless. Conforme agentes acumulam conhecimento profundamente contextual, incluindo preferências de usuários, workflows proprietários e padrões de dados internos, os mesmos princípios de governança que se aplicam a dados corporativos precisam se estender à memória do agente.
Controles de acesso precisam ser identity-aware: memórias individuais devem permanecer privadas, enquanto conhecimento organizacional pode ser compartilhado dentro de limites controlados por acesso. Além do controle de acesso, data lineage e auditabilidade importam. Quando o comportamento de um agente é moldado pela sua memória, as equipes precisam rastrear quais memórias influenciaram uma resposta específica e quando essas memórias foram criadas ou atualizadas. Requisitos de compliance e regulatórios, particularmente em indústrias reguladas, exigem que os armazenamentos de memória suportem as mesmas garantias de observabilidade que os dados subjacentes.
Os obstáculos que ainda precisam ser superados
Todo eixo de escala eventualmente encontra seu próprio gargalo. O parametric scaling é limitado pela oferta de dados de treinamento de alta qualidade. O inference-time scaling pode degenerar em overthinking, onde cadeias mais longas de raciocínio adicionam custo sem adicionar sinal. O Memory Scaling tem limites análogos, centrados em qualidade, escopo e acesso.
Receba o melhor conteúdo de inovação em seu e-mail
Todas as notícias, dicas, tendências e recursos que você procura entregues na sua caixa de entrada.
Ao assinar a newsletter, você concorda em receber comunicações da Método Viral. A gente se compromete a sempre proteger e respeitar sua privacidade.
A qualidade da memória é difícil de manter. Algumas memórias estão erradas desde o início; outras se tornam erradas ao longo do tempo. Um agente stateless comete erros isolados, mas um agente com memória pode transformar um erro em um erro recorrente ao armazená-lo e recuperá-lo depois como evidência. A Databricks relatou casos de agentes que citaram notebooks de execuções anteriores que já estavam errados, e reutilizaram esses resultados com ainda mais confiança. A obsolescência é mais sutil: um agente que aprendeu o esquema do trimestre passado pode continuar consultando tabelas que já foram renomeadas ou deletadas.
A governança precisa se estender à destilação. Escalar memória dentro de uma organização requer destilar interações repetidas em memórias semânticas reutilizáveis. Mas a abstração não remove a sensibilidade. Uma memória como para a empresa Y, faça join das tabelas CRM, inteligência de mercado e parcerias pode parecer inofensiva enquanto ainda revela interesse confidencial em aquisição. Controles de acesso e rótulos de sensibilidade precisam sobreviver à destilação, não apenas à ingestão.
Memórias úteis podem permanecer inacessíveis. Mesmo que a memória seja precisa e atual, o agente ainda precisa descobrir que ela existe. A recuperação é inerentemente metacognitiva: o agente precisa decidir o que perguntar ao seu armazenamento de memória antes de saber o que tem lá. Quando ele não antecipa que uma memória relevante poderia ajudar, ele nunca formula a consulta certa e recai na exploração lenta e redundante. Na prática, a lacuna entre conhecimento armazenado e conhecimento acessível pode ser o principal limitador do Memory Scaling.
O agente como memória: a visão de futuro da Databricks
Os experimentos e a infraestrutura descritos acima apontam para um padrão de design natural: um agente cuja identidade vive na sua memória, não nos pesos do seu modelo.
Nesse design, o contexto do agente é construído a partir de um armazenamento persistente hospedado em um banco de dados serverless como o Lakebase. O armazenamento contém três componentes: prompts de sistema e capacidades do agente (habilidades), ativos empresariais estruturados e não estruturados (conhecimento), e memórias episódicas e semânticas escopadas nos níveis da organização e do usuário. Juntos, esses componentes formam o estado do agente: instruções, documentos recuperados, memórias relevantes, resultados de execução de queries SQL, chamadas de API e outras ferramentas, além do histórico de conversa. Esse estado é alimentado ao LLM a cada passo e atualizado após cada interação.
O LLM em si é um motor de raciocínio substituível: fazer upgrade para um modelo mais novo é direto, já que o novo modelo lê do mesmo armazenamento persistente e imediatamente se beneficia de todo o contexto acumulado.
Conforme os modelos de fundação convergem em capacidade, o diferenciador para agentes corporativos será cada vez mais que memória eles acumularam e não qual modelo eles chamam. Hipoteticamente, um modelo menor com um armazenamento de memória rico pode superar um modelo maior com menos memória. Se isso se confirmar, investir em infraestrutura de memória pode gerar retornos maiores do que escalar parâmetros de modelo. Conhecimento de domínio, preferências de usuário e padrões operacionais específicos da sua organização não estão em nenhum modelo de fundação. Eles só podem ser construídos através do uso, e diferentemente das capacidades do modelo, são únicos para cada deployment.
O que muda na prática para quem usa IA no dia a dia
Para quem já trabalha com ferramentas baseadas em AI Agents no cotidiano, os experimentos da Databricks apontam para uma mudança de perspectiva importante: o agente não deve ser tratado como uma ferramenta estática que entrega sempre o mesmo resultado independente do contexto, mas como um sistema que evolui e precisa ser alimentado para melhorar. Isso muda a forma como as equipes interagem com ele, a forma como os feedbacks são coletados e a forma como as organizações pensam a governança dessas ferramentas.
Do lado da performance, os ganhos documentados são encorajadores, mas dependem de uma implementação cuidadosa. Simplesmente ligar um mecanismo de memória não é suficiente. A qualidade da memória, a forma como ela é recuperada e o quanto o modelo consegue integrá-la de forma coerente nas respostas são fatores que determinam se o Memory Scaling vai, de fato, entregar os resultados prometidos.
No fim das contas, o que a Databricks está sinalizando com esses experimentos é que o próximo grande salto em qualidade para AI Agents pode não vir de modelos maiores ou de mais poder computacional durante a inferência, mas de sistemas que acumulam contexto de forma inteligente e aprendem com o próprio uso ao longo do tempo. É uma abordagem mais parecida com o jeito que humanos desenvolvem expertise do que com o modelo tradicional de IA que a maioria das pessoas tem em mente, e isso, por si só, já é uma mudança de paradigma que vale acompanhar de perto. 🚀
