Como uma grande varejista online indiana escalou a correspondência de produtos com o Milvus
Uso de memória 75% menor
Transferiu embeddings da RAM para o armazenamento de objetos, removendo a memória como um gargalo de escalabilidade.
Tempos de processamento 6x mais rápidos
Correspondência de catálogo reduzida de dias para horas em buscas em larga escala.
~200ms de latência
Ofereceu maior precisão em escala enquanto cumpria metas rigorosas de latência.
Maior Flexibilidade Operacional
O dimensionamento independente de nós elimina reconstruções completas do índice durante atualizações.
Sobre a Empresa
O cliente é uma das maiores plataformas de varejo online da Índia, frequentemente chamada de “Amazon da Índia”, atendendo a um público nacional em categorias como eletrônicos, moda, alimentos e itens essenciais para o lar. Além de seu marketplace voltado ao consumidor, a empresa também opera uma divisão SaaS que oferece soluções de comércio de ponta a ponta para empresas e vendedores online. Um componente essencial dessa oferta é um sistema de inteligência de preços que ajuda varejistas a se manterem competitivos em um mercado em que o preço continua sendo um dos fatores mais fortes na tomada de decisão dos clientes.
No entanto, oferecer suporte a preços precisos e em tempo real em escala nacional trouxe desafios significativos de engenharia. A equipe precisava corresponder produtos em um catálogo digital em constante expansão — crescendo de alguns milhões de SKUs para dezenas de milhões — e atualizá-los diariamente em vários grandes concorrentes, cada um com extensos inventários próprios. Esse crescimento explosivo sobrecarregou a arquitetura existente baseada em palavras-chave e FAISS, elevando os custos de infraestrutura e desacelerando os ciclos de atualização.
Para resolver esses gargalos, a equipe migrou seu pipeline de correspondência de produtos para o Banco de Dados Vetorial Milvus. Com a indexação baseada em disco e a arquitetura distribuída do Milvus, eles reduziram significativamente os tempos de processamento e diminuíram os custos operacionais, possibilitando um sistema mais escalável, sustentável e de alto desempenho para gestão de preços em nível empresarial.
O Desafio: Escalar a Correspondência de Produtos em Nível Empresarial
A plataforma de inteligência de preços da empresa é impulsionada por três módulos principais: inteligência competitiva (rastreamento de preços de concorrentes usando scraping e correspondência de produtos), precificação dinâmica (ajustes orientados por regras com base em sinais de mercado) e inteligência de sortimento (identificação de lacunas no catálogo de um varejista). À medida que a plataforma integrava mais clientes empresariais, o mecanismo de correspondência de produtos que sustentava esses recursos começou a mostrar sinais de sobrecarga.
Os varejistas gerenciavam mais de 20 milhões de SKUs, atualizados diariamente ou até mesmo de hora em hora, enquanto monitoravam 10 ou mais concorrentes. Cada catálogo de concorrente adicionava mais 5 milhões de SKUs para rastrear e comparar, criando uma carga de trabalho que crescia quase exponencialmente.
Além da escala, os próprios dados não estruturados eram desorganizados: imagens de produtos em resoluções inconsistentes, descrições escritas em estilos diferentes e a necessidade de oferecer suporte tanto a correspondências exatas quanto a variantes “suficientemente próximas”.
A precisão também era crítica. Mesmo uma pequena taxa de erro poderia impactar negativamente as recomendações de preços, fazendo com que os varejistas perdessem vendas quando os itens fossem precificados muito alto, perdessem dinheiro quando fossem precificados muito baixo ou ficassem com estoque parado, reduzindo diretamente a receita e corroendo a confiança dos varejistas no sistema.
A otimização de recursos representava outro grande obstáculo. O sistema precisava gerenciar com eficiência recursos computacionais, incluindo CPU, memória e armazenamento para processamento e consulta contínuos de dados em uma enorme escala empresarial.
A arquitetura legada, construída sobre um índice em memória baseado em FAISS em um único servidor, simplesmente não foi projetada para esse nível de crescimento de dados. Os embeddings de concorrentes eram armazenados em disco local e, depois, carregados periodicamente na memória para busca por similaridade. Embora funcional em volumes menores, o design entrava em colapso em escala. O uso de memória disparou — armazenar cerca de 20 milhões de embeddings de 1.024 dimensões exigia quase 400 GB de RAM — fazendo os custos de infraestrutura aumentarem drasticamente. O desempenho também se degradou, com certos trabalhos de processamento de ponta a ponta levando até 12 dias para serem concluídos. Para clientes que esperavam insights competitivos oportunos, o sistema claramente havia atingido seus limites.
Avaliando Caminhos para Escalar e Escolhendo o Milvus
Diante dessas limitações críticas, a equipe de engenharia considerou três caminhos potenciais para enfrentar seus desafios de escalabilidade.
Escalabilidade vertical — migrar para VMs maiores e com muita memória. Embora essa opção pudesse atender temporariamente aos requisitos de desempenho, as limitações físicas da solução rapidamente voltariam a surgir, levando a custos significativamente maiores. Claramente, isso era apenas uma solução paliativa.
Estender o banco de dados SQL deles com funcionalidade de busca vetorial. Do ponto de vista da integração, essa abordagem era atraente, mas a equipe rapidamente percebeu os riscos: sobrecarregar o banco de dados SQL primário poderia desacelerar tanto as operações transacionais quanto as consultas vetoriais, comprometendo a confiabilidade de todo o sistema.
Adotar um banco de dados vetorial dedicado projetado para busca por similaridade em escala. Essa se mostrou a opção mais promissora. A equipe executou benchmarks extensivos em Milvus, Pinecone, Qdrant e Weaviate, testando sua velocidade de inserção, latência de consulta, precisão de filtragem e flexibilidade de implantação. Nessas avaliações, Milvus emergiu como o líder claro.
Por que Milvus: Principais fatores de decisão
Durante a avaliação, Milvus emergiu como a única solução que atendia a todos os requisitos, pois abordava diretamente os desafios de escalabilidade e custo da plataforma. Abaixo estão os principais fatores:
A arquitetura distribuída do Milvus permitiu escalabilidade horizontal e utilização eficiente de recursos, dando à equipe a flexibilidade para lidar com bilhões de embeddings sem superprovisionar a infraestrutura. Além disso, o design ajustável do Milvus permitiu que a equipe de engenharia otimizasse o sistema para atender às demandas exatas de carga de trabalho de suas aplicações.
Um segundo diferencial foi o DiskANN, o algoritmo de indexação baseado em disco do Milvus. Ao reduzir os requisitos de memória em até 75% em comparação com métodos em memória como HNSW, o DiskANN tornou a busca em larga escala não apenas viável, mas também econômica. Combinado com suporte a armazenamento de objetos como S3, isso forneceu à plataforma uma base escalável e acessível.
Por fim, os recursos de pré-filtragem do Milvus se alinharam perfeitamente à estratégia de otimização de busca da equipe, permitindo que eles restringissem os conjuntos de candidatos por categoria, marca ou preço antes de realizar uma busca vetorial. Isso reduziu significativamente o espaço de busca, melhorando tanto o desempenho quanto a precisão.
A solução: Construindo correspondência de produtos em escala com Milvus
Depois de selecionar o Milvus, a equipe de engenharia do cliente projetou uma nova arquitetura otimizada tanto para escala quanto para precisão.
O pipeline começa com a ingestão de dados, em que catálogos de clientes e dados de concorrentes são rastreados e armazenados. Uma camada de normalização então processa dados confusos e não estruturados, como imagens e descrições de produtos inconsistentes, em formatos padronizados. Em seguida, os modelos proprietários de machine learning da equipe, explicitamente treinados em dados de e-commerce, geram vetores de 1024 dimensões com floats de 4 bytes que capturam os principais atributos de cada produto. Esses embeddings são indexados e armazenados no Milvus, onde a busca por similaridade compara embeddings de produtos dos clientes com catálogos de concorrentes usando similaridade de cosseno em um espaço de alta dimensionalidade.
O pipeline de busca segue um processo de várias etapas. Ele começa com a pré-filtragem baseada em atributos estruturados, como categoria, marca e faixa de preço, restringindo o conjunto de candidatos. O Milvus então realiza a busca por similaridade vetorial dentro desse subconjunto filtrado, seguida pelo pós-processamento e pontuação dos resultados. Por fim, um filtro baseado em limiar gera recomendações, com revisão manual aplicada a correspondências de alta confiança. Essa abordagem em camadas equilibra automação e supervisão, garantindo velocidade e precisão em escala empresarial.
Ao adotar o Milvus, a equipe acelerou os ciclos de correspondência de produtos enquanto reduziu significativamente os custos de infraestrutura. Mais importante, estabeleceu uma base preparada para o futuro, capaz de dar suporte a clientes empresariais com catálogos massivos e cenários competitivos altamente dinâmicos.
Os Resultados: Correspondência de Produtos Escalável, Econômica e Precisa
A migração para o Milvus reformulou a forma como a plataforma de inteligência de preços lida com a correspondência de produtos em escala empresarial. O que antes era limitado por restrições de memória, longos ciclos de processamento e operações rígidas tornou-se eficiente, preciso e pronto para escalar com o crescimento empresarial.
Menores Custos de Infraestrutura: A configuração anterior com FAISS exigia carregar todos os embeddings na memória, tornando a escalabilidade cara e impraticável. Ao migrar para o Milvus, a equipe de engenharia do cliente reduziu os requisitos de memória em até 75%, transferindo o armazenamento para buckets S3 e GCP. O que antes era uma barreira de custo agora é uma base sustentável para expansão.
Tempos de Processamento 6x Mais Rápidos: Grandes tarefas de correspondência entre catálogos, que antes se estendiam por 12 dias, agora são concluídas em cerca de 2 dias em 20M de buscas. Embora ainda seja baseado em lotes, essa melhoria de seis vezes garante que a inteligência competitiva permaneça atual o suficiente para orientar decisões de precificação em tempo real.
Maior Precisão em Escala: Para precificação, a precisão é inegociável. O Milvus entregou maior precisão do que alternativas, como HNSW, ao mesmo tempo em que atendeu à meta de latência de ~200ms da equipe para consultas em lote. Ao combinar filtros estruturados (categoria, marca, preço) com busca por similaridade vetorial, a equipe minimizou incompatibilidades custosas e criou confiança em suas recomendações.
Maior Flexibilidade Operacional: Com o Milvus, a equipe não precisa mais de reconstruções completas de índice para lidar com atualizações. Sua arquitetura distribuída permite que nós de consulta, índice e dados escalem de forma independente. Uma integração híbrida com MySQL simplificou ainda mais o fluxo de trabalho, combinando filtragem estruturada com busca vetorial para máxima eficiência.
Conclusão
Para a equipe por trás desta plataforma, uma melhor correspondência de produtos significou mais do que apenas processamento mais rápido — ela criou uma base mais sólida para todo o seu mecanismo de precificação. Ao adotar o Milvus, eles ganharam a capacidade de lidar com catálogos massivos e desorganizados com precisão e a um custo sustentável. Usando DiskANN para indexação, uma arquitetura distribuída auto-hospedada para escala e uma abordagem híbrida integrada aos seus bancos de dados existentes, a equipe construiu um sistema que é ao mesmo tempo prático e resiliente.
Essa mudança permitiu que eles entregassem insights competitivos confiáveis e recomendações de preços nas quais clientes empresariais podem agir com confiança. À medida que os catálogos de e-commerce crescem e a concorrência se intensifica, essa experiência demonstra que bancos de dados vetoriais oferecem uma abordagem prática para alcançar escala e precisão — qualidades que agora são essenciais para se manter competitivo em mercados em rápida evolução.
- Sobre a Empresa
- O Desafio: Escalar a Correspondência de Produtos em Nível Empresarial
- Avaliando Caminhos para Escalar e Escolhendo o Milvus
- A solução: Construindo correspondência de produtos em escala com Milvus
- Os Resultados: Correspondência de Produtos Escalável, Econômica e Precisa
- Conclusão
Conteúdo
Caso de uso
Indústria
Comércio eletrónico