Avaliação de Desempenho do Milvus 2023

Mar 18, 20232 min read

Na Zilliz, os desenvolvedores frequentemente nos perguntam: "Como o Milvus se compara às versões anteriores para cargas de trabalho de embeddings?" Há duas razões principais para isso. Primeiro, desenvolvedores que estão iniciando um novo projeto estão ansiosos para usar as versões mais recentes de software para acessar os recursos mais recentes, mas podem estar hesitantes devido a preocupações com degradação de desempenho. Segundo, usuários atuais também podem ter preocupações com desempenho e só farão upgrade se os novos recursos forem atraentes.

Para aliviar essas preocupações, gostaríamos de compartilhar os benchmarks mais recentes realizados no Milvus v2.2.3 vs. Milvus 2.2.0 e Milvus v2.0.0, comparando as latências de busca e o throughput em quatro datasets bem conhecidos (DEPP, GIST, GloVe e SIFT). Os benchmarks mostraram que o Milvus v2.2.3 supera as versões v2.2.0 e v2.0.0, melhorando significativamente as velocidades de busca e indexação. Especificamente, no Milvus 2.2.3, alcançamos uma redução de 2,5x na latência de busca em comparação com a versão original Milvus 2.0.0. Além disso, nossos testes em um ambiente idêntico mostraram um aumento de 4,5x em QPS com o Milvus 2.2.3 em comparação com a versão 2.0.0.

Sentimos que esses dados seriam valiosos para engenheiros que avaliam a adequação da versão mais recente do Milvus para seus casos de uso de busca por similaridade; Baixe o documento técnico "Milvus Performance Evaluation 2023" para ler a Metodologia e os Resultados da Avaliação.

Nosso objetivo principal foi criar uma comparação consistente e atualizada que reflita os desenvolvimentos mais recentes do Milvus. Reexecutaremos periodicamente estes e outros benchmarks de bancos de dados vetoriais e atualizaremos nosso documento técnico detalhado com nossas descobertas. Todo o código desses benchmarks está disponível no Github. Sinta-se à vontade para abrir issues ou pull requests nesse repositório se tiver perguntas, comentários ou sugestões.

Versões testadas

Identificamos as características mais comumente avaliadas para trabalhar com embeddings na construção de uma suíte de benchmarks representativa. Analisamos o desempenho em:

  • Latência de consulta – medida em milissegundos
  • QOS – consultas por segundo
  • Latência vs. Throughput
  • Escalabilidade em escala de bilhões
  • Escalabilidade em múltiplas réplicas

Sobre o dataset

Além disso, há seis datasets usados para os benchmarks:

  • Quatro (4) datasets de ann-benchmarks foram usados para avaliar o desempenho de busca das diferentes versões do Milvus.
  • Dois (2) datasets em escala de bilhões (BIGANN e LAION-5B da LAION) foram usados para avaliar a escalabilidade do Milvus 2.2.3.

Resultados

Latência de busca ANN

No Milvus 2.2.3, alcançamos uma redução de 2,5x na latência de busca em comparação com a versão original Milvus 2.0.0. Latência de busca do Milvus 2.0.0, 2.2.0 e 2.2.3.png Latência de busca do Milvus 2.0.0, 2.2.0 e 2.2.3.png

Throughput de busca ANN

Vimos um aumento de 4,5x em QPS com o Milvus 2.2.3 em comparação com a versão 2.0.0. QPS do Milvus 2.0.0, 2.2.9 e 2.2.3.png QPS do Milvus 2.0.0, 2.2.9 e 2.2.3.png

Escala de bilhões

Um cluster Milvus 2.2.3 escalado horizontalmente mostrou pouca degradação de desempenho tanto na latência de busca quanto em QPS. Latência e QPS de diferentes tamanhos de cluster | Milvus.png Latência e QPS de diferentes tamanhos de cluster | Milvus.png

Multi-réplicas (Escalabilidade linear)

O Milvus 2.2.3 demonstrou escalabilidade linear ao usar múltiplas réplicas. Latência e QPS quando o número de réplicas dobra | Milvus.png Latência e QPS quando o número de réplicas dobra | Milvus.png

Resumo

Incentivamos fortemente os desenvolvedores a executar estes benchmarks para verificar independentemente os resultados no ambiente e nos conjuntos de dados de sua escolha.

O que vem a seguir?

Atualizado em Jul 09, 2026