Avaliação de Desempenho do Milvus 2023
Na Zilliz, os desenvolvedores frequentemente nos perguntam: "Como o Milvus se compara às versões anteriores para cargas de trabalho de embeddings?" Há duas razões principais para isso. Primeiro, desenvolvedores que estão iniciando um novo projeto estão ansiosos para usar as versões mais recentes de software para acessar os recursos mais recentes, mas podem estar hesitantes devido a preocupações com degradação de desempenho. Segundo, usuários atuais também podem ter preocupações com desempenho e só farão upgrade se os novos recursos forem atraentes.
Para aliviar essas preocupações, gostaríamos de compartilhar os benchmarks mais recentes realizados no Milvus v2.2.3 vs. Milvus 2.2.0 e Milvus v2.0.0, comparando as latências de busca e o throughput em quatro datasets bem conhecidos (DEPP, GIST, GloVe e SIFT). Os benchmarks mostraram que o Milvus v2.2.3 supera as versões v2.2.0 e v2.0.0, melhorando significativamente as velocidades de busca e indexação. Especificamente, no Milvus 2.2.3, alcançamos uma redução de 2,5x na latência de busca em comparação com a versão original Milvus 2.0.0. Além disso, nossos testes em um ambiente idêntico mostraram um aumento de 4,5x em QPS com o Milvus 2.2.3 em comparação com a versão 2.0.0.
Sentimos que esses dados seriam valiosos para engenheiros que avaliam a adequação da versão mais recente do Milvus para seus casos de uso de busca por similaridade; Baixe o documento técnico "Milvus Performance Evaluation 2023" para ler a Metodologia e os Resultados da Avaliação.
Nosso objetivo principal foi criar uma comparação consistente e atualizada que reflita os desenvolvimentos mais recentes do Milvus. Reexecutaremos periodicamente estes e outros benchmarks de bancos de dados vetoriais e atualizaremos nosso documento técnico detalhado com nossas descobertas. Todo o código desses benchmarks está disponível no Github. Sinta-se à vontade para abrir issues ou pull requests nesse repositório se tiver perguntas, comentários ou sugestões.
Versões testadas
- Milvus v2.2.3 | data de lançamento: 10 de fevereiro de 2023
- Milvus v2.2.2 | data de lançamento: 18 de novembro de 2022
- Milvus v2.0.0 | data de lançamento: 25 de janeiro de 2022
Identificamos as características mais comumente avaliadas para trabalhar com embeddings na construção de uma suíte de benchmarks representativa. Analisamos o desempenho em:
- Latência de consulta – medida em milissegundos
- QOS – consultas por segundo
- Latência vs. Throughput
- Escalabilidade em escala de bilhões
- Escalabilidade em múltiplas réplicas
Sobre o dataset
Além disso, há seis datasets usados para os benchmarks:
- Quatro (4) datasets de ann-benchmarks foram usados para avaliar o desempenho de busca das diferentes versões do Milvus.
- Dois (2) datasets em escala de bilhões (BIGANN e LAION-5B da LAION) foram usados para avaliar a escalabilidade do Milvus 2.2.3.
Resultados
Latência de busca ANN
No Milvus 2.2.3, alcançamos uma redução de 2,5x na latência de busca em comparação com a versão original Milvus 2.0.0.
Latência de busca do Milvus 2.0.0, 2.2.0 e 2.2.3.png
Throughput de busca ANN
Vimos um aumento de 4,5x em QPS com o Milvus 2.2.3 em comparação com a versão 2.0.0.
QPS do Milvus 2.0.0, 2.2.9 e 2.2.3.png
Escala de bilhões
Um cluster Milvus 2.2.3 escalado horizontalmente mostrou pouca degradação de desempenho tanto na latência de busca quanto em QPS.
Latência e QPS de diferentes tamanhos de cluster | Milvus.png
Multi-réplicas (Escalabilidade linear)
O Milvus 2.2.3 demonstrou escalabilidade linear ao usar múltiplas réplicas.
Latência e QPS quando o número de réplicas dobra | Milvus.png
Resumo
Incentivamos fortemente os desenvolvedores a executar estes benchmarks para verificar independentemente os resultados no ambiente e nos conjuntos de dados de sua escolha.
O que vem a seguir?
- Baixe o artigo técnico detalhado: "Avaliação de Desempenho do Milvus 2023."
- Cadastre-se e comece com o Zilliz Cloud.
- Junte-se a nós na Comunidade Slack!
Continue lendo
Announcing the General Availability of Single Sign-On (SSO) on Zilliz Cloud
SSO is GA on Zilliz Cloud, delivering the enterprise-grade identity management capabilities your teams need to deploy vectorDB with confidence.
AI Agents Are Quietly Transforming E-Commerce — Here’s How
Discover how AI agents transform e-commerce with autonomous decision-making, enhanced product discovery, and vector search capabilities for today's retailers.
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
Explore DeepSeek-VL2, the open-source MoE vision-language model. Discover its architecture, efficient training pipeline, and top-tier performance.