Avaliação de Desempenho do Milvus 2023
Na Zilliz, os desenvolvedores frequentemente nos perguntam: "Como o Milvus se compara às versões anteriores para cargas de trabalho de embeddings?" Há duas razões principais para isso. Primeiro, desenvolvedores que estão iniciando um novo projeto estão ansiosos para usar as versões mais recentes de software para acessar os recursos mais recentes, mas podem estar hesitantes devido a preocupações com degradação de desempenho. Segundo, usuários atuais também podem ter preocupações com desempenho e só farão upgrade se os novos recursos forem atraentes.
Para aliviar essas preocupações, gostaríamos de compartilhar os benchmarks mais recentes realizados no Milvus v2.2.3 vs. Milvus 2.2.0 e Milvus v2.0.0, comparando as latências de busca e o throughput em quatro datasets bem conhecidos (DEPP, GIST, GloVe e SIFT). Os benchmarks mostraram que o Milvus v2.2.3 supera as versões v2.2.0 e v2.0.0, melhorando significativamente as velocidades de busca e indexação. Especificamente, no Milvus 2.2.3, alcançamos uma redução de 2,5x na latência de busca em comparação com a versão original Milvus 2.0.0. Além disso, nossos testes em um ambiente idêntico mostraram um aumento de 4,5x em QPS com o Milvus 2.2.3 em comparação com a versão 2.0.0.
Sentimos que esses dados seriam valiosos para engenheiros que avaliam a adequação da versão mais recente do Milvus para seus casos de uso de busca por similaridade; Baixe o documento técnico "Milvus Performance Evaluation 2023" para ler a Metodologia e os Resultados da Avaliação.
Nosso objetivo principal foi criar uma comparação consistente e atualizada que reflita os desenvolvimentos mais recentes do Milvus. Reexecutaremos periodicamente estes e outros benchmarks de bancos de dados vetoriais e atualizaremos nosso documento técnico detalhado com nossas descobertas. Todo o código desses benchmarks está disponível no Github. Sinta-se à vontade para abrir issues ou pull requests nesse repositório se tiver perguntas, comentários ou sugestões.
Versões testadas
- Milvus v2.2.3 | data de lançamento: 10 de fevereiro de 2023
- Milvus v2.2.2 | data de lançamento: 18 de novembro de 2022
- Milvus v2.0.0 | data de lançamento: 25 de janeiro de 2022
Identificamos as características mais comumente avaliadas para trabalhar com embeddings na construção de uma suíte de benchmarks representativa. Analisamos o desempenho em:
- Latência de consulta – medida em milissegundos
- QOS – consultas por segundo
- Latência vs. Throughput
- Escalabilidade em escala de bilhões
- Escalabilidade em múltiplas réplicas
Sobre o dataset
Além disso, há seis datasets usados para os benchmarks:
- Quatro (4) datasets de ann-benchmarks foram usados para avaliar o desempenho de busca das diferentes versões do Milvus.
- Dois (2) datasets em escala de bilhões (BIGANN e LAION-5B da LAION) foram usados para avaliar a escalabilidade do Milvus 2.2.3.
Resultados
Latência de busca ANN
No Milvus 2.2.3, alcançamos uma redução de 2,5x na latência de busca em comparação com a versão original Milvus 2.0.0.
Latência de busca do Milvus 2.0.0, 2.2.0 e 2.2.3.png
Throughput de busca ANN
Vimos um aumento de 4,5x em QPS com o Milvus 2.2.3 em comparação com a versão 2.0.0.
QPS do Milvus 2.0.0, 2.2.9 e 2.2.3.png
Escala de bilhões
Um cluster Milvus 2.2.3 escalado horizontalmente mostrou pouca degradação de desempenho tanto na latência de busca quanto em QPS.
Latência e QPS de diferentes tamanhos de cluster | Milvus.png
Multi-réplicas (Escalabilidade linear)
O Milvus 2.2.3 demonstrou escalabilidade linear ao usar múltiplas réplicas.
Latência e QPS quando o número de réplicas dobra | Milvus.png
Resumo
Incentivamos fortemente os desenvolvedores a executar estes benchmarks para verificar independentemente os resultados no ambiente e nos conjuntos de dados de sua escolha.
O que vem a seguir?
- Baixe o artigo técnico detalhado: "Avaliação de Desempenho do Milvus 2023."
- Cadastre-se e comece com o Zilliz Cloud.
- Junte-se a nós na Comunidade Slack!
Continue lendo
Build Multimodal Search for 3D Assets with Tripo and Zilliz Cloud
Generate 3D assets with Tripo, then search them by text, image, and metadata with multimodal embeddings and Zilliz Cloud.
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
Expanding Our Global Reach: Zilliz Cloud Launches in Azure Central India
Zilliz Cloud expands to Azure Central India. This new region helps customers meet compliance, reduce latency, and optimize cloud costs when building AI applications.