Zilliz Cloud: Impulsionando a busca vetorial com velocidade de foguete
Recentemente, lançamos a versão mais recente do Zilliz Cloud, apresentando uma série de recursos empolgantes, incluindo uma nova camada gratuita, schema dinâmico e chaves de partição, além de planos de preços mais acessíveis para atender a diversas necessidades de negócios. Também melhoramos significativamente o desempenho, tornando o Zilliz Cloud duas vezes mais rápido que a versão anterior e de três a dez vezes mais rápido que o Milvus e outros bancos de dados vetoriais.
Como engenheiro de software, estou particularmente empolgado com a velocidade meteórica do Zilliz Cloud no processamento de consultas. Neste post, mostrarei o quão rápido é o Zilliz Cloud e o que torna o Zilliz extremamente rápido.
Quão rápido é o Zilliz Cloud?
Antes de demonstrar a velocidade do Zilliz Cloud, precisamos estabelecer o contexto da nossa comparação e as condições específicas que estamos avaliando.
VectorDBBench é uma ferramenta de benchmarking de código aberto que avalia o desempenho de diferentes bancos de dados vetoriais em várias métricas, como QPS, capacidade, throughput e latência, por meio de uma interface intuitiva e fácil de usar.
Usarei o VectorDBBench para comparar o Zilliz Cloud com o Milvus, um banco de dados de código aberto criado pela Zilliz, e outros bancos de dados vetoriais do mercado, incluindo Quadrant Cloud, Pinecone, WeaviateCloud e ElasticCloud.
O Zilliz Cloud supera facilmente o Milvus em 6x
A figura abaixo compara o desempenho do Zilliz Cloud e do Milvus em termos de QPS ao processar um milhão de dados de 768 dimensões com diferentes configurações de recursos de computação e armazenamento. Com base nos resultados, o Zilliz Cloud é pelo menos três vezes mais rápido que o Milvus.
Zilliz Cloud vs. Milvus (conjunto de dados de 1M, 768 Dim)
Ao recuperar 10 milhões de dados de 768 dimensões, o Zilliz Cloud supera o Milvus em seis vezes.
Zilliz Cloud vs. Milvus (conjunto de dados de 10M, 768 Dim)
O Zilliz Cloud é pelo menos 4x mais rápido que outros bancos de dados vetoriais
O Zilliz Cloud também é mais rápido que outros bancos de dados vetoriais. Com base nos resultados de benchmarking, o Zilliz Cloud alcança QPS de 4 a 191 vezes maior que os concorrentes ao recuperar um milhão de dados de 768 dimensões e oferece planos de preços muito mais acessíveis.
Zilliz Cloud vs. outros bancos de dados vetoriais (conjunto de dados de 1M, 768 Dim)
Ao realizar buscas por similaridade em conjuntos de dados maiores, o Zilliz Cloud supera serviços de bancos de dados vetoriais como Pinecone e Quadrant Cloud em 3x em termos de QPS.
Zilliz Cloud vs. outros bancos de dados vetoriais (conjunto de dados de 10M, 768 Dim)
Para mais resultados, confira nossa página de benchmarking.
Por que o Zilliz Cloud é tão rápido
Agora que você leu sobre a velocidade do Zilliz Cloud, é hora de descobrir o que o torna tão rápido.
O Zilliz Cloud tem um mecanismo robusto de indexação vetorial
Bancos de dados vetoriais dependem fortemente de poder computacional, com seus algoritmos de indexação vetorial consumindo a maior parte dos recursos e determinando principalmente o desempenho.
O Zilliz Cloud tem um mecanismo de indexação robusto com poderosas capacidades de computação vetorial. O Glass é a versão de código aberto e liderou os rankings em resultados de testes recentes divulgados pelo ANN-Benchmark. Esta conhecida ferramenta de benchmarking compara o desempenho de diferentes algoritmos em vários conjuntos de dados reais.
Vamos dar uma olhada em dois exemplos. Os diagramas a seguir demonstram os resultados de benchmarking mais recentes do ANN-Benchmark com base em dois datasets diferentes:
gist-960-euclidean: um milhão de vetores de 960 dimensões usando a função de distância euclidiana.fashion-mnist-784-euclidean: 60.000 vetores de 784 dimensões usando a função de distância euclidiana.
Quanto mais alto a curva chega, mais consultas os algoritmos podem processar por segundo. Da mesma forma, quanto mais a curva se estende para a direita, maior recall os algoritmos podem obter.
Resultados do ANN Benchmark (dataset: gist-960-euclidean, k=10)
Resultados do ANN Benchmark (dataset: gist-960-euclidean, k=10)
Com base nos resultados mostrados nos diagramas, Glass (a curva rosa) ficou classificado como o melhor em termos de consultas por segundo e recall. O desempenho excepcional do Glass contribuiu significativamente para a capacidade do Zilliz Cloud de atingir velocidades ultrarrápidas.
Estrutura de código otimizada
Além da robusta capacidade de indexação do Glass, otimizamos a estrutura de código do Zilliz Cloud. Essa otimização inclui a limpeza de caminhos de consulta redundantes, a melhoria do agendamento de mesclagens de consultas e regras de consultas simultâneas, a otimização da estrutura de balanceamento de carga e a substituição/atualização de muitas bibliotecas de terceiros ineficientes e desatualizadas. Todos esses esforços ajudam o Zilliz Cloud a maximizar as capacidades de seu algoritmo de índice e reduzir a sobrecarga.
Também resolvemos vários problemas que anteriormente prejudicavam o desempenho de consulta do Zilliz Cloud. Como resultado, as buscas filtradas por escalares e por vetores com datasets em larga escala agora são significativamente mais rápidas.
AutoIndex do Zilliz Cloud para taxas de recall estáveis
A taxa de recall é um fator crítico para o desempenho do sistema. Uma taxa de recall inadequada levará a resultados de recuperação que não atendem aos requisitos de nossos clientes. No entanto, uma taxa de recall excessivamente alta pode comprometer significativamente o desempenho. Portanto, precisamos de uma taxa de recall estável que equilibre desempenho e precisão, garantindo resultados previsíveis e melhor suporte a vários cenários de produção.
Controlar a taxa de recall é essencial, mas também complicado, porque a taxa de recall pode ser afetada por vários fatores, incluindo o tamanho dos dados, parâmetros de indexação e consulta, distribuição dos dados e até mesmo o tamanho dos resultados topk. A maioria dos sistemas de banco de dados usa uma das duas soluções a seguir para resolver esse problema:
- Permitir que os usuários forneçam parâmetros: flexível, mas desafiador de adotar.
- Fornecer parâmetros empíricos: fácil de usar, mas menos flexível e não consegue controlar com precisão situações com diferentes datasets e requisitos de topk.
O Zilliz Cloud oferece uma solução mais simples e flexível chamada AutoIndex. Ela analisa casos de aplicação prática com base em modelos e personaliza parâmetros para cada solicitação de indexação. Essa abordagem garante uma taxa de recall estável, ao mesmo tempo em que oferece excelente desempenho para atender aos requisitos dos usuários em aplicações práticas.
Resumo
A atualização mais recente do Zilliz Cloud trouxe melhorias marcantes em funcionalidade e desempenho. Ele agora conta com velocidade de foguete ao lidar com buscas vetoriais massivas, superando significativamente outros bancos de dados vetoriais.
Começando com o Zilliz Cloud
- Comece gratuitamente com o novo Starter Plan! Um ótimo plano para começar sem complicações de instalação e que não exige cartão de crédito!
- Ou comece seu teste gratuito de 30 dias do plano Standard com $100 em créditos no registro e a oportunidade de ganhar até $200 em créditos no total.
- Aprofunde-se na documentação do Zilliz Cloud.
- Confira o guia sobre migração do Milvus para o Zilliz Cloud.
Continue lendo
Why and How to Migrate from Self-Hosted Milvus to Zilliz Cloud
A simple, step-by-step guide to migrating from Milvus to Zilliz Cloud. Learn both endpoint and backup methods for a smooth, scalable vector database migration.
Announcing VDBBench 1.0: Open-Source VectorDB Benchmarking with Your Real-World Production Workloads
Discover VDBBench 1.0, an open-source tool for benchmarking vector databases with real-world production data, streaming ingestion, and concurrent workloads.
Zilliz Named "Highest Performer" and "Easiest to Use" in G2's Summer 2025 Grid® Report for Vector Databases
Zilliz shines in G2's Summer 2025 Grid® Report as both "Highest Performer" and "Easiest to Use," solving the performance-usability dilemma.