Uma Perspectiva de Engenharia: Por que o Milvus é uma Opção Convincente para Seus Apps?
Bancos de dados vetoriais são essenciais para o gerenciamento moderno de dados e são predominantes na criação de aplicações que vão desde sistemas de recomendação e chatbots até inteligência artificial geral (AGI) e geração aumentada por recuperação (RAG). Nesse cenário dinâmico, Milvus é o pioneiro, e seu lançamento recente, Milvus 2.3, apresenta inúmeros novos recursos e aprimoramentos empolgantes.
Neste blog, exploraremos o Milvus 2.3 a partir de uma perspectiva de engenharia e compartilharemos insights sobre por que o Milvus 2.3 é uma excelente escolha para novos usuários e usuários existentes a partir de três ângulos cruciais: seleção de banco de dados, experiência de desenvolvimento e confiabilidade do sistema.
Equilibrando desempenho, custo e escalabilidade
Ao selecionar um banco de dados vetorial, a maioria dos usuários considera três fatores principais: desempenho, custo e escalabilidade. A série anterior Milvus 2.x priorizava a escalabilidade, tornando-a adaptável a vários ambientes e capaz de armazenar e pesquisar bilhões de vetores. O Milvus 2.3 dá um passo adiante na otimização de seu escalonamento, permitindo transições perfeitas de milhões para bilhões de vetores, utilizando sua separação de armazenamento e computação nativa da nuvem.
O Milvus 2.3 também oferece aos usuários várias opções de implantação para desempenho e custo, incluindo opções docker de GPU, CPU (ARM64 e x86) e opções Kubernetes (Milvus Operator e Helm).
Usuários que priorizam desempenho podem selecionar o Milvus 2.3 com o docker de GPU, que oferece desempenho de 3 a 10 vezes mais rápido do que a opção de CPU.
Usuários sensíveis a custos podem escolher a opção ARM64 do Milvus, que é mais econômica enquanto mantém um desempenho razoável.
O Milvus 2.3 também oferece suporte a MMap, uma chamada de sistema UNIX que mapeia arquivos e outros objetos na memória, aumentando significativamente a capacidade de dados de uma única máquina com custos reduzidos. Com base em nossos resultados de testes, com o suporte do MMap, o Milvus pode dobrar sua capacidade de dados enquanto limita a degradação de desempenho a menos de 20%. Continuaremos a otimizar esse recurso no próximo Milvus 2.3.1, com o objetivo de expandir a capacidade de dados para até 20 vezes maior do que é atualmente.
Capacitando desenvolvedores com simplicidade
Aplicações modernas exigem mais do que funcionalidades primárias de pesquisa vetorial, como inserção, exclusão e recuperação. Por exemplo, diferentes aplicações exigem diferentes consultas, como consultas vetoriais top-k, consultas baseadas em distância e consultas filtradas por atributos. Além disso, esses apps podem exigir outros métodos para calcular distância vetorial, incluindo a distância euclidiana (L2), produto interno (IP) e similaridade de cosseno (COSINE).
O Milvus 2.3 aprimorou sua API para atender a todos esses requisitos diversificados, tornando o desenvolvimento mais direto. Por exemplo, o novo recurso upsert simplifica o gerenciamento de dados ao combinar inserção e atualizações de dados em uma única linha de código. O índice ScaNN fornece indexação de alto desempenho, oferecendo velocidade de consulta mais rápida do que versões anteriores.
O Milvus também oferece suporte à integração de dados com outros produtos ao fornecer ferramentas de migração e capacidades de captura incremental de dados para simplificar o gerenciamento de dados.
Garantindo estabilidade e disponibilidade em nível de segundos
O Milvus provou ser confiável e disponível para ambientes de produção graças à sua otimização contínua.
A série 2.1.x introduziu a replicação de memória, melhorando significativamente a estabilidade do sistema. A série 2.2.x adicionou recursos de isolamento de falhas para grupos de recursos, aprimorando a resiliência do sistema. Com base nos sucessos das versões anteriores, o Milvus 2.3 introduz o Look Aside Load Balancer, que oferece detecção ainda mais rápida de eventos de nós e garante failover e expansão de recursos em nível de segundos.
O Milvus 2.3 também inclui melhor gerenciamento de memória, upgrades contínuos aprimorados e suporte a um número mais significativo de tabelas em um único cluster, resultando em melhorias adicionais na estabilidade geral do sistema.
Conclusão
Em um cenário de bancos de dados vetoriais em rápida evolução, o Milvus 2.3 se destaca como um farol de excelência. Ele oferece tudo o que os usuários precisam em um banco de dados vetorial moderno: alto desempenho, escalabilidade, disponibilidade, estabilidade e custo-benefício.
À medida que a tecnologia continua a avançar, o Milvus também avança. Continuaremos a otimizar o Milvus incansavelmente e a introduzir recursos de ponta nas próximas versões, como exclusão por expressão, implantação perfeita na nuvem Azure, suporte aprimorado a arrays, otimização de valores padrão/nulos e adição dinâmica de colunas. Fique atento.
Esta jornada não é uma que empreendemos sozinhos. Convidamos toda a comunidade a explorar ativamente o Milvus, compartilhar seus insights e contribuir para a evolução contínua desta tecnologia notável.
Continue lendo
Build Multimodal Search for 3D Assets with Tripo and Zilliz Cloud
Generate 3D assets with Tripo, then search them by text, image, and metadata with multimodal embeddings and Zilliz Cloud.
Introducing Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud
We're announcing the general availability of Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud.
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
Explore DeepSeek-VL2, the open-source MoE vision-language model. Discover its architecture, efficient training pipeline, and top-tier performance.