Uma Perspectiva de Engenharia: Por que o Milvus é uma Opção Convincente para Seus Apps?
Bancos de dados vetoriais são essenciais para o gerenciamento moderno de dados e são predominantes na criação de aplicações que vão desde sistemas de recomendação e chatbots até inteligência artificial geral (AGI) e geração aumentada por recuperação (RAG). Nesse cenário dinâmico, Milvus é o pioneiro, e seu lançamento recente, Milvus 2.3, apresenta inúmeros novos recursos e aprimoramentos empolgantes.
Neste blog, exploraremos o Milvus 2.3 a partir de uma perspectiva de engenharia e compartilharemos insights sobre por que o Milvus 2.3 é uma excelente escolha para novos usuários e usuários existentes a partir de três ângulos cruciais: seleção de banco de dados, experiência de desenvolvimento e confiabilidade do sistema.
Equilibrando desempenho, custo e escalabilidade
Ao selecionar um banco de dados vetorial, a maioria dos usuários considera três fatores principais: desempenho, custo e escalabilidade. A série anterior Milvus 2.x priorizava a escalabilidade, tornando-a adaptável a vários ambientes e capaz de armazenar e pesquisar bilhões de vetores. O Milvus 2.3 dá um passo adiante na otimização de seu escalonamento, permitindo transições perfeitas de milhões para bilhões de vetores, utilizando sua separação de armazenamento e computação nativa da nuvem.
O Milvus 2.3 também oferece aos usuários várias opções de implantação para desempenho e custo, incluindo opções docker de GPU, CPU (ARM64 e x86) e opções Kubernetes (Milvus Operator e Helm).
Usuários que priorizam desempenho podem selecionar o Milvus 2.3 com o docker de GPU, que oferece desempenho de 3 a 10 vezes mais rápido do que a opção de CPU.
Usuários sensíveis a custos podem escolher a opção ARM64 do Milvus, que é mais econômica enquanto mantém um desempenho razoável.
O Milvus 2.3 também oferece suporte a MMap, uma chamada de sistema UNIX que mapeia arquivos e outros objetos na memória, aumentando significativamente a capacidade de dados de uma única máquina com custos reduzidos. Com base em nossos resultados de testes, com o suporte do MMap, o Milvus pode dobrar sua capacidade de dados enquanto limita a degradação de desempenho a menos de 20%. Continuaremos a otimizar esse recurso no próximo Milvus 2.3.1, com o objetivo de expandir a capacidade de dados para até 20 vezes maior do que é atualmente.
Capacitando desenvolvedores com simplicidade
Aplicações modernas exigem mais do que funcionalidades primárias de pesquisa vetorial, como inserção, exclusão e recuperação. Por exemplo, diferentes aplicações exigem diferentes consultas, como consultas vetoriais top-k, consultas baseadas em distância e consultas filtradas por atributos. Além disso, esses apps podem exigir outros métodos para calcular distância vetorial, incluindo a distância euclidiana (L2), produto interno (IP) e similaridade de cosseno (COSINE).
O Milvus 2.3 aprimorou sua API para atender a todos esses requisitos diversificados, tornando o desenvolvimento mais direto. Por exemplo, o novo recurso upsert simplifica o gerenciamento de dados ao combinar inserção e atualizações de dados em uma única linha de código. O índice ScaNN fornece indexação de alto desempenho, oferecendo velocidade de consulta mais rápida do que versões anteriores.
O Milvus também oferece suporte à integração de dados com outros produtos ao fornecer ferramentas de migração e capacidades de captura incremental de dados para simplificar o gerenciamento de dados.
Garantindo estabilidade e disponibilidade em nível de segundos
O Milvus provou ser confiável e disponível para ambientes de produção graças à sua otimização contínua.
A série 2.1.x introduziu a replicação de memória, melhorando significativamente a estabilidade do sistema. A série 2.2.x adicionou recursos de isolamento de falhas para grupos de recursos, aprimorando a resiliência do sistema. Com base nos sucessos das versões anteriores, o Milvus 2.3 introduz o Look Aside Load Balancer, que oferece detecção ainda mais rápida de eventos de nós e garante failover e expansão de recursos em nível de segundos.
O Milvus 2.3 também inclui melhor gerenciamento de memória, upgrades contínuos aprimorados e suporte a um número mais significativo de tabelas em um único cluster, resultando em melhorias adicionais na estabilidade geral do sistema.
Conclusão
Em um cenário de bancos de dados vetoriais em rápida evolução, o Milvus 2.3 se destaca como um farol de excelência. Ele oferece tudo o que os usuários precisam em um banco de dados vetorial moderno: alto desempenho, escalabilidade, disponibilidade, estabilidade e custo-benefício.
À medida que a tecnologia continua a avançar, o Milvus também avança. Continuaremos a otimizar o Milvus incansavelmente e a introduzir recursos de ponta nas próximas versões, como exclusão por expressão, implantação perfeita na nuvem Azure, suporte aprimorado a arrays, otimização de valores padrão/nulos e adição dinâmica de colunas. Fique atento.
Esta jornada não é uma que empreendemos sozinhos. Convidamos toda a comunidade a explorar ativamente o Milvus, compartilhar seus insights e contribuir para a evolução contínua desta tecnologia notável.
Continue lendo
Why We Built Vector Lakebase: Rethinking Unstructured Data Architecture for AI
Vector Lakebase: a unified, lake-native data foundation for AI workloads — and an answer to what happens after vector databases succeed.
Vector Lakebase: End the AI Data Silo
Learn how Vector Lakebase unifies vector search, data lakes, and AI data operations so teams can serve RAG and agents without copy-and-sync pipelines.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.