Apresentando o Milvus 2.5: Busca de Texto Completo Integrada, Otimização Avançada de Consultas e Mais 🚀
Estamos empolgados em anunciar o lançamento do Milvus 2.5, um passo significativo em nossa jornada para criar a solução mais completa do mundo para todas as cargas de trabalho de busca. Embora o Milvus seja conhecido por seus poderosos recursos de busca por similaridade vetorial, nossa visão vai além dos vetores. Acreditamos que o futuro da busca está em combinar perfeitamente diferentes paradigmas de busca - busca semântica, busca por palavras-chave e filtragem tradicional - tudo em uma plataforma unificada.
Este lançamento marca um marco significativo com a introdução da busca de texto completo integrada, aproximando-nos dessa visão. Junto com otimizações avançadas de consultas e recursos aprimorados de processamento de dados, o Milvus 2.5 representa nosso compromisso em tornar operações de busca complexas simples e eficientes para desenvolvedores.
Busca de Texto Completo Integrada: Processamento de Texto Poderoso Simplificado 🔍
O principal destaque do Milvus 2.5 é nossa nova busca de texto completo integrada, impulsionada pelo Sparse-BM25. Esta adição é mais do que apenas um novo recurso - é um bloco fundamental para aplicações de busca de próxima geração. Ao combinar a busca por similaridade vetorial com poderosos recursos de processamento de texto, você pode criar sistemas de busca mais sofisticados para entender melhor a intenção do usuário. Seja trabalhando com documentação técnica, conteúdo específico de domínio ou dados de texto gerais, você pode aproveitar a compreensão semântica e a precisão por palavras-chave em um único sistema.
O que torna isso particularmente poderoso é sua simplicidade - agora você pode inserir diretamente texto bruto sem gerar embeddings vetoriais antecipadamente. O Milvus lida com a complexidade internamente, usando analisadores integrados para processar seu texto e atualizar informações estatísticas do BM25 em tempo real à medida que você adiciona novos dados. Isso garante precisão ideal na busca, ao mesmo tempo em que reduz significativamente a complexidade da implementação.
Processamento de Texto e Dados Aprimorado 📊
Correspondência de Texto
Nosso novo recurso de correspondência de texto aproveita os analisadores e a indexação do Tantivy para correspondência precisa de linguagem natural. Esse recurso é particularmente valioso ao combinar correspondência de texto com busca por similaridade vetorial, permitindo filtrar resultados de busca com base em termos específicos antes de realizar cálculos de similaridade vetorial.
Índice Bitmap
O novo índice Bitmap acelera buscas em campos com um número limitado de valores únicos (campos de baixa cardinalidade). Por exemplo, ao pesquisar dados de usuários com campos como "gender", com apenas alguns valores possíveis, índices Bitmap podem acelerar significativamente o desempenho das consultas.
Valores Nulos e Padrão
Adicionamos suporte a propriedades anuláveis e valores padrão em campos escalares, proporcionando maior flexibilidade no gerenciamento de dados. Esse recurso simplifica a migração de dados de outros sistemas de banco de dados e ajuda a lidar com casos de uso do mundo real em que os valores dos campos podem ser desconhecidos ou exigir configurações padrão.
Novos Recursos Beta ⚡
Um recurso beta de destaque neste lançamento é nossa nova WebUI de Gerenciamento de Clusters, projetada para lidar com a complexidade de gerenciar implantações do Milvus em larga escala. Este painel abrangente monitora automaticamente a integridade do sistema, acompanha métricas de desempenho e alerta você sobre possíveis problemas antes que eles impactem suas aplicações. Quando o sistema detecta qualquer padrão não saudável, você terá acesso direto a especialistas do Milvus para resolução rápida.
Também estamos testando a Compactação por Agrupamento, que ajuda a otimizar o armazenamento e a recuperação em grandes coleções ao redistribuir dados com base em campos escalares especificados. Esses recursos estão disponíveis para teste, e agradecemos seu feedback enquanto continuamos a refiná-los.
Recursos e melhorias adicionais 🌟
Esta versão traz inúmeras melhorias para aprimorar sua experiência com o Milvus. Melhoramos nossa implementação do HNSW por meio da integração com Faiss, com suporte a vários métodos de quantização (SQ, PQ e PRQ) para melhor desempenho e recuperação.
Outras melhorias notáveis incluem suporte a IPv6, recursos de importação em massa de CSV e um novo nó de streaming para serviços de Write-Ahead Logging. Também otimizamos exclusões em larga escala, atualizamos para ETCD 3.5.16 e Pulsar 3.0.7 LTS para maior segurança e introduzimos o Local Storage V2 para melhorar a eficiência de carregamento e consultas.
Participe do nosso workshop prático! 🎓
Pronto para explorar esses novos recursos? Você pode consultar nossas notas de versão detalhadas ou participar do nosso workshop técnico, onde demonstraremos como implementar pesquisa de texto completo, configurar índices eficientes e aproveitar esses novos recursos em suas aplicações. Nossos engenheiros orientarão você por meio de exemplos práticos e melhores práticas para aproveitar ao máximo o Milvus 2.5.
E há mais notícias empolgantes no horizonte - o Milvus 2.5 está previsto para prévia pública no Zilliz Cloud em fevereiro de 2025. Fique atento para estar entre os primeiros a experimentar esses recursos poderosos em um ambiente totalmente gerenciado, onde você pode se concentrar em criar suas aplicações enquanto nós cuidamos da infraestrutura.
Continue lendo
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.
What Exactly Are AI Agents? Why OpenAI and LangChain Are Fighting Over Their Definition?
AI agents are software programs powered by AI that can perceive their environment, make decisions, and take actions to achieve a goal—often autonomously.
Similarity Metrics for Vector Search
Exploring five similarity metrics for vector search: L2 or Euclidean distance, cosine distance, inner product, and hamming distance.