Présentation de Milvus 2.5 : recherche plein texte intégrée, optimisation avancée des requêtes, et plus encore 🚀
Nous sommes ravis d’annoncer la sortie de Milvus 2.5, une étape importante dans notre parcours visant à créer la solution la plus complète au monde pour toutes les charges de travail de recherche. Bien que Milvus soit connu pour ses puissantes capacités de recherche de similarité vectorielle, notre vision va au-delà des vecteurs. Nous pensons que l’avenir de la recherche réside dans la combinaison fluide de différents paradigmes de recherche — recherche sémantique, recherche par mots-clés et filtrage traditionnel — le tout au sein d’une plateforme unifiée.
Cette version marque une étape importante avec l’introduction de la recherche plein texte intégrée, nous rapprochant de cette vision. Avec des optimisations de requêtes avancées et des capacités de traitement des données améliorées, Milvus 2.5 représente notre engagement à rendre les opérations de recherche complexes simples et efficaces pour les développeurs.
Recherche plein texte intégrée : un puissant traitement du texte rendu simple 🔍
La fonctionnalité phare de Milvus 2.5 est notre nouvelle recherche plein texte intégrée, alimentée par Sparse-BM25. Cet ajout est bien plus qu’une simple nouvelle fonctionnalité — c’est une brique fondamentale pour les applications de recherche de nouvelle génération. En combinant la recherche de similarité vectorielle avec de puissantes capacités de traitement du texte, vous pouvez créer des systèmes de recherche plus sophistiqués afin de mieux comprendre l’intention des utilisateurs. Que vous travailliez avec de la documentation technique, du contenu propre à un domaine ou des données textuelles générales, vous pouvez tirer parti de la compréhension sémantique et de la précision des mots-clés dans un seul système.
Ce qui rend cela particulièrement puissant, c’est sa simplicité : vous pouvez désormais saisir directement du texte brut sans générer d’embeddings vectoriels à l’avance. Milvus gère la complexité en interne, en utilisant des analyseurs intégrés pour traiter votre texte et en mettant à jour les informations statistiques BM25 en temps réel à mesure que vous ajoutez de nouvelles données. Cela garantit une précision de recherche optimale tout en réduisant considérablement la complexité de mise en œuvre.
Traitement amélioré du texte et des données 📊
Correspondance de texte
Notre nouvelle capacité de correspondance de texte s’appuie sur les analyseurs et l’indexation de Tantivy pour une correspondance précise en langage naturel. Cette fonctionnalité est particulièrement utile lorsque l’on combine la correspondance de texte avec la recherche de similarité vectorielle, vous permettant de filtrer les résultats de recherche selon des termes spécifiques avant d’effectuer les calculs de similarité vectorielle.
Index Bitmap
Le nouvel index Bitmap accélère les recherches sur les champs comportant un nombre limité de valeurs uniques (champs à faible cardinalité). Par exemple, lors de recherches dans des données utilisateur avec des champs comme « gender » ne comportant que quelques valeurs possibles, les index Bitmap peuvent accélérer considérablement les performances des requêtes.
Valeurs nullables et par défaut
Nous avons ajouté la prise en charge des propriétés nullables et des valeurs par défaut dans les champs scalaires, offrant une plus grande flexibilité dans la gestion des données. Cette fonctionnalité simplifie la migration des données depuis d’autres systèmes de bases de données et aide à gérer les cas d’utilisation réels où les valeurs de champ peuvent être inconnues ou nécessiter des paramètres par défaut.
Nouvelles fonctionnalités bêta ⚡
Une fonctionnalité bêta remarquable dans cette version est notre nouvelle Cluster Management WebUI, conçue pour répondre à la complexité de la gestion des déploiements Milvus à grande échelle. Ce tableau de bord complet surveille automatiquement l’état du système, suit les métriques de performance et vous alerte en cas de problèmes potentiels avant qu’ils n’affectent vos applications. Lorsque le système détecte des schémas anormaux, vous aurez un accès direct aux experts Milvus pour une résolution rapide.
Nous testons également Clustering Compaction, qui aide à optimiser le stockage et la récupération dans les grandes collections en redistribuant les données en fonction de champs scalaires spécifiés. Ces fonctionnalités sont disponibles pour les tests, et nous accueillons avec plaisir vos retours alors que nous continuons à les affiner.
Fonctionnalités et améliorations supplémentaires 🌟
Cette version regorge de nombreuses améliorations pour enrichir votre expérience avec Milvus. Nous avons amélioré notre implémentation de HNSW grâce à l’intégration de Faiss, avec la prise en charge de plusieurs méthodes de quantification (SQ, PQ et PRQ) pour de meilleures performances et un meilleur rappel.
Parmi les autres améliorations notables figurent la prise en charge d’IPv6, les capacités d’importation en masse de CSV et un nouveau nœud de streaming pour les services de Write-Ahead Logging. Nous avons également optimisé les suppressions à grande échelle, effectué une mise à niveau vers ETCD 3.5.16 et Pulsar 3.0.7 LTS pour une meilleure sécurité, et introduit Local Storage V2 pour améliorer l’efficacité du chargement et des requêtes.
Participez à notre atelier pratique ! 🎓
Prêt à explorer ces nouvelles fonctionnalités ? Vous pouvez consulter nos notes de version détaillées ou participer à notre atelier technique, où nous montrerons comment implémenter la recherche en texte intégral, configurer des index efficaces et exploiter ces nouvelles capacités dans vos applications. Nos ingénieurs vous guideront à travers des exemples pratiques et les meilleures pratiques pour tirer le meilleur parti de Milvus 2.5.
Et d’autres nouvelles passionnantes se profilent à l’horizon : Milvus 2.5 est prévu en préversion publique dans Zilliz Cloud en février 2025. Restez à l’écoute pour être parmi les premiers à découvrir ces fonctionnalités puissantes dans un environnement entièrement géré, où vous pouvez vous concentrer sur la création de vos applications tandis que nous nous occupons de l’infrastructure.
Continuer à lire
Zilliz Cloud Now Available in AWS Europe (Ireland)
Zilliz Cloud launches in AWS eu-west-1 (Ireland) — bringing low-latency vector search, EU data residency, and full GDPR-ready infrastructure to European AI teams. Now live across 30 regions on five cloud providers.
How Zilliz Saw the Future of Vector Databases—and Built for Production
An inside look at how Zilliz built vector databases for real-world use, focusing on scalability, stability, and running them reliably at scale.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.