Milvus 2.5のご紹介: 組み込みの全文検索、高度なクエリー最適化など 🚀。
すべての検索ワークロードに対応する世界で最も完全なソリューションを構築するという我々の旅における重要なステップであるMilvus 2.5のリリースを発表できることを嬉しく思います。Milvusはその強力なベクトル類似検索機能で知られてきましたが、我々のビジョンはベクトルだけにとどまりません。検索の未来は、セマンティック検索、キーワード検索、従来のフィルタリングといった異なる検索パラダイムを、1つの統一されたプラットフォームでシームレスに組み合わせることにあると考えています。
今回のリリースは、組み込みの全文検索の導入という重要なマイルストーンであり、私たちをこのビジョンに近づけるものです。高度なクエリの最適化とデータ処理能力の向上とともに、Milvus 2.5は、開発者にとって複雑な検索操作をシンプルかつ効率的にするという我々のコミットメントを表しています。
組み込みの全文検索：パワフルなテキスト処理をシンプルに
Milvus 2.5の目玉機能は、Sparse-BM25による新しいビルトインフルテキスト検索です。この新機能は単なる新機能ではなく、次世代の検索アプリケーションの基盤となるものです。ベクトル類似検索と強力なテキスト処理機能を組み合わせることで、より洗練された検索システムを構築し、ユーザーの意図をより深く理解することができます。技術文書、ドメイン固有のコンテンツ、または一般的なテキストデータのいずれを扱う場合でも、1つのシステムでセマンティック理解とキーワード精度を活用することができます。
Milvusが特に強力なのは、そのシンプルさです。事前にベクトル埋め込みを生成することなく、生のテキストを直接入力することができます。Milvusは、内蔵のanalyzerを使用してテキストを処理し、新しいデータを追加するとリアルタイムでBM25統計情報を更新することで、複雑さを内部で処理します。これにより、実装の複雑さを大幅に軽減しながら、最適な検索精度を保証します。
強化されたテキストとデータ処理 📊 ## 検索精度の向上
テキストマッチ
当社の新しいテキストマッチ機能は、Tantivyのアナライザーとインデックスを活用し、正確な自然言語マッチングを実現します。この機能は、ベクトル類似性検索とテキストマッチングを組み合わせる場合に特に有用で、ベクトル類似性計算を実行する前に、特定の用語に基づいて検索結果をフィルタリングすることができます。
ビットマップインデックス
新しいBitmap indexは、一意な値の数が限られているフィールド（カーディナリティの低いフィールド）の検索を高速化します。例えば、"gender "のような、取り得る値がわずかしかないフィールドを持つユーザデータを検索する場合、Bitmapインデックスはクエリパフォーマンスを大幅に高速化することができます。
ヌル値とデフォルト値
スカラーフィールドにNullableプロパティとデフォルト値のサポートが追加され、データ管理の柔軟性が向上しました。この機能は、他のデータベースシステムからのデータ移行を簡素化し、フィールド値が未知であったりデフォルト設定が必要であったりする実際のユースケースを処理するのに役立ちます。
ベータ版の新機能 ⚡.
本リリースの注目すべきベータ機能は、新しいクラスタ管理 WebUI であり、大規模な Milvus 導入の管理の複雑さに対処するように設計されています。この包括的なダッシュボードは、システムの健全性を自動的に監視し、パフォーマンスメトリクスを追跡し、アプリケーションに影響が及ぶ前に潜在的な問題を警告します。システムが不健全なパターンを検出すると、Milvusの専門家に直接アクセスして迅速に解決することができます。
また、Clustering Compactionのテストも行っています。これは、指定されたスカラーフィールドに基づいてデータを再分配することにより、大規模なコレクションのストレージと検索を最適化するのに役立ちます。これらの機能は試験的にご利用いただけますので、引き続き改良していくにあたり、皆様からのフィードバックをお待ちしております。
追加機能と改良点 🌟 (英語)
本リリースでは、Milvusの使用感を向上させるための数多くの改良が施されています。Faissとの統合によりHNSWの実装を改善し、複数の量子化メソッド（SQ、PQ、PRQ）をサポートすることで、パフォーマンスと再現性を向上させました。
その他、IPv6のサポート、CSV一括インポート機能、Write-Ahead Loggingサービス用の新しいストリーミングノードなど、特筆すべき改良が施されています。また、大規模削除の最適化、セキュリティ向上のためのETCD 3.5.16とPulsar 3.0.7 LTSへのアップグレード、読み込みとクエリの効率向上のためのローカル・ストレージV2の導入も行いました。
ハンズオン・ワークショップにご参加ください！🎓
新機能を試す準備はできましたか?詳細なリリースノートをご覧いただくか、テクニカルワークショップにご参加ください。ここでは、全文検索の実装方法、効率的なインデックスの設定方法、およびアプリケーションでこれらの新機能を活用する方法を実演します。弊社のエンジニアが、Milvus 2.5を最大限に活用するための実践的な例とベストプラクティスをご案内いたします。
Milvus 2.5は2025年2月にZilliz Cloudでパブリックプレビューされる予定です。私たちがインフラを担当する間、お客様はアプリケーションの構築に集中することができるフルマネージド環境で、これらの強力な機能をいち早く体験することができますので、ご期待ください。
Steffi LiSteffi is the Director of Product Marketing at Zilliz, with prior experience leading the GTM strategies for open-source data technologies such as Apache Kafka and Apache Airflow. Passionate about travel, yoga, and non-fiction reading, she brings a balanced and enriched worldview to her professional pursuits.
読み続けて
Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes
This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.
3 Key Patterns to Building Multimodal RAG: A Comprehensive Guide
These multimodal RAG patterns include grounding all modalities into a primary modality, embedding them into a unified vector space, or employing hybrid retrieval with raw data access.