Milvus 2.3.2 & 2.3.3の新機能

Milvusバージョン2.3.2と2.3.3のご紹介です！これらの最新リリースでは、ベクターデータベースシステムのパフォーマンスとユーザーエクスペリエンスを向上させることを目的とした多くの改良が加えられています。開発者コミュニティからのフィードバックを慎重に考慮し、これらのアップデートを行いました。

📦 PyPI: https://pypi.org/project/milvus/

📚 Docs: https://milvus.io/docs

🛠️ リリースノート：

• https://milvus.io/docs/release_notes.md#233

• https://milvus.io/docs/release_notes.md#232

🐳 Docker Image：docker pull

🚀 リリース：milvus-2.3.3

主なハイライト

新機能

ᔍ 配列データ型のサポート - Milvusは配列データ型をサポートし、正確なメタデータフィルタリン グを可能にしました。例えば、e-コマースでは、複数の商品タグに基づいた高度な検索が可能になり、 ユーザーのクエリに関連性の高い検索結果が得られるようになります。

🧹 複雑な削除式のサポート - Milvus 2.3.2または2.3.3では、開発者はデータ削除の詳細な条件を指定することができ、古いデータのローリングやユーザーIDに基づくGDPRコンプライアンスに準拠した削除など、正確なクリーンアップが可能になります。削除はアトミックではありませんので、正確なデータ管理には慎重にご利用ください。

🗂️ TiKV Integration for Metadata Storage - メタデータストレージにTiKVを統合することで、Milvusはスケーラビリティと安定性を向上させました。TiKVのアーキテクチャは、大規模なメタデータストレージを効率的に処理するように設計されており、Milvusは安定性を犠牲にすることなく、増大するデータセットの要求に応えることができます。

FP16ベクトル型のサポート** - MilvusはFP16ベクトル型をサポートし、機械学習の効率を高めます。このデータ形式は、数値をより効率的に表現・処理できるため、ディープラーニングやMLで広く使用されており、機械学習の高速化とリソース効率の向上をもたらします。

ベクター・インデックスMMAPのサポート 📊 **生データだけのマッピングを超えた2.3.0; インデックスのマッピングも可能になりました。この機能により、同じマシンにより多くのデータを保存できるようになり、コストを節約しながらデータ保存の柔軟性を提供します。

機能強化

🔄 ローリングアップグレードエクスペリエンス - Milvusはバージョン2.3.2 & 2.3.3のローリングアップグレード機能を強化し、バージョン2.2.15から5分以内でアップグレードできるようになりました。

パフォーマンスの最適化 🚀 - データロードを最適化するためのデータコピー操作の最小化、バッチ Varchar 読み込みを使用した大容量挿入の簡素化、データパディング中の不要なオフセットチェックの削除、大幅なデータ挿入を伴うシナリオでの高い CPU 消費への対応。

Milvus 2.3.2および2.3.3では、強調された機能強化に加え、多数の新機能と改良点が提供されます。これにはアップグレードされたCDC(Change Data Capture)が含まれ、MQ(Message Queue)メッセージの複製が可能になり、リアルタイムのデータ同期が可能になりました。また、パーティション・キーによるビンログ・データの一括挿入が可能になり、データ取り込みプロセスが合理化されました。さらに、これらのバージョンでは、SUBSTRUCTUREやSUPERSTRUCTUREなどのバイナリメトリック型が復活し、データ表現オプションの幅が広がりました。すべての新機能と機能強化の包括的な概要については、リリースノートを参照されたい。

クロージングノート

私たちは、開発者コミュニティのダイナミックなニーズに合わせ、Milvusを継続的に強化していくことを確約しています。Milvusのロードマップを形作る上で、その貢献、PR、そして洞察に満ちたフィードバックが役立っている活気ある開発者コミュニティに心から感謝いたします。これらのアップデートが皆様の開発プロジェクトにどのようにシームレスに統合されるかを目撃し、皆様のフィードバックをお待ちしております。これからもコーディングを続け、イノベーションを起こし、AIの未来を形作ってください！🤖🧠