ミルバスのパフォーマンス評価 2023
Milvus](https://zilliz.com/what-is-milvus)は、組み込みワークロード*において、以前のバージョンと比較してどうですか？" Zillizでは、開発者からよく質問を受ける。これには主に2つの理由があります。第一に、新しいプロジェクトを開始する開発者は、最新機能を利用するために最新バージョンのソフトウェアを使用することを熱望していますが、パフォーマンス低下に対する懸念のために躊躇している可能性があります。第二に、現在使用しているユーザーもパフォーマンスに懸念があり、新しい機能が魅力的である場合にのみアップグレードする可能性がある。
このような懸念を解消するために、Milvus v2.2.3とMilvus 2.2.0およびMilvus v2.0.0を比較し、4つの有名なデータセット（DEPP、GIST、GloVe、SIFT）における検索レイテンシとスループットを比較した最新のベンチマークを紹介する。ベンチマークの結果、Milvus v2.2.3はv2.2.0およびv2.0.0を凌駕し、検索およびインデックス作成速度が大幅に向上した。具体的には、Milvus 2.2.3では、オリジナルのMilvus 2.0.0リリースと比較して、検索待ち時間を2.5倍削減することができました。また、同一環境下でのテストでは、Milvus 2.0.0と比較してMilvus 2.2.3ではQPSが4.5倍向上しました。
このデータは、Milvusの最新バージョンが類似検索のユースケースに適しているかどうかを評価するエンジニアにとって価値があるものだと考えています。方法論と評価結果を読むには、「Milvus Performance Evaluation 2023」テクニカルペーパーをダウンロードしてください。
我々の最大の目標は、Milvusの最新開発を反映した一貫性のある最新の比較を作成することである。今後、これらのベンチマークおよびその他の ベクトル データベース ベンチマーク を定期的に再実行し、その結果を詳細なテクニカル ペーパーに更新する予定です。これらのベンチマークのコードはすべてGithubで公開されています。質問、コメント、提案があれば、そのリポジトリで問題やプルリクエストを自由に開いてください。
テスト済みバージョン
- Milvus v2.2.3](https://milvus.io/docs/v2.0.x/release_notes.md#v200)｜リリース日：2023年2月10日
- Milvus v2.2.2](https://milvus.io/docs/release_notes.md#v220)|リリース日: 2022年11月18日
- Milvus v2.0.0](https://milvus.io/docs/v2.0.x/release_notes.md#v200)|リリース日: 2022年1月25日
我々は、代表的なベンチマークスイートの構築において、エンベッディングを扱う際に最も一般的に評価される特性を特定しました。我々は、そのパフォーマンスを横断的に調査しました：
- クエリレイテンシ** - ミリ秒単位で測定。
- QOS** - 1秒あたりのクエリー数
- レイテンシ対スループット**。
- 10億スケールでのスケーラビリティ
- マルチレプリカ**でのスケーラビリティ
データセットについて
さらに、ベンチマークに使用したデータセットは6つある：
- ann-benchmarks](https://github.com/erikbern/ann-benchmarks/#data-sets)の4つのデータセットが異なるMilvusバージョンの検索性能を評価するために使用された。
- Milvus2.2.3のスケーラビリティを評価するために、2つの10億スケールのデータセット(BIGANNとLAIONのLAION-5B)を使用した。
結果
ANN 検索待ち時間
Milvus2.2.3では、オリジナルのMilvus2.0.0と比較して、検索レイテンシを2.5倍削減することができました。 Milvus 2.0.0、2.2.0、2.2.3の検索レイテンシ](https://assets.zilliz.com/Search_Latency_of_Milvus_2_0_0_2_2_0_and_2_2_3_5b4a734cf8.png)
ANN 検索スループット
Milvus 2.2.3では、2.0.0と比較してQPSが4.5倍向上しました。
Milvus2.0.0、2.2.9、2.2.3のQPS.png
億スケール
スケールアウトしたMilvus 2.2.3クラスタでは、検索レイテンシ、QPSともに性能劣化はほとんど見られなかった。
異なるクラスタサイズのレイテンシとQPS｜Milvus.png
マルチリプリケート（線形スケーラビリティ）
Milvus 2.2.3ではマルチレプリカを使用した場合、線形スケーラビリティを示した。
レプリカ数倍時のレイテンシとQPS｜Milvus.png
まとめ
開発者には、これらのベンチマークを実行し、好みの環境とデータセットで結果を独自に検証することを強く推奨する。
What's next?
- 詳細なテクニカルペーパーをダウンロードする："Milvus Performance Evaluation 2023."
- Zillizクラウドにサインアップし、スタートしましょう。
- Slackコミュニティに参加する！
Chris ChuriloChris Churilo is the VP of Marketing & Community at Zilliz where she leads all community, developer relations, and marketing efforts. Prior to Zilliz, Chris was a founding member of the InfluxData’s go to market efforts and helped propel the time series database platform to dominance in the market. In earlier roles she defined and designed a SaaS monitoring solution at Centroid, and prior to that she was the VP of product management at iPass and was the LOB for several cloud services that required her to track the business and operational metrics and analytics to help identify and resolve issues.
読み続けて
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.
Multimodal Pipelines for AI Applications
Learn how to build scalable multimodal AI pipelines using DataVolo and Milvus. Discover best practices for handling unstructured data and implementing RAG systems.