ミルバスのパフォーマンス評価 2023

Milvus](https://zilliz.com/what-is-milvus)は、組み込みワークロード*において、以前のバージョンと比較してどうですか？" Zillizでは、開発者からよく質問を受ける。これには主に2つの理由があります。第一に、新しいプロジェクトを開始する開発者は、最新機能を利用するために最新バージョンのソフトウェアを使用することを熱望していますが、パフォーマンス低下に対する懸念のために躊躇している可能性があります。第二に、現在使用しているユーザーもパフォーマンスに懸念があり、新しい機能が魅力的である場合にのみアップグレードする可能性がある。

このような懸念を解消するために、Milvus v2.2.3とMilvus 2.2.0およびMilvus v2.0.0を比較し、4つの有名なデータセット（DEPP、GIST、GloVe、SIFT）における検索レイテンシとスループットを比較した最新のベンチマークを紹介する。ベンチマークの結果、Milvus v2.2.3はv2.2.0およびv2.0.0を凌駕し、検索およびインデックス作成速度が大幅に向上した。具体的には、Milvus 2.2.3では、オリジナルのMilvus 2.0.0リリースと比較して、検索待ち時間を2.5倍削減することができました。また、同一環境下でのテストでは、Milvus 2.0.0と比較してMilvus 2.2.3ではQPSが4.5倍向上しました。

このデータは、Milvusの最新バージョンが類似検索のユースケースに適しているかどうかを評価するエンジニアにとって価値があるものだと考えています。方法論と評価結果を読むには、「Milvus Performance Evaluation 2023」テクニカルペーパーをダウンロードしてください。

我々の最大の目標は、Milvusの最新開発を反映した一貫性のある最新の比較を作成することである。今後、これらのベンチマークおよびその他の ベクトル データベース ベンチマーク を定期的に再実行し、その結果を詳細なテクニカル ペーパーに更新する予定です。これらのベンチマークのコードはすべてGithubで公開されています。質問、コメント、提案があれば、そのリポジトリで問題やプルリクエストを自由に開いてください。

テスト済みバージョン

• Milvus v2.2.3](https://milvus.io/docs/v2.0.x/release_notes.md#v200)｜リリース日：2023年2月10日
• Milvus v2.2.2](https://milvus.io/docs/release_notes.md#v220)|リリース日: 2022年11月18日
• Milvus v2.0.0](https://milvus.io/docs/v2.0.x/release_notes.md#v200)|リリース日: 2022年1月25日

我々は、代表的なベンチマークスイートの構築において、エンベッディングを扱う際に最も一般的に評価される特性を特定しました。我々は、そのパフォーマンスを横断的に調査しました：

• クエリレイテンシ** - ミリ秒単位で測定。
• QOS** - 1秒あたりのクエリー数
• レイテンシ対スループット**。
• 10億スケールでのスケーラビリティ
• マルチレプリカ**でのスケーラビリティ

データセットについて

さらに、ベンチマークに使用したデータセットは6つある：

• ann-benchmarks](https://github.com/erikbern/ann-benchmarks/#data-sets)の4つのデータセットが異なるMilvusバージョンの検索性能を評価するために使用された。
• Milvus2.2.3のスケーラビリティを評価するために、2つの10億スケールのデータセット(BIGANNとLAIONのLAION-5B)を使用した。

結果

ANN 検索待ち時間

Milvus2.2.3では、オリジナルのMilvus2.0.0と比較して、検索レイテンシを2.5倍削減することができました。 Milvus 2.0.0、2.2.0、2.2.3の検索レイテンシ](https://assets.zilliz.com/Search_Latency_of_Milvus_2_0_0_2_2_0_and_2_2_3_5b4a734cf8.png)

ANN 検索スループット

Milvus 2.2.3では、2.0.0と比較してQPSが4.5倍向上しました。 Milvus2.0.0、2.2.9、2.2.3のQPS.png

億スケール

スケールアウトしたMilvus 2.2.3クラスタでは、検索レイテンシ、QPSともに性能劣化はほとんど見られなかった。 異なるクラスタサイズのレイテンシとQPS｜Milvus.png

マルチリプリケート（線形スケーラビリティ）

Milvus 2.2.3ではマルチレプリカを使用した場合、線形スケーラビリティを示した。 レプリカ数倍時のレイテンシとQPS｜Milvus.png

まとめ

開発者には、これらのベンチマークを実行し、好みの環境とデータセットで結果を独自に検証することを強く推奨する。

What's next?

• 詳細なテクニカルペーパーをダウンロードする："Milvus Performance Evaluation 2023."
• Zillizクラウドにサインアップし、スタートしましょう。
• Slackコミュニティに参加する！