ベクターデータベースの選び方：Elastic CloudとZilliz Cloudの比較
Elastic CloudとZilliz Cloudをベンチマーク、コスト、機能で徹底比較。
このElastic Cloud比較の最終更新日は2023年9月6日です。最新の調査結果を提供するため、このブログは最新のベンチマーク数値で定期的に更新されます。
ベクターデータベース vs. ベクター検索プラグイン：その違いを解き明かす
ベクトルデータベース ](https://zilliz.com/learn/what-is-vector-database)が注目を集め続ける中、従来のデータベースと Elasticsearch のような検索システムは、ベクトル検索専用のプラグインの統合を競っている。その代表的な例が Elasticsearch 8.0 で、ベクトル挿入や Approximate Nearest Neighbor (ANN) 検索機能を含むアップグレードされた機能が導入され、RESTful API エンドポイントから便利にアクセスできるようになりました。このような状況の中、Elasticsearchのフルマネージドバージョンとして、Elastic Cloud は独自のベクトル検索機能を提供しています。
しかし、ベクトル検索プラグインは、エンベッディング管理やベクトル検索の包括的なソリューションを提供するものではないことを認識する必要があります。これらのプラグインは、どちらかというと既存のシステムを補完するコンポーネントとして機能するため、レイテンシ、キャパシティ、スループットといった要素に関する全体的なパフォーマンスが制限される可能性がある。従来のデータベースの上に非構造化データ用のアプリケーションを構築しようとする試みは、ガソリン車にリチウム電池と電気モーターを後付けするようなもので、革新性に欠けるアプローチである。
このElastic CloudとZilliz Cloudの比較では、この違いを超えて、他のいくつかの比較領域を掘り下げていきます。パフォーマンスの観点からベンチマークを掘り下げ、Elastic Cloudの機能を詳細に分析します。
Elastic CloudとZilliz Cloudのベンチマーク
Zillizでは、開発者やアーキテクトから、"ベクトル埋め込みワークロードにおいて、ZillizはElastic Cloudと比較してどうなのか？"という質問を受けます。この好奇心は様々な動機から生まれるかもしれませんが、その全ては商品レコメンダーや逆画像検索のような機能のために意味的類似性検索を構築することからきており、最近ではRAG(Retrieval Augmented Generation)を使ってLLMアプリケーションを構築することからきています。
ここ数週間、ベクトル埋め込みワークロードに関するZilliz CloudとElastic Cloudの性能と属性を掘り下げて、包括的な分析を行いました。 オープンソースのベンチマークツールであるVectorDBBenchを使って、私たちの調査は、1秒あたりのクエリー数(QPS)、1ドルあたりのクエリー数(QP$)、レイテンシなどの重要な側面に集中的に焦点を当てました。
テストしたデータセット
私たちはZilliz CloudとElastic Cloudをベンチマークするために2種類のデータセットをテストしました。
- データセット1768次元の1,000,000ベクトル
- データセット2500,000ベクトル、1,536次元
テストされた製品
同様のハードウェアリソースでZilliz CloudとElastic Cloudをテストしました。
- Zilliz Cloud (1cu-perf)**：パフォーマンスを最適化したコンピュートユニットを1台搭載したZilliz Cloud
- Zilliz Cloud (1cu-cap)：Zilliz Cloud (1cu-cap)：容量に最適化されたコンピュートユニットを1台搭載したZillizクラウド
- Elastic Cloud（最大2.5c8g）***：最大2.5vCPUと8GBのRAMを搭載したElastic Cloud
注：Zilliz Cloudのコンピュートユニットについては、ZillizブログZilliz Cloud CUタイプのご紹介をご参照ください。
結果QPS
Zillizは、768次元の100万ベクトルを処理した場合、QPSの点でElastic Cloudをそれぞれ34倍、22倍上回りました。
Zillizは1,563次元の50万ベクトル処理において、QPSの点でElastic Cloudを26倍、13倍上回る。
これは、特定のルールに従ったさまざまなケースにおける各システムのパフォーマンスに基づく1～100のスコアです。スコアが高いほど、パフォーマンスが高いことを示す。
我々のテスト結果によると、Zillizは総合的なパフォーマンスにおいてElastic Cloudのコストを上回っています。
結果クエリ数(QP$)
768次元の100万ベクトルを処理する場合、ZillizはElastic Cloudの102倍、65倍の費用対効果があります。
1,536次元で50万ベクトルを処理する場合、ZillizはElastic Cloudの79倍、38倍の費用対効果があります。
これは、特定のルールに従ったさまざまなケースにおける各システムのパフォーマンスに基づく1～100のスコアである。スコアが高いほど、パフォーマンスが高いことを示す。
私たちのテスト結果によると、ZillizはElastic Cloudを総合的なQP$パフォーマンスで上回っています。
結果レイテンシー
Zillizは、768次元の100万ベクトルを処理した場合、P99レイテンシにおいてElastic Cloudを123倍、96倍上回りました。
1,536次元の50万ベクトルを処理した場合、P99レイテンシにおいてZillizはElastic Cloudを502倍、108倍上回る。
これは、特定のルールに従ったさまざまなケースにおける各システムのパフォーマンスに基づく>1スコアです。スコアが低いほど、パフォーマンスが高いことを示す。
私たちのテスト結果によると、Zilliz CloudはElastic Cloudを総合的なレイテンシ性能で上回っています。
これらのベンチマークは、GitHubにあるオープンソースのVectorDB Benchツールを使って実施しました。リーダーボードもここにあります。VectorDBBenchは、偏りのないベクターデータベース主流のベクターデータベースのベンチマーク結果とクラウドサービスを提供します。使いやすく設計されたVectorDB Benchは、ベクターデータベースのクラウドサービスやオープンソースのベクターデータベースの中から最適な選択を簡単に見つけることができます。
エラスティッククラウドの機能比較
ベクターデータベースに格納される非構造化データの要素数が数億、数十億と増加し、複数ノードにまたがる水平スケーリングが最重要となるにつれ、パフォーマンスはベクターデータベースの最大の課題となります。さらに、挿入率、クエリ率、基礎となるハードウェアの違いにより、アプリケーションのニーズが異なる場合があり、システム全体のチューナビリティがベクターデータベースの必須機能となっています。
ベクターデータベースは何のためにあるのか？
ベクターデータベースは、機械学習モデルからのエンベッディングのパワーを活用した、構造化されていない膨大なデータセット全体の保存、インデックス付け、検索のための完全に管理されたソリューションです。ベクターデータベースは、以下の特徴を備えている必要があります：
- スケーラビリティとチューナビリティ
- マルチテナンシーとデータの分離
- 完全なAPIスイート
- 直感的なユーザーインターフェース/管理コンソール
スケーラビリティ
| Zillizクラウド｜Elastic Cloud｜エラスティッククラウド | -------------------------------------------------- | --------------------------------------------------------------------------- | ----------------------------------- | | ストレージとコンピュートの分離 | クエリーと挿入の分離｜ はい。コンポーネントレベルで（よりきめ細かいスケーラビリティを提供する）。| いいえ、サーバー・レベルでのみ拡張可能です。| | マルチ・レプリケーション | 億スケールのベクトル・サポート | 動的なセグメント配置と静的なデータ・シャーディングの比較｜動的なセグメント配置｜静的なデータ・シャーディング
機能
| ジリズクラウド | エラスティッククラウド | |
|---|---|---|
| 役割ベースのアクセス制御(RBAC) | ||
| ディスク・インデックス・サポート | ||
| ハイブリッド検索（スカラー・フィルタリング）｜スカラー・フィルタリングあり｜あり（スパース・ベクターとデンス・ベクターの組み合わせ）｜ハイブリッド検索（スカラー・フィルタリング）｜あり（スパース・ベクターとデンス・ベクターの組み合わせ）｜あり（スパース・ベクターとデンス・ベクターの組み合わせ | ||
| パーティション/ネームスペース/論理グループ |
目的別
| 機能｜Zillizクラウド｜Elasticクラウド | ------------------------------------------------ | -------------------------------------------------------------------------------- | ---------------- | | 目的別｜ベクトル｜√｜x | 整合性を調整可能 | ベクトル・データのストリームとバッチの両方をサポート。 | バイナリ・ベクトル・サポート | 多言語SDK｜Python、Java、Go、C++、Node.js、Ruby｜Python、Java、Go｜多言語に対応。
詳細は比較ページをご覧ください。
ElasticsearchからフルマネージドMilvusサービスであるZilliz Cloudへの移行 ## ElasticsearchからフルマネージドMilvusサービスであるZilliz Cloudへの移行
Milvusのフルマネージド版であるZilliz Cloudは、パフォーマンス、セキュリティ、運用効率に特化することで、ベクターデータベース管理におけるゲーム性を高めています。Milvusが必要不可欠なベクトル・ストレージと検索機能で基礎を固める一方、Zilliz Cloudは独自のANN検索エンジンとAUTOINDEXでパフォーマンスを最適化し、さらにステップアップする。また、高度なコントロールとコンプライアンス対策によってセキュリティに対応し、データの安全性とコンプライアンスを確保します。運用面では、Zilliz Cloudは自動化されたインフラストラクチャ・プロビジョニングとリアルタイムのパフォーマンス・インサイトによってデータベース管理を簡素化するため、運用のオーバーヘッドなしにAIアプリケーションの構築に集中したい開発者にとって理想的な選択肢となる。
Zilliz Cloudをご検討の場合、ElasticsearchからZilliz Cloudへ簡単に移行することができます。ベクトルワークロードをElasticsearchからZilliz Cloudに移行することを決めたら、データをインポートする方法についてこの移行チュートリアルを参照し、チュートリアルに従うだけです。
様々なデータベースからMilvus/Zillzへの移行については、こちらの総合移行ガイドをご参照ください。
次は?
- Zilliz Cloudを無料で試す](https://zilliz.com/cloud)
- Zilliz Cloudでベクトル検索の力を引き出す](https://zilliz.com/event/unlocking-power-vector-search-zilliz-cloud-webinar)
- Zilliz CloudでジェネレーティブAIの可能性を最大限に引き出す](https://zilliz.com/learn/Retrieval-Augmented-Generation)
- Elastic CloudからMilvusへの移行方法](https://zilliz.com/blog/how-to-migrate-data-to-milvus-seamlessly-comprehensive-guide)
Chris ChuriloChris Churilo is the VP of Marketing & Community at Zilliz where she leads all community, developer relations, and marketing efforts. Prior to Zilliz, Chris was a founding member of the InfluxData’s go to market efforts and helped propel the time series database platform to dominance in the market. In earlier roles she defined and designed a SaaS monitoring solution at Centroid, and prior to that she was the VP of product management at iPass and was the LOB for several cloud services that required her to track the business and operational metrics and analytics to help identify and resolve issues.
読み続けて
プロジェクトに最適なベクターデータベースを選択するためのオープンソースベクターデータベースベンチマークツールの紹介
あなたのプロジェクトに理想的なベクターデータベースを選択するためのオープンソースベクターデータベースベンチマークツール、VectorDBBenchをご紹介します。
ベクターデータベースの選び方：QdrantクラウドとZillizクラウドの比較
QdrantクラウドとZillizクラウド（フルマネージドMilvus）をベンチマーク、コスト、機能で徹底比較。
ベクターデータベースの性能ベンチマーク：テクニックと洞察
この記事では、ベクターデータベースの主な評価指標とベンチマークツールについて明確に掘り下げています。さらに、ベクターデータベースを評価し、十分な情報に基づいた意思決定を行うためのヒントを提供します。