ベクターデータベースの選び方：QdrantクラウドとZillizクラウドの比較
QdrantクラウドとZillizクラウド（フルマネージドMilvus）をベンチマーク、コスト、機能で徹底比較。
このQdrant比較の最終更新日は2024年10月17日です。最新の調査結果を提供するため、このブログは最新のベンチマーク数値で定期的に更新されます。
ベクターデータベースは全て同じではありません。
人工知能と機械学習の速いペースの世界では、ベクトル・データベースは高次元データの管理とクエリに不可欠となっている。昨年、ベクトル検索のユースケースがプロトタイプから本番へと移行し、市場のダイナミクスが変化し、データベースのパフォーマンスとスケーラビリティの水準が高まったことで、私たちは大きな変化を目の当たりにした。このような特殊なデータベースに対する需要が、実際の大規模な展開によって高まる中、すべてのソリューションが同じように作られているわけではないことを理解することが不可欠です。本記事では、この分野のリーディング・プレイヤー2社を比較します：QdrantとZilliz Cloudです。それぞれ全く異なる方法でプロダクションスケールのベクトル検索に取り組んでいます。
Qdrant中規模展開に最適化
Qdrantは、特に中規模データセット向けの高性能ベクトル検索にフォーカスしていることで知られています：
1.HNSWの最適化: Qdrantは、低レイテンシ、高スループット、高リコール率で知られるHierarchical Navigable Small World (HNSW)アルゴリズムの長所をうまくアピールしています。
2.**このプラットフォームは、量子化やメモリマップド（mmap）ファイルI/Oなど、費用対効果を向上させる機能をいくつか導入しており、特定の作業負荷に対してメモリ使用量を大幅に削減し、パフォーマンスを向上させることができる。
3.**Qdrantのアーキテクチャは、特に約1億ベクトルまでのデータセットに適しており、優れたパフォーマンス指標を維持することができます。
しかし、Qdrantはより大きなデータセットに拡張する際に課題に直面します：
1.スケーラビリティの限界: データセットが1億ベクトルを超えると、Qdrantのパフォーマンスは低下し始め、インメモリインデックスに依存するため、コストが高くつく可能性があります。
2.**データセットのサイズが大きくなると、Qdrantに必要なメモリ容量が大幅に増加し、インフラコストの上昇につながる可能性があります。
Zilliz Cloud：大規模展開のために設計されたクラウド
これに対し、Zilliz Cloudは超大規模ベクトル検索の課題解決にフォーカスしています：
1.カーディナル検索エンジン: ZillizはCardinalと呼ばれる独自の検索エンジンを開発しました。この検索エンジンは、インメモリとディスクベースのインデックスであるグラフとIVFインデックスをミックスして活用することができます。このハイブリッド・アプローチにより、Zillizは大規模なデータセットに対して、よりコスト効率の高い検索機能を提供することができる。
2.ディスクベースインデックスの利点: ディスクベースインデックスを使用することで、メモリ要件が大幅に削減され、データセットサイズが大きくなるにつれて拡張性が向上する。これにより、ZillizはQdrantが採用しているメモリマップドHNSWソリューションと比較して、特にワーキングセットが利用可能なRAMを超えるような場合に、より高いクエリスループットを維持しながら、非常に大規模なワークロードに適しています。
マネージドサービスと運用に関する考察
両プラットフォームともクラウドベースのソリューションを提供していますが、マネージドサービスに対するアプローチには大きな違いがあります：
1.**Qdrantは主にオープンソースのベクターデータベース製品として設計されています。クラウド製品を提供する一方で、開発者によるハンズオン管理が必要です。Qdrantの他のサービスとの比較で述べたように、インフラストラクチャの複雑さを抽象化したフルマネージドのSaaSソリューションを求める顧客には最適な選択肢ではないかもしれません。
2.2.Qdrantの複雑なスケーリング: Qdrantの水平スケーリングは、コレクションを作成する際にシャードを設定するなど、事前の計画が必要です。再シャーディングはサポートされていないため、データの増加に伴う柔軟性が制限される可能性があります。スケールアップには多大なエンジニアリングが必要です。
3.Zillizのマネージド・アプローチ: Zilliz Cloudは真のマネージド・サービスを提供し、大規模な事前計画やエンジニアリングの労力を必要としないワンクリック水平スケーリングや、バージョンアップなどの最小限の運用労力などの機能を提供します。
エンタープライズ対応とセキュリティ機能
エンタープライズグレードの機能とセキュリティ機能に関しては、QdrantとZilliz Cloudは異なるアプローチを取っています。Qdrantはオープンソースソリューションとして、より基本的なエンタープライズ機能を提供し、主にコア機能に焦点を当て、より高度な機能は開発者やサードパーティの統合によって実装されるようになっています。対照的に、Zilliz Cloudはより包括的なエンタープライズ対応機能一式を最初から提供している。これには、高度なセキュリティ対策、広範なモニタリングとアラート機能、より広範なコンプライアンス認証が含まれる。どちらのプラットフォームもエンタープライズ環境で使用することができますが、厳しいセキュリティ、コンプライアンス、およびモニタリング要件を持つ組織は、追加の開発や統合作業を必要とせずに、Zilliz Cloudのオファリングがよりニーズに合っていると感じるかもしれません。詳細な機能比較については、このブログの後半で紹介する。
このQdrant CloudとZilliz Cloudの比較では、これらの違いを超えて、他の比較項目についても深く掘り下げていきます。ベンチマークでパフォーマンスの観点や、Qdrant Cloudの機能分析も行います。
Qdrant CloudとZilliz Cloudのベンチマーク
Zillizでは、開発者やアーキテクトから、"ベクトル埋め込みワークロードにおいて、ZillizはQdrant Cloudと比較してどうなのか？"という質問を受けます。このような好奇心は様々な動機から生まれるかもしれません。全ては商品レコメンダーや逆画像検索のような機能のための意味的類似検索の構築から始まり、最近ではRAG(Retrieval Augmented Generation)を使ったLLMアプリケーションの構築からきています。
ここ数週間、私たちはベクトル埋め込みワークロードに関して、Zilliz CloudとQdrant Cloudの性能と属性を比較し、包括的な分析を行いました。オープンソースのベンチマークツールであるVectorDBBenchを使い、1秒あたりのクエリ数(QPS)、1ドルあたりのクエリ数(QP$)、レイテンシなどの重要な要素に焦点を当てました。
テストした大規模データセット（≥5Mベクトル）
データセット1:** 10,000,000ベクトル、768次元
データセット2:** 1,536次元の5,000,000ベクトル
テストされた製品（同様の機能を持つ）
Zilliz Cloud (8cu-perf):** パフォーマンスを最適化したコンピュート・ユニットを8基搭載したZilliz Cloud
Zilliz Cloud (2cu-cap):容量最適化コンピュート・ユニット2基搭載のZilliz Cloud
Qdrant Cloud (4c16g-5node): 5台のマシンを使用し、4つのCPUと16GのRAMを搭載したQdrantクラウド
Zilliz Cloudのコンピュートユニットについては、Zillizブログ Zilliz CloudのCUタイプとサイズを紹介をご参照ください。
結果QPS
768次元の1000万ベクトルを処理した場合、Zilliz CloudのオプションはQdrant CloudをQPSでそれぞれ7倍、1倍以上上回りました。
1536次元の500万ベクトルを処理する場合、Zilliz Cloud(8cu-perf)はQdrant CloudをQPSで約8倍上回りますが、Zilliz Cloud(2cu-cap)はQdrant Cloudより低いパフォーマンスを示します。
結果QP$
768次元の1000万ベクトルを処理する場合、Zilliz CloudのオプションはQP$でQdrant Cloudをそれぞれ8倍以上、5倍以上上回った。
1536次元の500万ベクトルを処理する場合、Zilliz CloudオプションはQP$でQdrant Cloudをそれぞれ7倍、3倍上回った。
結果待ち時間
768次元の1000万ベクトルを処理する場合、Zilliz CloudのオプションはQdrant Cloudをレイテンシでそれぞれ12倍、3倍以上上回りました。
1536次元の500万ベクトルを処理する場合、Zilliz CloudのオプションはQdrant Cloudをレイテンシでそれぞれ8倍、1倍以上上回った。
テストされた中規模データセット (< 5M vector)
- データセット3:** 1,000,000 ベクトル，768次元
- 500,000ベクトル，1,536次元
テストされた製品（同様の機能を持つ）
Zilliz Cloud (1cu-perf):**パフォーマンスに最適化されたコンピュート・ユニットを1台搭載したZilliz Cloud
Zilliz Cloud (1cu-cap): Zilliz Cloud、容量最適化コンピュート・ユニット1基搭載
Qdrant Cloud (4c16g-1node): Qdrant Cloud、1台で4CPU、16GのRAMを使用します。
Zilliz Cloudのコンピュートユニットについては、Zillizブログ Zilliz CloudのCUタイプとサイズを紹介をご参照ください。
結果QPS
768次元の100万ベクトルを処理した場合、Zilliz CloudのオプションはQdrant CloudをQPSでそれぞれ2倍以上、1倍以上上回りました。
1,536次元の500,000ベクトルを処理した場合、Zilliz Cloud(1cu-perf)はQdrant CloudをQPSでほぼ2倍上回りますが、Zilliz Cloud(1cu-cap)はQdrant Cloudより低いパフォーマンスを示します。
結果QP$
768次元の100万ベクトルを処理する場合、Zilliz CloudのオプションはQP$でQdrant Cloudをそれぞれ4倍以上、2倍以上上回った。
1,536次元の500,000ベクトルを処理する場合、Zilliz CloudのオプションはQP$でQdrant Cloudをそれぞれ3倍、1倍以上上回ります。
結果待ち時間
768次元の100万ベクトルを処理した場合、Zilliz CloudはQdrant Cloudを2倍以上レイテンシで上回りました。
1,536次元の50万ベクトルを処理した場合、Zilliz CloudのポーションはQdrant Cloudをレイテンシでそれぞれ127倍、27倍以上上回った。
結果総合得点
注:これは、特定のルールに従った異なるケースにおける各システムのパフォーマンスに基づいて、VectorDBBenchによって生成された1～100のスコアである。スコアが高いほど、パフォーマンスが高いことを示します。
**注: **これは、特定のルールに従った異なるケースにおける各システムの性能に基づく、VectorDBBenchによる>1スコアである。スコアが低いほどパフォーマンスが高いことを示す。
これらのベンチマークは、GitHubにあるオープンソースのVectorDB Bench toolを使用して実施しました。また、更新されたリーダーボードもここにあります。VectorDBBenchは、偏りのないベクトルデータベース主流のベクトルデータベースのベンチマーク結果とクラウドサービスを提供します。使いやすく設計されたVectorDB Benchは、ベクターデータベースのクラウドサービスやオープンソースのベクターデータベースの中から最適な選択を簡単に見つけることができます。
Qdrant クラウド機能比較
ベクトルデータベースに格納される非構造化データ要素の数が数億から数十億に増加し、複数ノードにまたがる水平スケーリングが最重要となるにつれ、パフォーマンスはベクトルデータベースの最大の課題となります。さらに、挿入率、クエリ率、基礎となるハードウェアの違いにより、アプリケーションのニーズが異なる場合があり、システム全体のチューナビリティがベクトルデータベースの必須機能となっています。
ベクターデータベースは何のためにあるのか？
ベクターデータベースは、機械学習モデルからのエンベッディングのパワーを活用した、構造化されていない膨大なデータセット全体の保存、インデックス付け、検索のための完全に管理されたソリューションです。ベクトル・データベースには以下のような特徴があります：
スケーラビリティとチューナビリティ
マルチテナンシーとデータの分離
完全なAPIスイート
直感的なユーザーインターフェース/管理コンソール
スケーラビリティ
| Zillizクラウド | Qdrantクラウド | |
|---|---|---|
| 億スケール・ベクトル・サポート | ||
| 水平スケーリング｜ √｜可能だが、事前計画とエンジニアリングの労力が必要 | ||
| ストレージとコンピューティングの分離 | ||
| 動的なセグメント配置と静的なデータシャーディングの比較｜動的なセグメント配置｜静的なデータシャーディング | ||
| クエリーと挿入の分離｜はい。コンポーネント・レベルでは（よりきめ細かいスケーラビリティを提供する）。 | サーバー・レベルでのスケーリングのみ。 |
機能
| Zillizクラウド | Qdrantクラウド | |
|---|---|---|
| 役割ベースのアクセス制御（RBAC）｜√｜いいえ。 | ||
| ディスク・インデックス・サポート｜√｜いいえ。 | ||
| ハイブリッド検索（スカラー・フィルタリング）｜あり（マルチモーダル、密＋疎検索）｜あり（ベクトル・インデックスと従来のインデックスを組み合わせる）｜ハイブリッド検索（スカラー・フィルタリング）｜あり（密＋疎検索）｜あり（ベクトル・インデックスと従来のインデックスを組み合わせる）｜あり（ベクトル・インデックスと従来のインデックスを組み合わせる | ||
| パーティション・キー・サポート |
目的別
| 特長｜ジーリズクラウド｜Qdrantクラウド
| 整合性を調整可能 | ベクトル・データのストリームとバッチの両方をサポート。 | バイナリ・ベクトル・サポート | 多言語SDK｜Python、Java、Go、C++、Node.js、Ruby｜Python、Go、Rust｜。
エンタープライズ対応
| | Zillizクラウド | Qdrantクラウド
| 役割ベースのアクセス制御(RBAC) | ただし、AWSプレミアム・ティアのみ。 | プライベート・エンドポイント｜√｜あり、ただしAWSはPremium Tierのみ | 耐障害性保証｜99.95%｜99.9 | コンプライアンスとプライバシー｜SoC 2 Type II、ISO27001、GDPR対応、HIPPA対応｜SoC 2 Type
詳細はMilvus vs Qdrant比較ページをご覧ください。
次は？
Zilliz Cloud](https://zilliz.com/cloud)を無料でお試しください。
Zilliz Cloudでベクトル検索の力を引き出す](https://zilliz.com/event/unlocking-power-vector-search-zilliz-cloud-webinar)
Zilliz CloudでジェネレーティブAIの可能性を最大限に引き出す](https://zilliz.com/learn/Retrieval-Augmented-Generation)
Steffi LiSteffi is the Director of Product Marketing at Zilliz, with prior experience leading the GTM strategies for open-source data technologies such as Apache Kafka and Apache Airflow. Passionate about travel, yoga, and non-fiction reading, she brings a balanced and enriched worldview to her professional pursuits.
読み続けて
ベクターデータベースの選び方：Elastic CloudとZilliz Cloudの比較
Elastic CloudとZilliz Cloudをベンチマーク、コスト、機能で徹底比較。
ベクターデータベースの選び方：Weaviate CloudとZilliz Cloudの比較
Weaviate CloudとZilliz Cloud、Milvusをベンチマーク、コスト、機能で徹底比較。
ベクターデータベースの性能ベンチマーク：テクニックと洞察
この記事では、ベクターデータベースの主な評価指標とベンチマークツールについて明確に掘り下げています。さらに、ベクターデータベースを評価し、十分な情報に基づいた意思決定を行うためのヒントを提供します。