学習
ユースケースに合ったベクターデータベースの選び方

ベクターデータベースの選び方：QdrantクラウドとZillizクラウドの比較

By Steffi LiDirector of Product Marketing

Published Oct 18, 20241 分で読めます

このQdrant比較の最終更新日は2024年10月17日です。最新の調査結果を提供するため、このブログは最新のベンチマーク数値で定期的に更新されます。

ベクターデータベースは全て同じではありません。

人工知能と機械学習の速いペースの世界では、ベクトル・データベースは高次元データの管理とクエリに不可欠となっている。昨年、ベクトル検索のユースケースがプロトタイプから本番へと移行し、市場のダイナミクスが変化し、データベースのパフォーマンスとスケーラビリティの水準が高まったことで、私たちは大きな変化を目の当たりにした。このような特殊なデータベースに対する需要が、実際の大規模な展開によって高まる中、すべてのソリューションが同じように作られているわけではないことを理解することが不可欠です。本記事では、この分野のリーディング・プレイヤー2社を比較します：QdrantとZilliz Cloudです。それぞれ全く異なる方法でプロダクションスケールのベクトル検索に取り組んでいます。

Qdrant中規模展開に最適化

Qdrantは、特に中規模データセット向けの高性能ベクトル検索にフォーカスしていることで知られています：

1.HNSWの最適化: Qdrantは、低レイテンシ、高スループット、高リコール率で知られるHierarchical Navigable Small World (HNSW)アルゴリズムの長所をうまくアピールしています。

2.**このプラットフォームは、量子化やメモリマップド（mmap）ファイルI/Oなど、費用対効果を向上させる機能をいくつか導入しており、特定の作業負荷に対してメモリ使用量を大幅に削減し、パフォーマンスを向上させることができる。

3.**Qdrantのアーキテクチャは、特に約1億ベクトルまでのデータセットに適しており、優れたパフォーマンス指標を維持することができます。

しかし、Qdrantはより大きなデータセットに拡張する際に課題に直面します：

1.スケーラビリティの限界: データセットが1億ベクトルを超えると、Qdrantのパフォーマンスは低下し始め、インメモリインデックスに依存するため、コストが高くつく可能性があります。

2.**データセットのサイズが大きくなると、Qdrantに必要なメモリ容量が大幅に増加し、インフラコストの上昇につながる可能性があります。

Zilliz Cloud：大規模展開のために設計されたクラウド

これに対し、Zilliz Cloudは超大規模ベクトル検索の課題解決にフォーカスしています：

1.カーディナル検索エンジン: ZillizはCardinalと呼ばれる独自の検索エンジンを開発しました。この検索エンジンは、インメモリとディスクベースのインデックスであるグラフとIVFインデックスをミックスして活用することができます。このハイブリッド・アプローチにより、Zillizは大規模なデータセットに対して、よりコスト効率の高い検索機能を提供することができる。

2.ディスクベースインデックスの利点: ディスクベースインデックスを使用することで、メモリ要件が大幅に削減され、データセットサイズが大きくなるにつれて拡張性が向上する。これにより、ZillizはQdrantが採用しているメモリマップドHNSWソリューションと比較して、特にワーキングセットが利用可能なRAMを超えるような場合に、より高いクエリスループットを維持しながら、非常に大規模なワークロードに適しています。

マネージドサービスと運用に関する考察

両プラットフォームともクラウドベースのソリューションを提供していますが、マネージドサービスに対するアプローチには大きな違いがあります：

1.**Qdrantは主にオープンソースのベクターデータベース製品として設計されています。クラウド製品を提供する一方で、開発者によるハンズオン管理が必要です。Qdrantの他のサービスとの比較で述べたように、インフラストラクチャの複雑さを抽象化したフルマネージドのSaaSソリューションを求める顧客には最適な選択肢ではないかもしれません。

2.2.Qdrantの複雑なスケーリング: Qdrantの水平スケーリングは、コレクションを作成する際にシャードを設定するなど、事前の計画が必要です。再シャーディングはサポートされていないため、データの増加に伴う柔軟性が制限される可能性があります。スケールアップには多大なエンジニアリングが必要です。

3.Zillizのマネージド・アプローチ: Zilliz Cloudは真のマネージド・サービスを提供し、大規模な事前計画やエンジニアリングの労力を必要としないワンクリック水平スケーリングや、バージョンアップなどの最小限の運用労力などの機能を提供します。

エンタープライズ対応とセキュリティ機能

エンタープライズグレードの機能とセキュリティ機能に関しては、QdrantとZilliz Cloudは異なるアプローチを取っています。Qdrantはオープンソースソリューションとして、より基本的なエンタープライズ機能を提供し、主にコア機能に焦点を当て、より高度な機能は開発者やサードパーティの統合によって実装されるようになっています。対照的に、Zilliz Cloudはより包括的なエンタープライズ対応機能一式を最初から提供している。これには、高度なセキュリティ対策、広範なモニタリングとアラート機能、より広範なコンプライアンス認証が含まれる。どちらのプラットフォームもエンタープライズ環境で使用することができますが、厳しいセキュリティ、コンプライアンス、およびモニタリング要件を持つ組織は、追加の開発や統合作業を必要とせずに、Zilliz Cloudのオファリングがよりニーズに合っていると感じるかもしれません。詳細な機能比較については、このブログの後半で紹介する。

このQdrant CloudとZilliz Cloudの比較では、これらの違いを超えて、他の比較項目についても深く掘り下げていきます。ベンチマークでパフォーマンスの観点や、Qdrant Cloudの機能分析も行います。

Qdrant CloudとZilliz Cloudのベンチマーク

Zillizでは、開発者やアーキテクトから、"ベクトル埋め込みワークロードにおいて、ZillizはQdrant Cloudと比較してどうなのか？"という質問を受けます。このような好奇心は様々な動機から生まれるかもしれません。全ては商品レコメンダーや逆画像検索のような機能のための意味的類似検索の構築から始まり、最近ではRAG(Retrieval Augmented Generation)を使ったLLMアプリケーションの構築からきています。

ここ数週間、私たちはベクトル埋め込みワークロードに関して、Zilliz CloudとQdrant Cloudの性能と属性を比較し、包括的な分析を行いました。オープンソースのベンチマークツールであるVectorDBBenchを使い、1秒あたりのクエリ数(QPS)、1ドルあたりのクエリ数(QP$)、レイテンシなどの重要な要素に焦点を当てました。

テストした大規模データセット（≥5Mベクトル）

データセット1:** 10,000,000ベクトル、768次元
データセット2:** 1,536次元の5,000,000ベクトル

テストされた製品（同様の機能を持つ）

Zilliz Cloud (8cu-perf):** パフォーマンスを最適化したコンピュート・ユニットを8基搭載したZilliz Cloud
Zilliz Cloud (2cu-cap):容量最適化コンピュート・ユニット2基搭載のZilliz Cloud
Qdrant Cloud (4c16g-5node): 5台のマシンを使用し、4つのCPUと16GのRAMを搭載したQdrantクラウド

Zilliz Cloudのコンピュートユニットについては、Zillizブログ Zilliz CloudのCUタイプとサイズを紹介をご参照ください。

結果QPS

768次元の1000万ベクトルを処理した場合、Zilliz CloudのオプションはQdrant CloudをQPSでそれぞれ7倍、1倍以上上回りました。

1536次元の500万ベクトルを処理する場合、Zilliz Cloud(8cu-perf)はQdrant CloudをQPSで約8倍上回りますが、Zilliz Cloud(2cu-cap)はQdrant Cloudより低いパフォーマンスを示します。

結果QP$

768次元の1000万ベクトルを処理する場合、Zilliz CloudのオプションはQP$でQdrant Cloudをそれぞれ8倍以上、5倍以上上回った。

1536次元の500万ベクトルを処理する場合、Zilliz CloudオプションはQP$でQdrant Cloudをそれぞれ7倍、3倍上回った。

結果待ち時間

768次元の1000万ベクトルを処理する場合、Zilliz CloudのオプションはQdrant Cloudをレイテンシでそれぞれ12倍、3倍以上上回りました。

1536次元の500万ベクトルを処理する場合、Zilliz CloudのオプションはQdrant Cloudをレイテンシでそれぞれ8倍、1倍以上上回った。