Qdrant vs Click House AIアプリケーションに適したベクターデータベースの選択

ベクターデータベースとは？

QdrantとClickHouseを比較する前に、まずベクターデータベースの概念について説明します；

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、クエリするように設計されています。ベクトルは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を向上させる技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

Qdrantは専用のベクターデータベースです。ClickHouseはオープンソースの列指向データベースで、アドオンとしてベクトル検索機能を備えている。この記事では、両者のベクトル検索機能を比較します。

Qdrant：概要とコアテクノロジー

Qdrantは類似検索や機械学習アプリケーションのために開発されたベクトルデータベースです。ベクトルデータを効率的に扱うためにゼロから設計されており、AIを駆使したプロジェクトに携わる開発者にとって最高の選択肢です。Qdrantはパフォーマンスの最適化に優れ、最新の機械学習モデルに不可欠な高次元のベクトルデータを扱うことができます。

Qdrantの強みの一つは柔軟なデータモデリングです。Qdrantはベクトルだけでなく、各ベクトルに関連するペイロードデータも格納し、インデックスを付けることができます。つまり、ベクターの類似性とメタデータに基づくフィルタリングを組み合わせた複雑なクエリを実行することができ、より強力で微妙な検索が可能になります。QdrantはACIDに準拠したトランザクションにより、同時処理中でもデータの一貫性を保証します。

Qdrantのベクトル検索機能はアーキテクチャの中核を成しています。HNSW](https://zilliz.com/learn/hierarchical-navigable-small-worlds-HNSW)(階層的ナビゲーシブルスモールワールド)アルゴリズムのカスタムバージョンをインデックスに使用しており、高次元空間での効率性で知られています。これにより、多くのAIアプリケーションに不可欠な近似最近傍探索を高速に行うことができる。Qdrantは、精度が速度に勝るシナリオのために、厳密な探索手法もサポートしています。

Qdrantの特徴はクエリ言語とAPIデザインです。ベクトル検索とシームレスに連動する豊富なフィルタリングとクエリオプションを提供し、複雑な多段階クエリを可能にしています。そのため、従来のフィルタリングと並行してセマンティック検索を行う必要があるアプリケーションに特に適しています。Qdrantには自動シャーディングやレプリケーションなどの機能もあり、データやクエリの負荷の増加に合わせて拡張することができます。Qdrantは、文字列マッチング、数値範囲、地理位置など様々なデータタイプやクエリ条件をサポートしています。Qdrantのスカラー、積、バイナリ量子化機能は、特に高次元のベクトルに対してメモリ使用量を大幅に削減し、検索パフォーマンスを向上させます。

ClickHouse：概要とコアテクノロジー

ClickHouseはオープンソースのリアルタイム分析用OLAPデータベースで、SQLをフルサポートしており、高速なクエリ処理が可能です。完全に並列化されたクエリパイプラインと高速なベクトル検索が可能なため、分析クエリに最適です。高い圧縮率（コーデックによってカスタマイズ可能）を持つため、大きなデータセットを保存してクエリすることができる。主な利点のひとつは、メモリに縛られることなく複数TBのデータセットを扱えることで、大規模なベクトルデータを扱うユーザーには最適なツールだ。また、メタデータのフィルタリングと集約をサポートしているので、ベクターとそのメタデータを照会することができます。

ClickHouseはSQLによるベクトル検索機能を備えており、ベクトル距離演算は他のSQL関数と同様です。そのため、従来のフィルタリングや集約と組み合わせることができます。メタデータやその他の情報とともにベクトルデータを照会する必要がある場合に最適です。また、実験的な近似最近傍(ANN)インデックスにより、より高速な(しかし近似的な)マッチングが可能です。また、並列処理による行のリニアスキャンによる厳密なマッチングにより、スピードと効率を向上させます。

ClickHouseは、ベクトルマッチングとメタデータのフィルタリングや集約を組み合わせる必要がある場合のベクトル検索に最適です。特に、複数のCPUコアで並列処理する必要がある非常に大きなベクトルデータセットに最適です。ClickHouseは、SQLサポートが必要で、ベクターデータセットが大きすぎてメモリのみのインデックスに収まらない場合にも適しています。また、既にClickHouseに関連データがある場合や、何百万ものベクトルを管理するために別のツールを習得したくない場合にも、ClickHouseは時間とリソースを節約することができます。ClickHouseが得意とするのは、並列化された高速な完全マッチングと大きなデータセットの処理なので、検索上級者向けです。

ClickHouseはベクトル検索の汎用プラットフォームで、特に並列処理が必要な大規模データセットや、ベクトル検索とSQLベースのフィルタリングや集計を組み合わせる場合に適しています。小規模なメモリバウンドデータセットや高QPSシナリオでは、特化したベクトルデータベースには劣るが、メタデータを含む複雑なクエリを扱えるので、SQLを知っていて高速なベクトル検索を必要とする開発者には最適だ。

主な違い

検索方法

QdrantとClickHouseはベクトル検索に対するアプローチが根本的に異なります。QdrantはカスタムHNSW(Hierarchical Navigable Small World)アルゴリズムをベクトルインデックスに使用しており、高次元の空間や高速な近似最近傍探索に最適です。速度よりも精度が重要な場合、Qdrantは厳密な検索方法もサポートしているので、開発者は検索操作に柔軟に対応することができます。

ClickHouseはSQL関数を通してベクトル検索を実装しており、ベクトル操作をSQLインターフェースに直接統合しています。これにより、並列リニアスキャンや実験的近似最近傍(ANN)インデックスによる厳密なマッチングが可能になります。Qdrantのベクトル検索ほど専門的ではありませんが、SQLに慣れているチームには最適です。

データハンドリング

Qdrantはベクトルデータをペイロード情報と共に扱うことができます。ベクターとメタデータを一緒に保存し、メタデータフィルタリングでベクターに問い合わせることができます。システムはACID準拠のトランザクションによる強力なデータ一貫性を持っており、並行処理下でも信頼性があります。

ClickHouseはより広範なアプローチを取り、分析クエリ用に設計されており、メモリに制限されることなく複数TBのデータセットを扱うことができる。カスタマイズ可能なコーデックによる高圧縮で効率的なストレージを実現し、大きなデータセットに最適です。ベクトル演算と従来のSQLクエリ、フィルタリング、集計を1か所で行うことができます。

スケーラビリティとパフォーマンス

両システムはスケールが異なります。Qdrantには自動シャーディングとレプリケーションによるスケーリング機能が組み込まれています。スカラー、積、バイナリ量子化により検索性能が向上し、特に高次元ベクトルを扱う際にメモリ使用量を削減し、より効率的になります。

ClickHouseは、複数のCPUコアにまたがる並列処理によって拡張します。大きなデータセットを扱うのに最適で、他の分析クエリーと一緒にベクトル演算を処理することができます。しかし、QPSが高く、メモリ使用量の少ないデータセットの場合は、特殊なベクトルデータベースの方がパフォーマンスが高いかもしれません。

柔軟性と統合性

Qdrantはベクトル検索に特化したクエリ言語を持っています。開発者はセマンティック検索と従来のフィルタリングを組み合わせた複雑な多段階クエリを作成することができます。単純な文字列のマッチングから数値範囲やジオロケーションまで、多くのデータタイプやクエリ条件をサポートしています。

ClickHouseはSQLインターフェイスを通じて柔軟であるため、すでにSQLに精通している開発者にとってはベクトル操作が自然に感じられます。この統合により、チームは新しいクエリ言語やシステムを学ぶことなく、他の分析操作とともにベクトルデータを処理することができます。

Qdrantを選ぶとき

Qdrantはベクトル類似検索が主なユースケースで、特別なパフォーマンスが必要な場合に適しています。高次元のベクトル演算、ACID準拠、自動シャーディングとレプリケーション、ベクトルの量子化とメモリ効率に最適です。複雑なフィルタリングやペイロードをサポートした高速ベクトル検索を必要とするAIアプリケーションを構築する場合、特に機械学習モデルを使用し、スケーリングが必要な場合にQdrantをお選びください。

クリックハウスを選ぶとき

ClickHouseは、メモリに収まらない非常に大きなベクトルデータセットがあり、複雑なSQL操作と統合する必要がある場合に使用します。既にClickHouseを分析に使用している場合、ベクトル操作に並列処理を使用したい場合、またはチームがSQLに精通している場合に特に有効です。ベクトル検索と従来のデータ分析を組み合わせる必要がある場合、特に複数のCPUコアにまたがる並列計算が重要なビッグデータ処理にはClickHouseをお選びください。

結論

QdrantとClickHouseはどちらも強力なベクトル検索機能を持っていますが、そのニーズは異なります。Qdrantは最適化された検索アルゴリズムと完全なベクトル演算を持つベクトル検索に特化したデータベースで、ベクトル検索専用のアプリケーションに最適です。ClickHouseは、SQLの世界にベクトル検索を持ち込んだ強力な分析データベースで、ベクトル操作と幅広いデータ分析を組み合わせるのに最適です。ユースケース、データ量、検索要件、既存のインフラ、チームの専門知識に合わせてお選びください。

QdrantとClickHouseの概要についてはこちらをご覧いただきたいが、これらを評価するには、ユースケースに基づいて評価する必要がある。そのために役立つツールの一つが、ベクターデータベースの比較のためのオープンソースのベンチマークツールであるVectorDBBenchです。最終的には、独自のデータセットとクエリパターンを使って徹底的にベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力だが異なるこの2つのアプローチのどちらを選ぶかを決める鍵となるでしょう。

オープンソースのVectorDBBenchを使ってベクトルデータベースを評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのためのオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムを独自のデータセットを使ってテストし比較し、自分のユースケースに合うものを見つけることができます。VectorDBBenchを使えば、ユーザーはマーケティング上の主張や伝聞ではなく、実際のベクトルデータベースのパフォーマンスに基づいて決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)