Vespa vs ClickHouse AIアプリに適したベクターデータベースの選択

ベクターデータベースとは？

VespaとClickHouseを比較する前に、まずベクターデータベースの概念を探ってみましょう。

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、照会するように設計されています。ベクトルは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために外部知識を提供することで大規模言語モデル(LLMs)のパフォーマンスを向上させる技術である、検索拡張生成(RAG)でも重要な役割を果たしている。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

Vespaは、専用のベクターデータベースです。ClickHouseはオープンソースのカラム指向データベースで、アドオンとしてベクトル検索機能を備えている。この記事では、両者のベクター検索機能を比較する。

Vespa概要とコアテクノロジー

Vespaは強力な検索エンジンとベクトルデータベースで、複数の種類の検索を一度に扱うことができます。ベクター検索、テキスト検索、構造化データによる検索に優れています。つまり、類似したアイテム（画像や商品など）を検索したり、テキスト内の特定の単語を検索したり、日付や数字に基づいて検索結果をフィルタリングしたりすることができます。Vespaは柔軟性があり、単純な数値から複雑な構造まで、さまざまな種類のデータを扱うことができます。

Vespaの際立った特徴のひとつは、ベクトル検索ができることです。ドキュメントにいくつでもベクトルフィールドを追加することができ、Vespaはそれらを素早く検索します。Vespaはテンソルと呼ばれる特殊なベクトルも扱うことができ、マルチパートのドキュメント埋め込みなどを表現するのに便利です。Vespaはこれらのベクトルをどのように保存し検索するかについてスマートなので、速度を落とすことなく本当に大量のデータを扱うことができます。

Vespaは超高速かつ効率的に構築されています。メモリを管理し、検索を行うためにC++で書かれた独自の特別なエンジンを使用しているため、複雑なクエリや大量のデータを扱ってもうまく動作します。新しいデータを追加したり、たくさんの検索を同時に処理したりしても、スムーズに動作し続けるように設計されています。そのため、多くのトラフィックやデータを処理する必要がある、大規模で現実的なアプリケーションに最適です。

Vespaのもう一つの優れた点は、より多くのデータやトラフィックを処理するために自動的にスケールアップできることです。Vespaのセットアップにコンピュータを追加すれば、自動的にそのコンピュータに作業を分散させることができる。これは、複雑なセットアップをすることなく、ニーズの成長に合わせて検索システムを成長させることができることを意味します。Vespaは、データ量やトラフィックの変化に対応するために自動的に調整することもでき、コスト削減に役立ちます。そのため、時間とともに成長する検索システムを必要とするビジネスには最適です。

クリックハウス概要とコアテクノロジー

ClickHouseはオープンソースのリアルタイム分析用OLAPデータベースで、SQLをフルサポートしており、高速なクエリ処理が可能です。完全に並列化されたクエリパイプラインと高速なベクトル検索が可能なため、分析クエリに最適です。高圧縮（コーデックによってカスタマイズ可能）なので、大きなデータセットも保存してクエリできる。主な利点のひとつは、メモリに縛られることなく複数TBのデータセットを扱えることで、大規模なベクトルデータを扱うユーザーには最適なツールだ。また、メタデータのフィルタリングと集約をサポートしているので、ベクターとそのメタデータを照会することができます。

ClickHouseはSQLによるベクトル検索機能を備えており、ベクトル距離演算は他のSQL関数と同様です。そのため、従来のフィルタリングや集約と組み合わせることができます。メタデータやその他の情報とともにベクトルデータを照会する必要がある場合に最適です。また、実験的な近似最近傍(ANN)インデックスにより、より高速な(しかし近似的な)マッチングが可能です。また、並列処理による行のリニアスキャンによる厳密なマッチングにより、スピードと効率を向上させます。

ClickHouseは、ベクトルマッチングとメタデータのフィルタリングや集約を組み合わせる必要がある場合のベクトル検索に最適です。特に、複数のCPUコアで並列処理する必要がある非常に大きなベクトルデータセットに最適です。ClickHouseは、SQLサポートが必要で、ベクターデータセットが大きすぎてメモリのみのインデックスに収まらない場合にも適しています。また、既にClickHouseに関連データがある場合や、何百万ものベクトルを管理するために別のツールを習得したくない場合にも、ClickHouseは時間とリソースを節約することができます。ClickHouseが得意とするのは、並列化された高速な完全マッチングと大きなデータセットの処理なので、検索上級者向けです。

ClickHouseはベクトル検索の汎用プラットフォームで、特に並列処理が必要な大規模データセットや、ベクトル検索とSQLベースのフィルタリングや集計を組み合わせる場合に適しています。小規模なメモリバウンドデータセットや高QPSシナリオでは、特化したベクトルデータベースには劣るが、メタデータを含む複雑なクエリを扱えるので、SQLを知っていて高速なベクトル検索を必要とする開発者には最適だ。

主な違い

適切なベクトル検索ソリューションを選択することは非常に重要です。このVespaとClickHouseの比較は、あなたのユースケースを決定するための違いを理解するのに役立ちます。

コア機能

Vespaはベクトル検索、テキスト検索、構造化データ検索を1つのプラットフォームに統合した検索エンジンです。ドキュメントごとに複数のベクトルフィールドとテンソル演算を扱うことができるので、複雑な検索ユースケースに適しています。

ClickHouseは、SQLレイヤーにベクトル検索機能を組み込んだOLAPデータベースとして、異なるアプローチを取っている。分析的なクエリに最適で、並列クエリ・パイプラインを通じて大規模なベクトル・データセットを処理できる。

検索方法

Vespaの検索エンジンは、高速なリアルタイム検索を実現するためにゼロから構築されています。C++コアエンジンはメモリを効率的に管理し、異なるデータ型にまたがる複雑なクエリを同時に処理することができます。このプラットフォームは近似および厳密な最近傍検索メソッドの両方をサポートしています。

ClickHouseはSQL関数を通してベクトル検索を実装し、ベクトル操作を標準SQL操作として扱います。並列リニアスキャンや実験的な近似最近傍（ANN）インデックスによる厳密なマッチングを提供します。SQLの統合により、ベクトル検索と通常のデータベース操作をシームレスに組み合わせることができます。

データ

Vespaは複数のデータタイプのリアルタイム更新や検索に適しています。このプラットフォームは、ドキュメントごとに複数のベクトルフィールドと複雑なテンソル演算を扱うことができます。リアルタイム更新時のパフォーマンスを維持しながら、構造化データと非構造化データを処理できます。

ClickHouseは、高い圧縮率とカスタムコーデックにより、大規模なデータセットにも対応します。複数TBのデータセットをメモリ制約なしに処理でき、複雑なデータ操作のためのSQLをフルサポートしています。構造化データとメタデータに優れているので、分析ワークロードに最適です。

スケーラビリティとパフォーマンス

Vespaは分散アーキテクチャによって自動的にスケーリングします。クラスタにノードを追加すると、Vespaはデータとプロセスを自動的に分散します。システムはデータ更新中や同時検索負荷が高いときでも一貫したパフォーマンスを維持するので、作業負荷が変化する本番環境に最適です。

ClickHouseは並列処理によって拡張します。システムは複数のCPUコアとノードにクエリーを分散することができます。大規模なバッチ処理や分析ワークロードに最適です。このアーキテクチャにより、大規模なデータセットにまたがる複雑なクエリを実行できます。

柔軟性と統合性

Vespaには、カスタムランキングモデルとリアルタイムモデルサービングによる柔軟性があります。システムには複数のプログラミング言語用のAPIと柔軟なドキュメントスキーマがあり、システムをユースケースに適応させることができます。

ClickHouseは完全なSQLサポートと既存のSQLベースのツールとの統合により柔軟性を備えています。カスタム関数と集計を持ち、複数のデータ形式をネイティブにサポートします。このSQL中心のアプローチは、データベースの専門知識を持つチームに最適です。

使いやすさ

Vespaはそのユニークなアーキテクチャとコンフィギュレーションシステムのため、学習曲線が急です。しかし、複雑な検索ソリューションを効果的に実装することができるように、包括的なドキュメントと複数の使用例を持っています。

ClickHouseは、ベクトル操作のために標準SQL構文を拡張しているため、すでにSQLに精通しているチームにとってより親しみやすいものとなっています。クエリ言語は十分に文書化されており、標準的なデータベース・パターンに従っているため、SQLの経験があるチームにとっては最初の学習曲線が低くなります。

コスト

どちらもオープンソースだが、運用コストはリソース要件によって異なる。Vespaはノードあたりより多くのメモリ、専用の検索インフラ、リアルタイム処理用のリソースを必要とします。ClickHouseは、より多くのストレージスペースと並列処理のためのCPUリソースを必要としますが、一般的に純粋なインメモリソリューションよりも少ないメモリしか必要としません。最終的なコストはユースケース、データ量、クエリーパターンによって異なります。

セキュリティ

どちらもセキュリティ機能を備えています。Vespaはカスタムルールとフィルターによるアプリケーションレベルのセキュリティ、ClickHouseはSQLベースのアクセスコントロールと複数の認証方法をサポートしています。どちらも企業のセキュリティ要件を満たすように設定できます。

Vespa を選ぶとき

Vespaは、複数のデータ型でリアルタイム検索が必要な場合、特にベクトル検索とテキスト検索や構造化データクエリを組み合わせる必要がある場合に最適な選択です。Vespaのアーキテクチャは、即時更新、複雑なランキングモデル、自動スケーリングを必要とするシナリオのために設計されているため、レコメンデーションシステム、パーソナル検索エンジン、コンテンツディスカバリプラットフォームなど、検索品質とレスポンスタイムが重要な本番環境に最適です。

クリックハウスを選ぶとき

ClickHouseは、ベクトル検索と複雑なSQLクエリやデータ分析を組み合わせる必要がある分析シナリオに適しています。並列処理が必要な数テラバイトのベクトルデータセットのアプリケーションに最適で、特にチームがすでにSQLに精通しており、ベクトル検索を既存の分析ワークフローに統合したい場合に最適です。データ分析プラットフォーム、大規模分析システム、ビジネス・インテリジェンス・アプリケーションのように、複雑な集計やデータ変換とともにベクトル類似検索を行う必要がある場合は、ClickHouseをお選びください。

結論

VespaとClickHouseのどちらを選ぶかは簡単で、ユースケースと運用要件によります。Vespaは複数のデータ型にわたるリアルタイム検索、自動スケーリング、複雑なランキングを得意とする。ClickHouseはSQLベースのベクトル操作、並列処理、ビッグデータの取り扱いに優れています。データ量、更新頻度、クエリーパターン、チームの専門知識、リアルタイム検索のパフォーマンスやベクトル検索による分析機能を優先するかどうかを考慮して決定する必要があります。

VespaとClickHouseの概要についてはこちらをお読みいただきたいが、これらを評価するには、ユースケースに基づいて評価する必要がある。それに役立つツールの一つが、ベクターデータベースの比較のためのオープンソースのベンチマークツールであるVectorDBBenchだ。最終的には、独自のデータセットとクエリーパターンによる徹底的なベンチマークが、分散データベースシステムにおけるベクトル検索に対する、強力だが異なるこれら2つのアプローチのどちらを選択するかの鍵となるだろう。

オープンソースのVectorDBBenchを使ってベクトルデータベースを評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのためのオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムを独自のデータセットを使ってテストし比較し、自分のユースケースに合うものを見つけることができます。VectorDBBenchを使えば、ユーザーはマーケティング上の主張や伝聞ではなく、実際のベクターデータベースのパフォーマンスに基づいて決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)**で主流のベクトルデータベースの性能を見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマークベクターデータベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: オープンソースベクターデータベースベンチマークツール](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)