Elasticsearch vs Clickhouse：GenAIアプリケーションに適したデータベースの選択

AI主導のアプリケーションが進化する中、これらの進化をサポートするベクトル検索機能の重要性はいくら強調してもし過ぎることはない。このブログポストでは、ベクトル検索機能を持つ2つの著名なデータベースについて説明する：Elasticsearch と Clickhouse です。ElasticsearchとClickhouse**である。それぞれ、推薦エンジン、画像検索、セマンティック検索などのアプリケーションに不可欠なベクトル検索を扱うための堅牢な機能を提供している。私たちのゴールは、開発者やエンジニアに明確な比較を提供し、どのデータベースが彼らの特定の要件に最も合致するかを決定する手助けをすることです。

ベクターデータベースとは？

Elasticsearch と Clickhouse を比較する前に、まずベクターデータベースのコンセプトについて説明します；

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database) は高次元のベクトル を保存し、クエリするために特別に設計されています。ベクトルは非構造化データ の数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を向上させる技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

ElasticsearchはApache Luceneベースの検索エンジンであり、ClickHouseはオープンソースの列指向データベースである。どちらもアドオンとしてベクトル検索機能を持っている。この投稿では、両者のベクトル検索機能を比較する。&#x20；

Elasticsearch：概要とコアテクノロジー

Elasticsearch は Apache Lucene ライブラリ上に構築されたオープンソースの検索エンジンです。リアルタイムのインデックス作成と全文検索で知られているため、重いアプリケーションやログ分析に最適な検索エンジンです。Elasticsearchを使えば、大量のデータを高速かつ効率的に検索・分析することができます。

Elasticsearchは検索と分析のために構築され、ファジー検索、フレーズマッチ、関連性ランキングなどの機能を備えています。複雑な検索クエリやリアルタイムのデータ検索が必要なシナリオに最適です。AIアプリケーションの台頭により、Elasticsearchはベクトル検索機能を追加し、画像認識、文書検索、Generative AIなどのAIユースケースに必要な類似検索や意味検索ができるようになりました。

ベクター検索

ベクター検索は Apache Lucene を通して Elasticsearch に統合されている。Lucene は定期的にマージされる不変のセグメントにデータを整理し、ベクターは他のデータ構造と同じようにセグメントに追加されます。このプロセスでは、インデックスを作成する際にベクタをメモリ上にバッファリングし、 必要なときにバッファをセグメントの一部としてシリアライズします。セグメントを定期的にマージして最適化を行い、すべてのセグメントでヒットしたベクターを検索します。

Elasticsearch はベクトルのインデックス作成に HNSW (Hierarchical Navigable Small World) アルゴリズムを使用しており、類似したベクトル同士をつなげたグラフを作成します。HNSWはシンプルで、強力なベンチマーク性能を持ち、インデックスの完全な再学習を必要とせずにインクリメンタルな更新に対応できることから選ばれました。このシステムは、通常数十ミリ秒から数百ミリ秒でベクトル検索を実行し、総当たりアプローチよりもはるかに高速である。

Elasticsearch の技術的なアーキテクチャは最大の強みの一つである。このシステムは同時インデックス作成中であってもロックフリー検索をサポートし、ドキュメントの更新時には異なるフィールド間で厳格な一貫性を維持する。そのため、ベクトルフィールドとキーワードフィールドの両方を更新した場合、検索はすべての古い値かすべての新しい値のどちらかを見ることになり、データの一貫性が保証される。システムは利用可能なRAMを超えて拡張することができますが、ベクターデータがメモリに収まる場合にパフォーマンスが最適化されます。

コアとなるベクトル検索機能だけでなく、Elasticsearchは実用的な統合機能を提供しており、その価値は非常に高い。ベクトル検索は従来のElasticsearchのフィルタと組み合わせることができるので、ベクトルの類似性と全文検索結果をミックスしたハイブリッド検索を行うことができます。ベクトル検索は Elasticsearch のセキュリティ機能、アグリゲーション、インデックスソートと完全に互換性があるため、最新の検索ユースケースに対応する完全なソリューションです。

クリックハウス概要とコアテクノロジー

ClickHouseはオープンソースのリアルタイム分析用OLAPデータベースで、SQLをフルサポートしており、高速なクエリ処理が可能です。完全に並列化されたクエリパイプラインと高速なベクトル検索が可能なため、分析クエリに最適です。高い圧縮率（コーデックによってカスタマイズ可能）を持つため、大きなデータセットを保存してクエリすることができる。主な利点のひとつは、メモリに縛られることなく複数TBのデータセットを扱えることで、大規模なベクトルデータを扱うユーザーには最適なツールだ。また、メタデータのフィルタリングと集約をサポートしているので、ベクターとそのメタデータを照会することができます。

ClickHouseはSQLによるベクトル検索機能を備えており、ベクトル距離演算は他のSQL関数と同様です。そのため、従来のフィルタリングや集約と組み合わせることができます。メタデータやその他の情報とともにベクトルデータを照会する必要がある場合に最適です。また、実験的な近似最近傍(ANN)インデックスにより、より高速な(しかし近似的な)マッチングが可能です。また、並列処理による行のリニアスキャンによる厳密なマッチングにより、スピードと効率を向上させます。

ClickHouseは、ベクトルマッチングとメタデータのフィルタリングや集約を組み合わせる必要がある場合のベクトル検索に最適です。特に、複数のCPUコアで並列処理する必要がある非常に大きなベクトルデータセットに最適です。ClickHouseは、SQLサポートが必要で、ベクターデータセットが大きすぎてメモリのみのインデックスに収まらない場合にも適しています。また、既にClickHouseに関連データがある場合や、何百万ものベクトルを管理するために別のツールを習得したくない場合にも、ClickHouseは時間とリソースを節約することができます。ClickHouseが得意とするのは、並列化された高速な完全マッチングと大きなデータセットの処理なので、検索上級者向けです。

ClickHouseはベクトル検索の汎用プラットフォームで、特に並列処理が必要な大規模データセットや、ベクトル検索とSQLベースのフィルタリングや集計を組み合わせる場合に適しています。小規模なメモリバウンドデータセットや高QPSシナリオでは、特化したベクトルデータベースには劣るが、メタデータを含む複雑なクエリを扱えるので、SQLを知っていて高速なベクトル検索を必要とする開発者には最適だ。

主な違い

ベクトル検索はAIを利用したアプリケーションでより一般的になりつつあるため、ユースケースに適したツールを選択することが鍵となります。Elasticsearch と ClickHouse はどちらもベクトル検索の機能を持っていますが、そのアーキテクチャと設計方針に基づいて異なるニーズに対応しています。以下は、選択の参考となる内訳です。

---

検索方法

• ElasticsearchElasticsearch には HNSW (Hierarchical Navigable Small World) アルゴリズムによるベクトル検索があります。このグラフベースのアプローチは類似したベクトルを結びつけ、効率的な最近傍検索を可能にします。HNSWはインデックスを再構築することなくインクリメンタルな更新をサポートするので、頻繁な更新が必要なアプリケーションに適しています。また、ベクトル類似度を従来のフィルタと組み合わせることで、キーワードの関連性とベクトル距離のブレンドのようなハイブリッド検索シナリオも可能です。
• ClickHouse：ClickHouseはSQLクエリーエンジンにベクトル検索を組み込んでいる。ブルートフォース（並列処理）による厳密なベクトルマッチングと近似最近傍（ANN）インデックスをサポートしている。そのため、ベクトル検索とともにメタデータのフィルタリングや集約が必要なユースケースに適している。SQLネイティブのアプローチは、すでにリレーショナル・データベースに慣れ親しんでいる開発者には最適だ。

---

データ

• ElasticsearchElasticsearchは非構造化データおよび半構造化データ用に設計されている。全文検索、ファジーマッチング、関連性ランキングなどの機能を備え、大量のテキストデータセットの管理と検索に最適です。ベクトルデータは、既存のLuceneベースのアーキテクチャに格納され、テキストとベクトルのような混合データ型であっても、強力な一貫性保証を提供します。
• ClickHouse：ClickHouseは、構造化データおよび半構造化データ用のOLAPデータベースである。巨大なデータセットを高圧縮で扱うように設計されているため、数テラバイトのベクトルデータを扱うシナリオに適している。ベクトル操作はメタデータや構造化クエリとうまく統合されるので、高度な分析ワークフローに最適です。

---

スケーラビリティとパフォーマンス

• Elasticsearch：Elasticsearch はインメモリ・ベクター検索に適しているが、必要に応じてディスクベースのインデックスに拡張できる。HNSWは高いQPS（クエリ/秒）環境では効率的だが、ベクトルデータがメモリに収まる場合にパフォーマンスが最も良くなる。Elasticsearchは分散型なのでノード間で水平にスケールすることができ、大規模なアプリケーションに適している。
• ClickHouseClickHouseは複数のCPUコアでクエリを並列処理できるため、大規模なデータセットに適している。圧縮機能により、ストレージ・コストとI/Oパフォーマンスを削減できる。ClickHouseのベクトル検索はElasticsearchほど特化していませんが、ベクトルデータとメタデータを使った分析ワークロードのスケーラビリティでそれを補います。

---

柔軟性とカスタマイズ

• Elasticsearch：Elasticsearch はハイブリッド検索、インデックスのソート、セキュリティ機能など幅広いカスタマイズが可能だ。可視化のためのKibanaやデータ取り込みのためのBeatsのようなツールもあり、より柔軟だ。
• ClickHouse：ClickHouseの柔軟性はSQLモデルにある。開発者は新しいクエリ言語を学ぶことなく、ベクトル演算、メタデータのフィルタリング、集計を組み合わせた複雑なクエリを構築できる。カスタマイズ可能な圧縮コーデックにより、ユーザーは特定のワークロードに対してストレージを最適化することができる。

---

統合とエコシステム

• Elasticsearch：データパイプライン（Logstash）、可視化（Kibana）、セキュリティなど、Elasticsearch を取り巻くエコシステムは成熟している。広範な採用により、プラグイン、コミュニティサポート、Elastic Cloudのようなマネージドサービスを簡単に見つけることができる。
• ClickHouse：ClickHouseはSQLファーストの設計のため、アナリティクスやBIツールとうまく統合できる。Elasticsearchのようなコミュニティ主導のプラグインはありませんが、OLAPにフォーカスしているため、高性能なベクトル検索を使用する分析アプリケーションには自然にフィットします。

---

使いやすさ

• Elasticsearch：Elasticsearch はドキュメントが充実しており、RESTful API は開発者に優しい。しかし、分散環境ではセットアップとメンテナンスが複雑になる可能性があります。
• ClickHouse：ClickHouseはSQLに精通している開発者に優しい。インストールと管理は比較的簡単だが、ベクトル検索のパフォーマンスを上げるための微調整には専門知識が必要だ。

---

コスト

• Elasticsearch：Elasticsearch はメモリを大量に消費するため、特に QPS の高いユースケースでスケーリングする場合、運用コストが増加する可能性があります。Elastic Cloudのようなマネージド・サービスは運用を簡素化できますが、その分コストがかさみます。
• ClickHouse：ClickHouseの高圧縮と並列処理は大規模なデータセットに対してコスト効率が高い。メモリに縛られないインデックスの運用が可能で、インフラコストをさらに削減できる。

---

セキュリティ

• ElasticsearchElasticsearch は強固なセキュリティ機能を備えています：ロールベースのアクセスコントロール、静止時の暗号化、きめ細かなパーミッション。これらの機能はエコシステムにうまく統合されており、エンタープライズグレードの要件を満たしています。
• ClickHouseClickHouseはアクセスコントロール、SSL暗号化、監査ログを備えている。ほとんどのアプリケーションには十分ですが、Elasticsearchのエンタープライズ向け機能には劣ります。

---

Elasticsearch を使用する場合

Elasticsearch は全文検索とベクトル類似検索のハイブリッド検索が必要なユースケースに適しています。HNSWベースのベクトル検索はリアルタイムでQPSの高い環境に最適化されているため、AIを利用した文書検索、電子商取引のレコメンデーションシステム、生成AIに適しています。成熟したエコシステム、ビルトインのセキュリティ、豊富なインテグレーションから選択できるElasticsearchは、スケーラビリティと運用の容易さが鍵となる分散環境に最適です。

ClickHouseを使用する場合

ClickHouseは、並列処理とストレージを必要とする巨大なデータセット、分析負荷の高いアプリケーション、または大規模なAIワークロードがあるシナリオに適しています。SQLネイティブのアプローチにより、ベクトル検索とメタデータのフィルタリングや集計を簡単に組み合わせることができるので、リレーショナル・データベースに慣れている開発者に適しています。ClickHouseは、数テラバイトのデータセットをメモリに縛られることなくインデックスなしで処理できるため、ベクトルデータと構造化データを混在させたクエリでもコスト効率よく高いパフォーマンスを発揮します。

概要

Elasticsearch と ClickHouse はどちらもベクトル検索に適しているが、ユースケースは異なる。Elasticsearch は成熟したエコシステムとユーザーフレンドリーな API を持つリアルタイムのハイブリッド検索に適しており、ClickHouse は SQL を中心としたワークフローとスケーラブルなアーキテクチャを持つ大規模分析に適しています。ユースケースに応じて、どちらかを選択してください。多くの機能を備えたリアルタイム検索が必要なのか、それとも膨大なデータセットのためのスケーラブルな分析が必要なのか。データ・タイプ、クエリ・パターン、パフォーマンス要件を把握することで、正しい判断ができます。

ElasticsearchとClickhosueの概要についてはこちらをご覧ください。それに役立つツールの1つが、ベクトルデータベース比較のためのオープンソースベンチマークツールであるVectorDBBenchだ。最終的には、独自のデータセットとクエリパターンを使って徹底的にベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力ではあるが異なるこの2つのアプローチのどちらを選ぶかを決める鍵となるだろう。

オープンソースのVectorDBBenchを使ってベクトルデータベースを評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのためのオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムを独自のデータセットを使ってテストし比較し、自分のユースケースに合うものを見つけることができます。VectorDBBenchを使えば、ユーザーはマーケティング上の主張や伝聞ではなく、実際のベクターデータベースのパフォーマンスに基づいて決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)