ChromaとClickHouseの比較：ニーズに合ったベクターデータベースの選択

AIやデータ駆動型テクノロジーの進歩に伴い、アプリケーションに適したベクターデータベースを選択することがますます重要になってきている。ChromaとClickHouseは、この分野における2つの選択肢です。ベクターデータベースとは？

ChromaとClickHouseを比較する前に、まずベクターデータベースのコンセプトについて説明します；

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを保存し、クエリするために設計されています。ベクトルは、非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品属性などの複雑な情報を符号化する。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションの役割を果たし、より高度なデータ分析と検索を可能にする。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLM)の性能を向上させる技術であるRAG(Retrieval Augmented Generation)でも役割を果たしている。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

Chromaはベクターデータベースであり、Clickhouseはベクター検索をアドオンとして持つオープンソースの列指向データベースである。この記事では、両者のベクター検索機能を比較する。

Chroma**とは？概要

Chromaは、AIアプリケーションの構築プロセスを簡素化する、オープンソースのAIネイティブベクターデータベースです。大規模な言語モデル（LLM）と、それらが効果的に機能するために必要なデータとの橋渡しをする。Chromaの主な目的は、知識、事実、スキルにLLMが簡単にアクセスできるようにすることで、AIを搭載したアプリケーションの開発を効率化することだ。Chromaの中核は、ベクターデータを管理するためのツールを提供することで、開発者はエンベッディング（データのベクター表現）を関連するメタデータとともに保存することができる。この機能は、多くのAIアプリケーションにとって非常に重要であり、ベクトル関係に基づく効率的な類似検索やデータ検索を可能にします。

Chromaの主な強みのひとつは、シンプルさと開発者の生産性を重視していることだ。Chromaの開発チームは、開発者がベクトル検索機能をアプリケーションに素早く統合できるよう、直感的なインターフェイスを作ることを優先した。使いやすさを重視するあまり、パフォーマンスが犠牲になることはありません。Chromaは高速かつ効率的に設計されているため、さまざまなアプリケーションに適している。Chromaはサーバーとして動作し、PythonとJavaScript/TypeScriptの両方に対応したクライアントSDKを提供します。

Chromaの機能は、関連するエンベッディングのグループであるコレクションの概念を中心に展開されます。Chromaのコレクションにドキュメントを追加すると、システムは自動的にトークン化し、指定されたエンベッディング関数（指定されていない場合はデフォルトの関数）を使ってエンベッディングを行います。この処理により、生データは効率的に検索できるベクトル表現に変換される。エンベッディングとともに、Chromaでは各文書のメタデータを保存することができ、これにはデータのフィルタリングや整理に役立つ追加情報を含めることができます。Chromaは柔軟なクエリーオプションを提供しており、ベクトル埋め込みまたはテキストクエリーのいずれかを使用して類似文書を検索し、ベクトルの類似性に基づいて最も近い一致を返します。

Chromaはいくつかの点で際立っている。そのAPIは直感的で使いやすいように設計されており、ベクターデータベースを初めて使う開発者にとっても学習曲線が少なくなっている。様々なタイプのデータをサポートし、異なるエンベッディングモデルを使用することができるため、ユーザーは特定のユースケースに最適なアプローチを選択することができる。Chromaは、他のAIツールやフレームワークとシームレスに統合できるように構築されており、複雑なAIパイプラインに適している。さらに、Chromaはオープンソース（ライセンスはApache 2.0）であるため、透明性が高く、コミュニティ主導の改善やカスタマイズが可能です。Chromaチームは、マネージドサービス（Hosted Chroma）の計画や様々なツールの改善など、積極的に機能強化に取り組んでおり、継続的な開発とサポートへのコミットメントを示している。

クリックハウス概要

ClickHouseはオープンソースのリアルタイムOLAPデータベースで、SQLのフルサポートと高速なクエリ処理で知られています。完全に並列化されたクエリパイプラインにより、分析クエリの処理に優れており、ベクトル検索処理を高速に実行できます。コーデックによってカスタマイズ可能な高レベルの圧縮により、ClickHouseは大規模なデータセットの保存とクエリを効率的に行うことができます。ClickHouseの大きな強みは、メモリに制約されることなく複数TBのデータセットを扱えることで、大規模なベクトルデータを扱うユーザーにとって強力なツールとなる。また、メタデータに対するフィルタリングと集約をサポートしており、開発者はベクターと関連するメタデータの両方に対して複雑なクエリを実行することができます。ClickHouseは、SQL機能を通じてベクトル検索機能を統合しており、ベクトル距離演算は他のSQL関数と同様に扱われます。これにより、従来のフィルタリングや集計とシームレスに組み合わせることができるため、ベクトルデータをメタデータやその他の情報と一緒に照会する必要がある場合に最適です。さらに、近似最近傍（ANN）インデックスのような実験的な機能は、近似的ではありますが、より高速なマッチング機能を提供します。ClickHouseは、並列処理により高速性と効率性を保証し、行のリニアスキャンによる厳密なマッチングもサポートしています。ClickHouseは、ベクトルマッチングとメタデータのフィルタリングや集約を組み合わせることが重要な場合に、ベクトル検索の優れた選択肢となります。複数のCPUコアで並列処理する必要がある非常に大きなベクトルデータセットに特に有効です。ClickHouseは、SQLサポートが必要で、ベクターデータセットが大きすぎてメモリのみのインデックスに頼ることができない場合にも有利です。さらに、ClickHouseにすでに関連データがある場合や、何百万ものベクトルを管理するための別のツールの習得を避けたい場合、ClickHouseは時間とリソースの両方を節約することができます。ClickHouseの強みは、高速で並列化された完全一致と大規模なデータセットの処理にあり、高度な検索を必要とするユーザーに適しています。ClickHouseは、特に並列処理を必要とする大規模なデータセットを扱う場合や、ベクトル検索とSQLベースのフィルタリングや集計を組み合わせる場合に、ベクトル検索の汎用性の高いプラットフォームとして際立ちます。専用ベクターデータベースほど、小規模でメモリバウンドデータセットや高QPSシナリオに特化していないかもしれないが、メタデータを含む複雑なクエリーを処理できるため、高速なベクター検索機能を必要とするSQLに精通した開発者にとって強力な選択肢となる。

主な相違点

検索手法とコア機能

Chromaはベクトル検索とAIアプリのために構築されている。ベクトル埋め込みをネイティブに処理し、自動トークン化と埋め込み生成を行います。複雑なクエリーを必要とせず、シンプルなベクトル類似検索を必要とするアプリに適しています。エンベッディングのコレクションを管理・検索し、類似性クエリに対して高速かつ正確な結果を得ることができます。

ClickHouseは、ベクトル検索をSQLフレームワークに統合することで、異なるアプローチを取っています。ベクトル操作をSQL関数として扱うので、ベクトル検索を従来のSQLクエリと組み合わせることができます。これにより、開発者は使い慣れたSQL構文を使って複雑なベクトル操作を行うことができます。ベクトル検索と標準的なSQL操作を組み合わせることができるため、ClickHouseは類似検索と構造化データクエリを組み合わせる必要があるアプリケーションに最適です。

データ処理

Chromaのデータハンドリングはシンプルで効率的です。ベクター化されたコンテンツを管理・検索できるように、関連するメタデータとともに、データをエンベッディングのコレクションに整理します。Chromaにドキュメントを追加すると、必要に応じてエンベッディングが行われます。これは、ベクトル化が必要な非構造化テキストデータを扱うプロジェクトに適しています。

ClickHouseは、よりフル機能のデータハンドリングを備えています。完全なSQLデータベースとして、構造化テーブルから時系列やベクトルまで、様々なデータタイプを管理するのに適しています。カスタマイズ可能なコーデックによる高度な圧縮を使用しているため、大規模なデータセットも効率的に保存・取得できます。ClickHouseは、メモリに縛られることなく複数TBのデータセットを処理できるため、大量の多様なデータを処理する必要があるエンタープライズ規模のアプリケーションに適しています。

スケーラビリティとパフォーマンス

Chromaのパフォーマンスは、小規模から中規模のデータセットにおけるベクトル類似検索に最適化されています。類似性クエリに対して高速かつ正確な結果が得られるように設計されているため、多くのAIアプリに最適だ。しかし、オープンソース版はインメモリのみなので、データセットのサイズはRAMによって制限される。この設計はスピードを優先していますが、非常に大きなデータを必要とするアプリには適していないかもしれません。

ClickHouseは、完全に並列化されたクエリーパイプラインによってスケールします。複数のCPUコアにクエリを分散させることができるため、大規模なベクトル演算を処理することができます。このアーキテクチャにより、ClickHouseは膨大なデータセットを並列処理することができますが、その分システムが複雑になります。並列処理により、ClickHouseは大量のデータからベクトルを検索する必要があるアプリケーションに最適です。

統合と開発者エクスペリエンス

Chromaは、PythonおよびJavaScript/TypeScript用のファーストパーティSDKを通じて、スムーズな開発者体験を提供している。APIはシンプルに設計されているため、ベクターデータベースに初めて触れる開発者でも利用しやすい。Chromaのセットアップは簡単で、ほとんどの開発者は最小限の設定とセットアップですぐに使い始めることができます。ドキュメントもわかりやすく、アプリにベクター検索を追加する方法を学ぶことができます。

ClickHouseは、より多くの初期設定とコンフィギュレーションが必要ですが、それは報われます。SQL構文を使用するため、チームにSQLの経験があれば、学習曲線ははるかに短くなります。ClickHouseは既存のデータパイプラインや分析ツールと統合できますが、ベクター埋め込み生成は自分で行う必要があります。ドキュメントやコミュニティが充実しているので、複雑なソリューションも構築できる。

それぞれを選択するタイミング

Chromaは、シンプルさとスピードを求めるAIアプリケーションの開発チームに最適です。特に、インメモリデータセットで複雑なSQL操作を必要としないプロジェクト、チャットボット、コンテンツ推薦システム、セマンティック検索機能など、ベクトル操作で類似コンテンツを見つけることだけにフォーカスし、データが管理しやすい場合に最適です。

アプリケーションにベクトル検索と複雑なデータ操作の両方が必要な場合は、ClickHouseの方が適しています。大規模なデータ（数テラバイト）があり、ベクトル検索と複雑なSQLクエリを組み合わせる必要がある場合や、複数のCPUコアにまたがる並列処理が必要な場合に最適です。大規模な分析プラットフォーム、マルチモーダル検索システム、またはベクトル検索を既存のデータウェアハウス・ソリューションと統合する必要があるエンタープライズ・アプリケーションを考えてみてください。

要約

ChromaとClickHouseは、それぞれ独自のベクトル検索方法を持っています。Chromaはシンプルで直接的なベクトル操作に対応し、ClickHouseはベクトル機能を備えた包括的なデータハンドリングに対応しています。データサイズ、クエリーの複雑さ、チームの専門知識、統合の必要性を考慮し、どちらのツールも積極的に開発され、豊富な機能を備えていることをお忘れなく。

本記事ではChromaとClickHouseの概要について説明しますが、これらのデータベースを評価する際には、お客様の具体的なユースケースを考慮することが重要です。このプロセスを支援するツールの1つが、ベクターデータベースのパフォーマンスを比較するために設計されたオープンソースのベンチマークツールであるVectorDBBenchです。最終的には、特定のデータセットとクエリーパターンを使った徹底的なベンチマークが、分散データベースシステムにおけるベクトル検索に対する、強力でありながら異なるこの2つのアプローチのどちらを選ぶかについて、十分な情報を得た上で決断を下すために不可欠となる。

オープンソースのVectorDBBenchを使って、ベクターデータベースを自分で評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザは独自のデータセットを用いてMilvusやZilliz Cloud(マネージドMilvus)などの異なるベクトルデータベースシステムの性能をテスト・比較し、ユースケースに最も適したものを決定することができます。VectorDBBenchを使用することで、ユーザーはマーケティング上の主張や逸話的証拠に頼るのではなく、実際のベクトルデータベースのパフォーマンスに基づいて情報に基づいた決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)