ChromaとValdの比較：ニーズに合ったベクターデータベースの選択

AIやデータ駆動型テクノロジーの進歩に伴い、アプリケーションに適したベクターデータベースを選択することがますます重要になってきている。ChromaとValdは、この分野における2つの選択肢です。本記事では、これらのテクノロジーを比較し、あなたのプロジェクトに十分な情報を得た上での決断をお手伝いします。

ベクターデータベースとは？

ChromaとValdを比較する前に、まずベクターデータベースの概念について説明します；

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、クエリするために設計されています。ベクトルは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションの役割を果たし、より高度なデータ分析と検索を可能にする。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLM)の性能を向上させる技術であるRAG(Retrieval Augmented Generation)でも役割を果たしている。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

メタ説明: ChromaとValdはベクターデータベースである。この投稿では、両者のベクター検索機能を比較する。

Chroma**とは？概要

Chromaは、AIアプリケーションの構築プロセスを簡素化する、オープンソースのAIネイティブベクターデータベースです。大規模な言語モデル（LLM）と、それらが効果的に機能するために必要なデータとの橋渡しをする。Chromaの主な目的は、知識、事実、スキルにLLMが簡単にアクセスできるようにすることで、AI搭載アプリケーションの開発を効率化することだ。Chromaの中核は、ベクターデータを管理するためのツールを提供することで、開発者はエンベッディング（データのベクター表現）を関連するメタデータとともに保存することができる。この機能は、多くのAIアプリケーションにとって非常に重要であり、ベクトル関係に基づく効率的な類似検索やデータ検索を可能にします。

Chromaの主な強みのひとつは、シンプルさと開発者の生産性を重視していることだ。Chromaの開発チームは、開発者がベクトル検索機能をアプリケーションに素早く統合できるよう、直感的なインターフェイスを作ることを優先した。使いやすさを重視するあまり、パフォーマンスが犠牲になることはありません。Chromaは高速かつ効率的に設計されているため、さまざまなアプリケーションに適している。Chromaはサーバーとして動作し、PythonとJavaScript/TypeScriptの両方に対応したクライアントSDKを提供します。

Chromaの機能は、関連するエンベッディングのグループであるコレクションの概念を中心に展開されます。Chromaのコレクションにドキュメントを追加すると、システムは自動的にトークン化し、指定されたエンベッディング関数（指定されていない場合はデフォルトの関数）を使ってエンベッディングを行います。この処理により、生データは効率的に検索できるベクトル表現に変換される。エンベッディングとともに、Chromaでは各文書のメタデータを保存することができ、これにはデータのフィルタリングや整理に役立つ追加情報を含めることができます。Chromaは柔軟なクエリーオプションを提供しており、ベクトル埋め込みまたはテキストクエリーのいずれかを使用して類似文書を検索し、ベクトルの類似性に基づいて最も近い一致を返します。

Chromaはいくつかの点で際立っている。そのAPIは直感的で使いやすいように設計されており、ベクターデータベースを初めて使う開発者にとっても学習曲線が少なくなっている。様々なタイプのデータをサポートし、異なるエンベッディングモデルを使用することができるため、ユーザーは特定のユースケースに最適なアプローチを選択することができる。Chromaは、他のAIツールやフレームワークとシームレスに統合できるように構築されており、複雑なAIパイプラインに適している。さらに、Chromaはオープンソース（ライセンスはApache 2.0）であるため、透明性が高く、コミュニティ主導の改善やカスタマイズが可能です。Chromaチームは、マネージドサービス（Hosted Chroma）の計画や様々なツールの改善など、積極的に機能強化に取り組んでおり、継続的な開発とサポートへのコミットメントを示している。

Vald**とは？概要

Vald は膨大なベクトルデータを高速に検索するための強力なツールです。何十億ものベクトルを扱えるように作られており、ニーズが大きくなれば簡単に拡張できます。Vald の素晴らしいところは、NGT と呼ばれる超高速アルゴリズムを使って類似ベクトルを見つけることです。

Valdの最も優れた特徴の一つは、インデックスの処理方法です。通常、インデックスを作成する場合、すべてを停止しなければならない。しかし、Valdは賢い。インデックスを異なるマシンに分散させるので、インデックスが更新されている間も検索を続けることができる。さらに、Valdはインデックス・データを自動的にバックアップするので、何か問題が発生してもすべてを失う心配はない。

Valdは様々なセットアップにフィットするのが素晴らしい。データの出入りをカスタマイズできるので、gRPCとの相性も良い。また、クラウド上でスムーズに動作するように構築されているため、必要なときにコンピューティングパワーやメモリを簡単に追加することができる。Valdはデータを複数のマシンに分散させるので、膨大な量の情報を処理するのに役立つ。

Valdが持つもうひとつの巧妙なトリックは、インデックスの複製だ。各インデックスのコピーを異なるマシンに保存する。つまり、1台のマシンに問題が発生しても、検索は問題なく行えるということだ。Valdは自動的にこれらのコピーのバランスをとるので、心配する必要はない。これらのことから、Valdは大量のベクターデータを迅速かつ確実に検索する必要がある開発者にとって、確かな選択肢となる。

主な相違点

ベクトル検索機能を必要とするAIアプリケーションを構築する場合、ChromaとValdは同じ問題に対して異なるソリューションを提供する。それぞれに強みと癖があり、特定のユースケースに適している。違いを知ることで、プロジェクトに適したツールを選ぶことができる。

検索方法

Chromaは、ユーザーフレンドリーなアプローチでベクター検索を行います。生のドキュメントを入力すると、Chromaがベクターに変換してくれます。このように技術的な詳細が抽象化されているため、ベクトル検索を管理するのではなく、アプリケーションを構築したい場合に最適です。Valdは類似検索にNGT（Neighborhood Graph and Tree）アルゴリズムを採用している。この特化したアプローチは膨大なベクトルデータセットに最適で、何十億ものベクトルがある場合には良い選択です。

データ

各システムがどのようにデータを扱うかは、それぞれの設計の違いを反映している。Chromaは、関連するアイテムがグループ化されたコレクションベースのアプローチを採用しています。各アイテムは、ベクトル埋め込みと追加メタデータの両方を保存することができるので、各ベクトルが何を表しているかを追跡し、検索にコンテキストを追加することができます。Valdはより焦点を絞ったアプローチで、純粋なベクターオペレーションを大規模に行う。複数のマシンにデータを分散させるので、大規模なデータセットには最適だが、Chromaのようなメタデータ管理は組み込まれていない。

スケーラビリティとパフォーマンス

アプリケーションの規模が大きくなると、その違いはより明確になります。Chromaは小規模から中規模のプロジェクトに適しており、ほとんどのユースケースにおいて効率的で高速です。Valdはスケーラビリティのために作られた。何十億ものベクターを処理し、複数のマシンにワークロードを分散し、インデックス更新中も実行し続けることができる。また、データのバックアップやサーバー間の負荷分散も管理できるので、大規模な導入にも適している。

統合

インテグレーションは両者で異なる。ChromaはPythonやJavaScript/TypeScriptと簡単に統合でき、一般的なAIフレームワークやツールをサポートしている。これらの環境での開発者に最適だ。ValdはgRPC統合とクラウドネイティブアーキテクチャを持ち、カスタムデータ入出力用のツールを備えている。複雑な分散システムにより柔軟に対応できるが、実装にはより専門的な技術が必要となる。

使いやすさ

使いやすさの違いは大きい。Chromaは開発者の使いやすさを最優先しており、数行のコードで使い始めることができます。ドキュメントは実用的な例や自動埋め込みなどの機能に重点を置いており、手動で変換することなく、すぐにベクトルを扱い始めることができます。Valdは、より多くのセットアップと分散システムの概念の理解を必要とします。Valdには強力な機能がありますが、効果的に使用するためにはインデックスの複製や分散コンピューティングのようなトピックを理解する必要があります。

必要なコストとリソース

コストとリソース要件は両者で異なる。Chromaは、Apache 2.0ライセンスのもと、無償でオープンソースを提供しており、マネージドサービス（Hosted Chroma）も開発中です。基本的なセットアップに必要なリソースが少ないため、小規模なプロジェクトやベクター検索を始めたばかりのチームに適している。Valdもオープンソースですが、分散型のため、より多くのインフラ計画とリソースが必要です。

Chromaを選ぶべきとき

迅速なセットアップ、優れたメタデータ管理、Python/JSとの統合をお望みならChromaをお選びください。プロトタイプを作成するチームや、中規模のアプリケーション、複雑なインフラを管理せずにドキュメントの自動埋め込みを行いたい場合に最適です。

Valdを選ぶとき

何十億ものベクターがあり、分散コンピューティングやフォールト・トレランスによる高可用性が必要な場合、Vald をお選びください。分散システムの専門知識を持ち、ダウンタイムなしに継続的なインデックス作成を必要とし、複雑なインフラストラクチャを管理できるチーム。

結論

Chromaは使いやすく、開発者に優しいので、ベクター検索をすぐに始めたいチームに最適だ。自動埋め込みとメタデータ管理により、規模よりもシンプルさが重要な中規模アプリケーションに最適。Valdは、パフォーマンスと分散コンピューティングが重要で、数十億のベクトルを持ち、複雑なインフラストラクチャを管理できるチームのための大規模なデプロイメントに最適です。どちらを選ぶかは、最終的には、必要な規模、技術的な専門知識、簡単なセットアップが必要か最大のパフォーマンスが必要かによります。どちらも活発にメンテナンスされているオープンソースプロジェクトであるため、ベクター検索に慣れていない場合はChromaから始め、Chromaで扱える範囲を超えるスケールが必要な場合はValdをご利用ください。

本記事ではChromaとValdの概要について説明するが、これらのデータベースを特定のユースケースに基づいて評価することが重要である。このプロセスを支援するツールの1つが、ベクターデータベースのパフォーマンスを比較するために設計されたオープンソースのベンチマークツールであるVectorDBBenchです。最終的には、特定のデータセットとクエリーパターンを使った徹底的なベンチマークが、分散データベースシステムにおけるベクトル検索に対する、強力でありながら異なるこの2つのアプローチのどちらを選ぶかについて、十分な情報を得た上で決断を下すために不可欠となるだろう。

オープンソースのVectorDBBenchを使って、ベクターデータベースを自分で評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザは独自のデータセットを用いてMilvusやZilliz Cloud(マネージドMilvus)などの異なるベクトルデータベースシステムの性能をテスト・比較し、ユースケースに最も適したものを決定することができます。VectorDBBenchを使用することで、ユーザーはマーケティング上の主張や逸話的証拠に頼るのではなく、実際のベクトルデータベースのパフォーマンスに基づいて情報に基づいた決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースの性能を簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)