Couchbase vs TiDB: AIアプリケーションに適したベクターデータベースの選択

ベクターデータベースとは？

CouchbaseとKdbを比較する前に、まずベクターデータベースの概念を探ってみよう。&#x20；

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、非構造化データの数値表現である高次元のベクトルを格納し、クエリするために特別に設計されています。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を強化する技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

Couchbaseは分散マルチモデルNoSQL文書指向データベースで、アドオンとしてベクトル検索機能を持つ。Kdbは専用の時系列データベースで、アドオンとしてベクトル検索機能を備えている。

Couchbase：概要とコアテクノロジー

Couchbaseは分散型オープンソースのNoSQLデータベースで、クラウド、モバイル、AI、エッジコンピューティング向けのアプリケーション構築に利用できる。リレーショナルデータベースの強みとJSONの汎用性を兼ね備えている。Couchbaseはまた、ベクトルインデックスをネイティブサポートしていないにもかかわらず、ベクトル検索を実装する柔軟性を提供する。開発者は、ベクトル埋め込み-機械学習モデルによって生成された数値表現-をJSON構造の一部としてCouchbaseドキュメント内に格納することができる。これらのベクトルは、高次元空間で互いに近いデータポイントを見つけることが重要であるセマンティック検索に基づく推薦システムや検索拡張生成のような類似検索のユースケースで使用することができます。

Couchbaseでベクトル検索を可能にする1つのアプローチは、全文検索（FTS）を活用することです。FTSは一般的にテキストベースの検索用に設計されていますが、ベクトルデータを検索可能なフィールドに変換することで、ベクトル検索に対応させることができます。例えば、ベクトルをテキストライクなデータにトークン化することで、FTSはそれらのトークンに基づいてインデックスを作成し、検索することができる。これにより、近似ベクトル検索が容易になり、類似性の近いベクトルを持つ文書に問い合わせる方法を提供することができる。

あるいは、開発者は生のベクトル埋め込みをCouchbaseに保存し、アプリケーションレベルでベクトルの類似度計算を実行することができます。これは、ドキュメントを検索し、ベクトル間のコサイン類似度やユークリッド距離などのメトリックを計算し、最も近い一致を識別することを含む。この方法では、アプリケーションが数学的比較ロジックを処理する間、Couchbaseはベクトルのストレージソリューションとして機能することができます。

より高度なユースケースのために、一部の開発者は、効率的なベクトル検索を可能にする特殊なライブラリやアルゴリズム（FAISSやHNSWのような）とCouchbaseを統合しています。これらの統合は、外部ライブラリが実際のベクトル比較を実行しながら、Couchbaseがドキュメントストアを管理することを可能にします。このように、Couchbaseはまだベクトル検索をサポートするソリューションの一部であることができます。

これらのアプローチを使用することで、Couchbaseはベクトル検索機能を扱うように適応させることができ、類似検索に依存する様々なAIや機械学習タスクのための柔軟な選択肢となる。

Kdb概要とコアテクノロジー

KDBは、GPUを必要としないリアルタイムデータ処理のために設計された時系列データベースです。生データを処理し、ベクトル埋め込みを生成して保存し、リアルタイムで類似検索を実行します。そのマルチモーダルな性能は、ストリーミング、埋め込み生成、ベクトルデータベース機能、生データ処理、時系列処理、分析を統合ソリューションに統合し、様々なデータタイプとユースケースをサポートします。この包括的なアプローチにより、開発者の技術スタックを簡素化し、KDBをさまざまなアプリケーションに適応させることができます。

KDBの主な特徴の1つは、動的なインデックス作成です。これは、厳密なインデックスの制限なしに、類似検索のためのベクトル埋め込みを柔軟に選択することができます。これにより、より高速で柔軟な検索が可能になります。KDBはデータセット間の再エンコードをサポートしており、次元の異なる生データを再エンコードして保存することで、データセットをまたいだ類似検索が可能です。時系列データの場合、KDBはエンベッディング生成なしでもユニークな類似検索機能を提供し、変化の速いデータセットにも遅いデータセットにも対応できる汎用性を提供します。

KDBは、開発者が検索パラメータに基づいてカスタム制約を適用するフィルタを使用することで、ベクトル類似性検索を従来のデータベースクエリと組み合わせることを可能にし、ベクトル検索機能を強化しています。KDBは複数の検索方法をサポートしており、それぞれがユニークなトレードオフを提供しています。正確な最近傍を網羅的に検索するFlatとqFlat、効率的なグラフベースのトラバーサル検索を行うHNSW、高速だが精度の低いクラスタベースの検索を行うIVF、圧縮によりメモリ効率と速度を向上させるIVFPQなどである。

新たに導入されたqHNSWインデックスは、メモリマップドアクセスによるオンディスクストレージを可能にすることで、既存のベクトルインデックスの限界に対処している。qHNSWはオンディスクストレージのためコスト効率が高く、ユーザーは複数のインデックスを同時に作成・検索することができる。このように、KDB.AIではインメモリインデックスとオンディスクインデックスを柔軟に選択できるため、開発者は特定のニーズと利用可能なリソースに基づいてアプリケーションを最適化することができます。

ベクトル検索におけるCouchbaseとKdbの主な違い

検索手法：

Couchbaseはベクトル検索に複数のアプローチを提供している。ベクトルを検索可能なフィールドに変換することで、全文検索（FTS）をベクトルデータに適応させたり、アプリケーションレベルの類似度計算のために生のベクトル埋め込みを保存したりすることができる。一方Kdbは、Flat、qFlat、HNSW、IVF、IVFPQを含む複数のメソッドによる組み込みのベクトル検索機能を提供する。また、Kdb のダイナミックインデッ クス機能により、厳密なインデックスの制約を受けることなく、ベクトル埋め込みを柔軟に選 択することができます。

データ処理：

CouchbaseはJSONドキュメントの扱いに優れており、JSON構造内にベクトル埋め込みを格納できる。半構造化データに適しており、リレーショナルデータベースとNoSQLデータベースの特徴を兼ね備えている。Kdbは、生データ、ベクトル埋め込み、時系列データなど様々なデータタイプをサポートし、マルチモーダルなパフォーマンスを発揮するように設計されています。ストリーミングデータの処理、埋め込みデータの生成、時系列データの効率的な処理が可能です。

スケーラビリティとパフォーマンス：

Couchbaseは、クラウド、モバイル、AI、エッジコンピューティングに適した分散データベースと説明されている。Kdbは、GPUを必要としないリアルタイムのデータ処理における高いパフォーマンスで注目されている。qHNSWインデックスによりスケーラビリティが向上し、メモリマップドアクセスでオンディスクストレージが可能になり、メモリフットプリントが削減され、同時に複数のインデックス検索が可能になる。

柔軟性とカスタマイズ：

Couchbaseは、外部ライブラリとの統合を含む様々なアプローチにより、ベクトル検索を柔軟に実装できる。Kdbはマルチモーダルアプローチにより柔軟性を提供し、様々なデータタイプやユースケースをサポートする。ベクトル類似検索とフィルタを使用した従来のデータベースクエリを組み合わせることができ、トレードオフの異なる複数の検索方法を提供する。

統合とエコシステム：

Couchbaseはベクトル検索に特化したライブラリと統合できる。Kdbは、ストリーミング、エンベッディング生成、ベクトルデータベース機能、生データ処理、時系列処理、分析を単一のソリューションに統合し、開発者の技術スタックを簡素化する可能性がある。

各テクノロジーを選択するタイミング

Couchbase：

ベクトルを埋め込んだJSONドキュメントを扱える柔軟なNoSQLデータベースが必要な場合、Couchbaseを選択する。ベクトル検索機能を必要とするクラウド、モバイル、AI、エッジコンピューティングのアプリケーションに適している。Couchbaseは、全文検索の適応、アプリケーションレベルの計算の実行、特殊なライブラリとの統合など、さまざまなアプローチでベクトル検索を実装したい場合に適している。従来のドキュメントストレージとベクトル類似検索を組み合わせる必要があるプロジェクト、特に推薦システムやセマンティック検索に基づく検索拡張世代に最適です。

Kdb：

時系列データを扱い、GPU を使用しないリアルタイム処理機能が必要な場合は Kdb を選択します。生データの処理、ベクトル埋め込み の生成、類似検索の実行をすべてリアルタイムで行う必要があるアプリケーションには、Kdb が適しています。Kdbは、ストリーミング・データや時系列データなど、さまざまなデータタイプにわたってマルチモーダルなパフォーマンスを必要とするユースケースに適している。データセットを横断した類似性検索が必要な場合や、変化の速いデータセットと遅いデータセットの両方を扱う場合に最適です。また、ベクトル類似性検索と従来のデータベースクエリを組み合わせる必要がある場合や、大規模なベクトル検索操作のためにオンディスクストレージを含む柔軟なインデックスオプションが必要な場合にも、Kdb は最適な選択肢です。

この記事ではCouchbaseとKdbの概要を説明したが、これらのデータベースを特定のユースケースに基づいて評価することが重要である。このプロセスを支援するツールの1つが、ベクターデータベースのパフォーマンスを比較するために設計されたオープンソースのベンチマークツールであるVectorDBBenchです。最終的には、特定のデータセットとクエリパターンを使って徹底的なベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力でありながら異なるこの2つのアプローチの間で、十分な情報に基づいた決断を下すために不可欠となる。

オープンソースのVectorDBBenchを使って、ベクターデータベースを自分で評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザは独自のデータセットを用いてMilvusやZilliz Cloud(マネージドMilvus)などの異なるベクトルデータベースシステムの性能をテスト・比較し、ユースケースに最も適したものを決定することができます。VectorDBBenchを使用することで、ユーザーはマーケティング上の主張や逸話的証拠に頼るのではなく、実際のベクトルデータベースのパフォーマンスに基づいて情報に基づいた決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースの性能を簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)