CouchbaseとAerospike：AIアプリケーションに適したベクターデータベースの選択
ベクターデータベースとは？
CouchbaseとAerospikeを比較する前に、まずベクターデータベースの概念を探ってみましょう；
ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、クエリするように設計されています。これは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。
ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を向上させる技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。
市場には、以下のような多くの種類のベクトル・データベースがある：
- Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
- Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
- Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
- 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。
Couchbaseは分散マルチモデルNoSQL文書指向データベースで、アドオンとしてベクトル検索機能を持つ。Aerospikeも分散型のスケーラブルなNoSQLデータベースで、ベクトル検索がアドオンされている。この記事では、両者のベクトル検索機能を比較する。
Couchbase**とは？概要
Couchbaseは、クラウド、モバイル、AI、エッジコンピューティング向けの分散型オープンソースNoSQLデータベースだ。リレーショナルデータベースの長所とJSONの柔軟性を兼ね備えている。Couchbaseは、ネイティブのベクトルインデックスを持たないにもかかわらず、ベクトル検索も可能だ。開発者は、ベクトル埋め込み-機械学習モデルによって生成された数値表現-をJSON構造の一部としてCouchbaseドキュメント内に格納できる。これらのベクトルは、高次元空間で互いに近いデータポイントを見つけることが重要であるセマンティック検索に基づく推薦システムや検索拡張生成などの類似検索のユースケースで使用することができます。
Couchbaseでベクトル検索を行う1つの方法は、全文検索（FTS）を使用することです。FTSはテキスト検索用に設計されていますが、ベクトルデータを検索可能なフィールドに変換することで、ベクトル検索に使用することができます。例えば、ベクトルはテキストのようなデータにトークン化することができ、FTSはそれらのトークンに基づいてインデックスを作成し、検索することができます。これにより、近似的なベクトル検索が可能になり、類似性の近いベクトルを持つ文書を照会することができる。
別の方法として、開発者は生のベクトル埋め込みをCouchbaseに保存し、アプリケーションレベルでベクトルの類似度計算を行うことができます。これは、ドキュメントを取得し、ベクトル間のコサイン類似度やユークリッド距離などのメトリックを計算し、最も近い一致を見つけることを意味します。この方法では、Couchbaseはベクトルのためのストレージとして使用され、アプリケーションが計算を処理します。
より高度なユースケースのために、一部の開発者は、ベクトル検索を可能にする特殊なライブラリやアルゴリズムとCouchbaseを統合しています。これらの統合により、Couchbaseはドキュメントストアを管理し、外部ライブラリは実際のベクトル比較を行う。この方法では、Couchbaseはまだベクトル検索を行うソリューションの一部であることができます。
これらのアプローチを使用することで、Couchbaseはベクトル検索機能に使用することができ、類似検索を必要とする様々なAIや機械学習のユースケースに柔軟に対応することができる。
Aerospike**とは？概要
Aerospikeは、高性能なリアルタイムアプリケーション向けのNoSQLデータベースである。ベクトルインデックスの作成と検索をサポートしており、ベクトルデータベースのユースケースに適しています。ベクトル機能はAerospike Vector Search (AVS)と呼ばれ、現在プレビュー中です。Aerospikeから早期アクセスをリクエストできます。
AVSは、ベクター検索用にHNSW（Hierarchical Navigable Small World）インデックスのみをサポートしています。AVSで更新や挿入が行われると、ベクトルを含むレコードデータがAerospikeデータベース（ASDB）に書き込まれ、すぐに表示されます。インデックスを作成するためには、各レコードは、インデックスの指定されたベクトルフィールドに少なくとも1つのベクトルを持つ必要があります。1つのレコードに対して複数のベクトルとインデックスを持つことができるので、同じデータをさまざまな方法で検索することができます。Aerospike では、アップサートされたレコードを特定のセットに割り当てて、それらを監視および操作できるようにすることを推奨しています。
AVSにはインデックスを構築する独自の方法があり、それはすべてのAVSノードで同時並行的に行われます。ベクトルレコードの更新はASDBに直接書き込まれますが、インデックスレコードはインデックスキューから非同期に処理されます。これはバッチで行われ、すべてのAVSノードに分散されるため、AVSクラスタのすべてのCPUコアを使用し、スケーラブルです。Ingestionのパフォーマンスはホストのメモリとストレージレイヤーの構成に大きく依存します。
インデキシングキュー内の各アイテムについて、AVSはインデキシング用のベクトルを処理し、各ベクトルのクラスタを構築し、それらをASDBにコミットします。インデックスレコードには、ベクター自体のコピーと、HNSWグラフの指定されたレイヤーにおけるそのベクターのクラスタが含まれます。インデックス作成には、単一命令、複数データ並列処理のためのベクトル拡張（AVX）を使用する。
クラスタ内のレコードは相互に接続されているため、AVSはインジェスト時にクエリーを行い、インデックスキャッシュに「事前水分補給」を行う。これらのクエリーはクエリーリクエストとしてカウントされず、ストレージレイヤーに対するリードとして表示される。こうすることでキャッシュに関連データが蓄積され、クエリ性能を向上させることができる。これはAVSがどのようにベクトルデータを扱い、類似検索のためのインデックスを構築し、高次元のベクトル検索に対応できるかを示している。
主な違い
ベクトル検索にCouchbaseとAerospikeのどちらを使うか選択する場合、考慮すべき要素がいくつかあります。それを分解してみましょう。
検索方法に関しては、Couchbaseはネイティブのベクターインデックスを持たないが、ベクター検索のための回避策がある。ベクトルデータを検索可能なフィールドに変換することで、全文検索（FTS）を使用します。開発者は生のベクトル埋め込みを保存し、アプリケーションレベルで類似度計算を行うこともできる。Aerospikeには、専用のベクトル検索機能があります。Aerospikeには、ベクトル検索用の階層的ナビゲーシ ョンスモールワールド（HNSW）インデックスがあります。Aerospike Vector Search (AVS)機能は、高次元ベクトル検索に対応します。
データの取り扱いについては、Couchbaseはリレーショナルデータベースの機能とJSONの柔軟性を兼ね備えている。Couchbaseは、JSONドキュメントにベクトル埋め込みを格納することができる。Aerospikeは、高性能なリアルタイム・アプリケーション向けである。レコードごとに複数のベクトルとインデックスをサポートしているので、複数の検索アプローチを持つことができる。
スケーラビリティとパフォーマンスが鍵だ。分散NoSQLデータベースとして、Couchbaseはスケーラビリティのために設計されている。しかし、ベクトル検索のパフォーマンスは実装に依存する。AerospikeはすべてのAVSノードで同時インデックス作成を行うため、クラスタ内のすべてのCPUコアを使用します。インジェスト性能はホストのメモリとストレージレイヤーの構成に依存する。
柔軟性とカスタマイズオプションは異なる。Couchbaseはベクトル検索の実装に柔軟性を持たせており、組み込み機能とカスタムソリューションのどちらかを選択できる。より高度なベクトル検索機能のための専用ライブラリとの統合をサポートしている。AerospikeはAVSと専用のベクトル検索ソリューションを持ち、レコードごとに複数のベクトルとインデックスを使用できるため、柔軟な検索構成が可能です。
統合とエコシステムのサポートも重要である。Couchbaseはクラウド、モバイル、AI、エッジコンピューティングのシナリオをサポートしている。外部ライブラリと統合することで、より多くのベクトル検索機能を実現できる。Aerospikeは高性能なリアルタイム・アプリケーション向けで、AVSはメインのAerospikeデータベースと直接統合される。
使い勝手は異なる。Couchbaseはベクトル検索にカスタム実装を必要とし、複雑さを増す。ローストレージを使う場合、開発者はベクトルの類似度計算を行う必要がある。Aerospikeには専用のベクトル検索ソリューションがあり、実装が簡単になる。しかし、AVSは現在プレビュー版であり、早期アクセスリクエストが必要である。
その他の考慮事項：Couchbaseはレコメンデーションシステムや検索拡張世代に適している。開発者が慣れ親しんだデータベースの概念を使ってベクトル検索を実装できる。Aerospikeは、書き込みや更新後にベクトルデータを即座に可視化する。ベクトル拡張(AVX)を使用し、インデックス作成時の並列処理や、インデックスキャッシュへの事前水増し戦略により、クエリパフォーマンスを向上させることができる。
それぞれの使用時期
Couchbaseは、データの柔軟性と多用途性が鍵となる状況に適している。特にJSONドキュメントを扱う際に、従来のデータベース機能とベクトル検索の組み合わせが必要なプロジェクトに向いている。Couchbaseは、すでにJSONベースのデータ構造を使用している既存のアプリケーションにベクトル検索を追加する必要がある場合に最適です。レコメンデーションシステム、コンテンツ検索、構造化データと非構造化データの両方をベクトル埋め込みと共に保存しクエリできるアプリケーションに最適です。Couchbaseは、多くのデータタイプとクエリ方法を扱うことができるデータベースが必要であり、カスタムベクター検索を実装したり、より高度なベクター操作のために外部ライブラリと統合する意思がある場合に選択します。
Aerospikeは、リアルタイムアプリケーション専用の高性能ベクトル検索ソリューションが必要な場合に適している。高次元のベクトルデータを高速かつ効率的に処理する必要があるユースケースに適しています。Aerospikeのベクトル検索（AVS）機能は、類似検索が重要な機械学習、人工知能、高度な分析に最適です。Aerospikeは、ベクトル検索に重点を置き、大量のベクトルデータを低レイテンシで処理する必要がある場合に選択します。複数のノードで同時にインデックスを作成する必要があり、ベクトル処理にハードウェアアクセラレーションを活用できるプロジェクトに最適です。
要約
Couchbaseの強みは、その柔軟性、JSONのサポート、NoSQLデータベースにベクトル検索を追加する能力にある。Couchbaseは、使い慣れたデータベース環境でカスタムベクター検索を実装する自由を開発者に与える。Aerospikeは、高性能なリアルタイム・アプリケーション向けに最適化された専用のベクトル検索機能で優れている。ベクトル検索に特化したインデックス作成と検索が組み込まれており、ベクトル検索に最適です。
CouchbaseとAerospikeのどちらを選択するかは、ユースケース、データタイプ、パフォーマンス要件に基づいてください。多くのデータ型とベクトル検索を他のデータベース操作と並行して扱える柔軟なデータベースが必要であれば、Couchbaseが良いかもしれない。リアルタイムアプリケーションでの高性能なベクトル検索を第一に考えるのであれば、Aerospikeの方が適しているかもしれません。既存のインフラ、開発チームの専門知識、アプリケーションの要件を考慮して決定してください。最適な選択は、プロジェクトのニーズと長期的な目標に合ったものであることを忘れないでください。
この記事ではCouchbaseとAerospikeの概要を説明しましたが、これらのデータベースを特定のユースケースに基づいて評価することが重要です。このプロセスを支援するツールの1つが、ベクターデータベースのパフォーマンスを比較するために設計されたオープンソースのベンチマークツールであるVectorDBBenchです。最終的には、特定のデータセットとクエリパターンを使って徹底的なベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力でありながら異なるこの2つのアプローチの間で、十分な情報に基づいた判断を下すために不可欠となります。
オープンソースのVectorDBBenchを使って、ベクターデータベースを自分で評価・比較する
VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)などの異なるベクトルデータベースシステムの性能を、自身のデータセットを用いてテスト・比較し、ユースケースに最も適したものを決定することができます。VectorDBBenchを使用することで、ユーザーはマーケティング上の主張や逸話的証拠に頼るのではなく、実際のベクトルデータベースのパフォーマンスに基づいて情報に基づいた決定を下すことができます。
VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。
VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。
VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースの性能を簡単に見てみましょう。
ベクターデータベースの評価については、以下のブログをお読みください。
- ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
- VectorDBBench: オープンソースベクターデータベースベンチマークツール](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
- ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)
VectorDB、GenAI、MLに関するその他のリソース
- ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
- あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
- RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
- 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
- ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
- 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)
読み続けて
Top 10 Context Engineering Techniques You Should Know for Production RAG
A practical guide to context engineering for production LLM systems, covering RAG, context processing, memory, agents, and multimodal context.
Why AI Databases Don't Need SQL
Whether you like it or not, here's the truth: SQL is destined for decline in the era of AI.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.