RedisとAerospike：ニーズに合ったベクターデータベースの選択
AIやデータドリブン・テクノロジーの進歩に伴い、アプリケーションに適切なベクター・データベースを選択することがますます重要になってきている。RedisとAerospikeはこの分野における2つの選択肢です。この記事では、これらのテクノロジーを比較し、プロジェクトのために十分な情報に基づいた決定を下すのに役立ちます。
ベクターデータベースとは？
RedisとAerospikeを比較する前に、まずベクターデータベースの概念について説明します。
ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、クエリするように設計されています。ベクトルは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。
ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を向上させる技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。
市場には、以下のような多くの種類のベクトル・データベースがある：
- Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud（フルマネージドMilvus）、Weaviateなど。
- Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
- Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
- 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。
Redisはインメモリデータベースであり、Aerospikeは分散型のスケーラブルなNoSQLデータベースである。どちらもアドオンとしてベクトル検索機能を持っている。この記事では、両者のベクトル検索機能を比較する。 ；
Redis概要とコア技術
Redisはもともとインメモリ・データ・ストレージとして知られていたが、現在はRedis Stackの一部であるRedis Vector Libraryを通じてベクトル検索機能を追加した。これにより、Redisはスピードとパフォーマンスを維持したまま、ベクトルの類似検索ができるようになりました。
Redisのベクトル検索は既存のインフラストラクチャの上に構築されており、高速なクエリ実行のためにインメモリ処理を使用している。Redisは近似最近傍検索にFLATとHNSW（Hierarchical Navigable Small World）アルゴリズムを使用し、高次元のベクトル空間での高速かつ正確な検索を可能にしています。
Redisのベクトル検索の主な強みの1つは、ベクトルの類似性検索と他の属性に関する従来のフィルタリングを組み合わせることができる点です。このハイブリッド検索により、開発者は意味的類似性と特定のメタデータ基準の両方を考慮した複雑なクエリを作成することができるため、多くのAI駆動型アプリケーションで汎用性があります。
Redis Vector Libraryは、開発者がRedisでベクトルデータを扱うためのシンプルなインターフェースを提供します。柔軟なスキーマ設計、カスタムベクタークエリ、セマンティックキャッシングやセッション管理などのLLM関連タスクの拡張機能などを備えている。これにより、AI/MLエンジニアやデータサイエンティストは、特にリアルタイムのデータ処理と検索のために、RedisをAIワークフローに統合することが容易になります。
Aerospikeとは？概要
Aerospikeは、高性能なリアルタイムアプリケーション向けのNoSQLデータベースである。ベクトルインデックスの作成と検索をサポートしており、ベクトルデータベースのユースケースに適しています。ベクトル機能はAerospike Vector Search (AVS)と呼ばれ、現在プレビュー中です。Aerospikeから早期アクセスをリクエストできます。
AVSは、ベクター検索用にHNSW（Hierarchical Navigable Small World）インデックスのみをサポートしています。AVSで更新や挿入が行われると、ベクトルを含むレコードデータがAerospikeデータベース（ASDB）に書き込まれ、すぐに表示されます。インデックスを作成するためには、各レコードは、インデックスの指定されたベクトルフィールドに少なくとも1つのベクトルを持つ必要があります。1つのレコードに対して複数のベクトルとインデックスを持つことができるので、同じデータをさまざまな方法で検索することができます。Aerospike では、アップサートされたレコードを特定のセットに割り当てて、それらを監視および操作できるようにすることを推奨しています。
AVSにはインデックスを構築する独自の方法があり、それはすべてのAVSノードで同時並行的に行われます。ベクトルレコードの更新はASDBに直接書き込まれますが、インデックスレコードはインデックスキューから非同期に処理されます。これはバッチで行われ、すべてのAVSノードに分散されるため、AVSクラスタのすべてのCPUコアを使用し、スケーラブルです。Ingestionのパフォーマンスはホストのメモリとストレージレイヤーの構成に大きく依存します。
インデキシングキュー内の各アイテムについて、AVSはインデキシング用のベクトルを処理し、各ベクトルのクラスタを構築し、それらをASDBにコミットします。インデックスレコードには、ベクター自体のコピーと、HNSWグラフの指定されたレイヤーにおけるそのベクターのクラスタが含まれます。インデックス作成には、単一命令、複数データ並列処理のためのベクトル拡張（AVX）を使用する。
クラスタ内のレコードは相互に接続されているため、AVSはインジェスト時にクエリーを行い、インデックスキャッシュに「事前水分補給」を行う。これらのクエリーはクエリーリクエストとしてカウントされず、ストレージレイヤーに対するリードとして表示される。こうすることで、キャッシュに関連データが蓄積され、クエリ性能を向上させることができる。これはAVSがどのようにベクトルデータを扱い、類似検索のためのインデックスを構築し、高次元のベクトル検索に対応できるかを示している。
主な違いベクトル検索におけるRedisとAerospikeの選択
ベクトル検索ツールを選ぶとき、RedisとAerospikeの違いを知っておくと決断がしやすくなります。どちらもベクトル検索を備えていますが、両者は異なります。いくつかの点で比較してみましょう。
検索方法
Redisは近似最近傍探索にFLATとHNSW（Hierarchical Navigable Small World）アルゴリズムを採用している。高次元のベクトル空間を高速かつ正確に検索します。Redisは、ベクトルの類似性と属性フィルタリングを組み合わせたハイブリッド検索もサポートしています。
Aerospike Vector Search (AVS)はベクトル検索にHNSWインデックスのみを使用します。非同期にベクトルレコードを更新し、クラスタ内のすべてのAVSノードで各ベクトルのクラスタを構築します。
データ
Redisは構造化データや半構造化データの扱いに優れています。ベクター・ライブラリはRedisの既存のデータ構造と統合されているため、柔軟なスキーマやカスタムベクター・クエリを使用できます。
Aerospikeは、1つのレコードに対して複数のベクトルとインデックスをサポートしています。同じデータに対して異なる検索方法を持つことができます。監視や操作を容易にするため、レコードを特定のセットにアップサートすることを推奨しています。
スケーラビリティとパフォーマンス
Redisは高速なクエリ実行のためにインメモリ処理を使用しているため、リアルタイムアプリケーションに最適です。ベクトル検索は既存のインフラストラクチャの上に構築されているため、Redisは依然として高速です。
Aerospikeのインデックス作成はすべてのAVSノードに分散され、クラスタ内のすべてのCPUコアを使用します。これはスケーラビリティのためで、特に高次元のベクトル検索に適している。しかし、インジェストのパフォーマンスはホストのメモリとストレージレイヤーの構成に依存します。
柔軟性とカスタマイズ
Redisはベクトルデータ用のシンプルなインターフェースを持っているので、意味的な類似性や特定のメタデータを考慮した複雑なクエリーを作成することができる。また、セマンティックキャッシュやセッション管理のようなLLM関連のタスクのための拡張機能もあります。
Aerospikeでは、レコードごとに複数のベクターとインデックスを使用できます。データの検索方法にも柔軟性がある。しかし、カスタマイズオプションの詳細はプレビューでは限られている。
統合とエコシステム
Redisには成熟したエコシステムがあり、特にAI/MLワークフローでは多くのツールやフレームワークとうまく統合されています。Vectorライブラリは、既存のRedisセットアップに適合するように設計されています。
Aerospikeベクトル検索は新しく、特定の統合に関する情報は限られている。しかし、NoSQLデータベースとして、おそらく一般的なデータ処理ツールとの統合が可能だろう。
使いやすさ
Redisはシンプルで知られ、多くのドキュメントがある。Vectorライブラリはそのシンプルさを維持しているので、Redisにすでに慣れている開発者にとってはよりアクセスしやすいかもしれません。
Aerospikeのベクトル検索はプレビュー版なので、今のところドキュメントが少なく、学習曲線が急かもしれない。しかし、この機能が成熟するにつれて変わるかもしれません。
コスト
Redisにはオープンソースとエンタープライズ・オプションがあり、クラウドとマネージド・サービスの複数の価格モデルがある。
Aerospikeはエンタープライズをターゲットにしているので、価格設定に反映されるかもしれない。ベクトル検索のコストの詳細はまだ公開されていない。
セキュリティ
Redisには暗号化、認証、アクセス制御などのセキュリティ機能があり、ベクトル検索にも適用されます。
エンタープライズ向けのソリューションであるAerospikeは、おそらく強固なセキュリティ機能を持っていると思われるが、ベクトル検索のセキュリティに関する詳細はプレビューでは確認できない。
各テクノロジーを選択するタイミング
Redisは、リアルタイムのベクトル検索や従来のデータ操作を必要とするアプリケーションに適している。インメモリとハイブリッド検索により、レコメンデーションシステム、コンテンツマッチング、パーソナライズド検索機能などの低レイテンシのシナリオに最適です。Redisは、データモデリングの柔軟性を生かし、ベクトルの類似性とメタデータの両方で複雑なクエリを実行できるユースケースに適している。ベクトル検索をキャッシュやセッション管理などの他のRedis機能と統合する必要があるAIアプリケーションに最適です。
Aerospike Vector Search (AVS)は、特に高次元のベクトルを扱う場合に、大規模なデータセットに対して高いスケーラビリティと高いパフォーマンスを発揮します。クラスタ内の全ノードにインデックスが分散されているため、大量のベクトルデータを扱う必要があるアプリケーションに適している。Aerospikeは、大規模な機械学習モデルの提供、リアルタイムの不正検知システム、多次元データの処理とクエリを行う高度な分析プラットフォームなど、ベクトル検索を組み込んだNoSQLデータベースを必要とするユースケースに適しています。
結論
Redisは、高速なインメモリと柔軟なデータモデリング、ハイブリッド検索を備えた汎用性の高いデータベースだ。エコシステムが確立されており、使いやすいので、多くのベクトル検索のユースケースに適している。Aerospikeは高次元のベクトル検索のスケーラビリティとパフォーマンスに優れており、分散アーキテクチャで大規模なデータセットを扱うことができます。RedisとAerospikeのどちらを選ぶかは、ユースケース、データ量、パフォーマンス要件、既存の技術スタックに基づいてください。柔軟で高速なソリューションが必要で、特にリアルタイムアプリケーション向けの多くのAIワークフローとうまく統合したい場合はRedisを選択します。スケーラビリティとパフォーマンスを重視し、大規模な高次元ベクトルデータを扱う必要がある場合は、Aerospikeを選択する。最終的には、プロジェクト固有のニーズと長期的なスケーラビリティ要件に合ったものを選択するのがベストです。
この記事ではRedisとAerospikeの概要を説明しますが、これらのデータベースを特定のユースケースに基づいて評価することが重要です。このプロセスを支援するツールの1つが、ベクターデータベースのパフォーマンスを比較するために設計されたオープンソースのベンチマークツールであるVectorDBBenchです。最終的には、特定のデータセットとクエリーパターンを使った徹底的なベンチマークが、分散データベースシステムにおけるベクトル検索に対する、強力でありながら異なるこの2つのアプローチのどちらを選ぶか、十分な情報に基づいた決断を下すために不可欠となる。
オープンソースのVectorDBBenchを使って、ベクターデータベースを自分で評価・比較する
VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムの性能を、自身のデータセットを用いてテスト・比較し、ユースケースに最も適したものを決定することができます。VectorDBBenchを使用することで、ユーザーはマーケティング上の主張や逸話的証拠に頼るのではなく、実際のベクトルデータベースのパフォーマンスに基づいて情報に基づいた決定を下すことができます。
VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。
VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。
VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースの性能を簡単に見てみましょう。
ベクターデータベースの評価については、以下のブログをお読みください。
- ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
- VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
- ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)
VectorDB、GenAI、MLに関するその他のリソース
- ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
- あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
- RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
- 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
- ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
- 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)
読み続けて
Stop Building AI Data Infra for the Wrong Stage
Learn how AI data infrastructure should evolve from prototype to enterprise scale, and when Vector Lakebase becomes the right architecture for AI apps.
The AWS Outage Was a Wake-Up Call for Vector Database Cross-Region Disaster Recovery
Zilliz Cloud Had the Answer Before the Crisis. Zilliz Cloud is the world's first vector database with native cross-region disaster recovery.
Zilliz Cloud Now Available in Azure North Europe: Bringing AI-Powered Vector Search Closer to European Customers
The addition of the Azure North Europe (Ireland) region further expands our global footprint to better serve our European customers.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.