WeaviateとAerospikeの比較：ニーズに合ったベクターデータベースの選択

AIやデータ駆動型テクノロジーの進歩に伴い、アプリケーションに適したベクターデータベースを選択することがますます重要になってきている。WeaviateとAerospikeは、この分野における2つの選択肢です。本記事では、これらのテクノロジーを比較し、プロジェクトのための十分な情報に基づいた意思決定を支援します。

ベクターデータベースとは？

WeaviateとAerospikeを比較する前に、まずベクターデータベースの概念について説明します。

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、照会するために設計されている。ベクトルは非構造化データの数値表現である。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を向上させる技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud（フルマネージドMilvus）、Weaviateなど。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

Weaviateは専用のベクターデータベースであり、Aerospikeは分散型のスケーラブルなNoSQLデータベースで、アドオンとしてベクター検索機能を備えている。この記事では、両者のベクトル検索機能を比較する。

Weaviate：概要とコアテクノロジー

Weaviateは、AIアプリケーションの開発を簡素化するために設計されたオープンソースのベクトルデータベースです。ビルトインのベクトルおよびハイブリッド検索機能、機械学習モデルとの容易な統合、データプライバシーへの配慮を提供します。これらの機能は、様々なスキルレベルの開発者がAIアプリケーションをより効率的に作成、反復、拡張できるようにすることを目的としています。

Weaviateの強みの一つは、高速かつ正確な類似検索である。HNSW (Hierarchical Navigable Small World) インデックスを使用し、大規模なデータセットでのベクトル検索を可能にしている。Weaviateはまた、ベクトル検索と従来のフィルタを組み合わせることもサポートしており、意味的類似性と特定のデータ属性の両方を活用した強力なハイブリッドクエリを可能にしている。

Weaviateの主な特徴は以下の通り：

1.PQ 圧縮による効率的な保存と検索 2.BM25検索とベクトル検索の間を調整するアルファ・パラメータを持つハイブリッド検索。 3.エンベッディングとリランキング用のプラグインを内蔵しており、開発が容易。

Weaviateは、開発者がベクトル検索を試すためのエントリー・ポイントである。簡単なセットアップと十分に文書化されたAPIにより、開発者に優しいアプローチを提供する。GenAIエコシステムと深く統合されているため、小規模なプロジェクトや概念実証に適している。Weaviateの対象者は、AIアプリケーションを構築するソフトウェアエンジニア、大規模データセットを扱うデータエンジニア、機械学習モデルを展開するデータサイエンティストである。Weaviateは、セマンティック検索、推薦システム、コンテンツ分類、その他のAI機能を簡素化します。

Weaviate は水平方向に拡張できるように設計されており、クラスタ内の複数のノードにデータを分散することで、大規模なデータセットや高負荷のクエリを処理できる。マルチモーダルデータをサポートし、使用するベクトル化モジュールに応じて様々なデータタイプ（テキスト、画像、音声、動画）を扱うことができる。WeaviateはRESTful APIとGraphQL APIの両方を提供しており、開発者が柔軟にデータベースとやり取りできるようになっている。

しかし、大規模なプロダクション環境においては、いくつかの留意点がある：

1.エンタープライズグレードのセキュリティ機能の制限 2.数十億ベクトル・データセットに対するスケーラビリティの潜在的課題 3.新しくリリースされた階層型ストレージ・オプションには手動管理が必要 4.水平方向のスケールアップには、Weaviate のエンジニアのサポートが必要であり、自動的には行えない。

この最後の点は特に注目すべき点である。つまり、組織は事前に計画を立て、スケーリングオペレーションのための時間を割り当て、適切な準備なしにシステムの限界に近づかないようにする必要があるということだ。

Aerospike** とは？概要

Aerospikeは、高性能なリアルタイムアプリケーション向けのNoSQLデータベースである。ベクトルインデックスの作成と検索をサポートしており、ベクトルデータベースのユースケースに適しています。ベクトル機能はAerospike Vector Search (AVS)と呼ばれ、現在プレビュー中です。Aerospikeから早期アクセスをリクエストできます。

AVSは、ベクター検索用にHNSW（Hierarchical Navigable Small World）インデックスのみをサポートしています。AVSで更新や挿入が行われると、ベクトルを含むレコードデータがAerospikeデータベース（ASDB）に書き込まれ、すぐに表示されます。インデックスを作成するためには、各レコードは、インデックスの指定されたベクトルフィールドに少なくとも1つのベクトルを持つ必要があります。1つのレコードに対して複数のベクトルとインデックスを持つことができるので、同じデータをさまざまな方法で検索することができます。Aerospike では、アップサートされたレコードを特定のセットに割り当てて、それらを監視および操作できるようにすることを推奨しています。

AVSにはインデックスを構築する独自の方法があり、それはすべてのAVSノードで同時並行的に行われます。ベクトルレコードの更新はASDBに直接書き込まれますが、インデックスレコードはインデックスキューから非同期に処理されます。これはバッチで行われ、すべてのAVSノードに分散されるため、AVSクラスタのすべてのCPUコアを使用し、スケーラブルです。Ingestionのパフォーマンスはホストのメモリとストレージレイヤーの構成に大きく依存します。

インデキシングキュー内の各アイテムについて、AVSはインデキシング用のベクトルを処理し、各ベクトルのクラスタを構築し、それらをASDBにコミットします。インデックスレコードには、ベクター自体のコピーと、HNSWグラフの指定されたレイヤーにおけるそのベクターのクラスタが含まれます。インデックス作成には、単一命令、複数データ並列処理のためのベクトル拡張（AVX）を使用する。

クラスタ内のレコードは相互に接続されているため、AVSはインジェスト時にクエリーを行い、インデックスキャッシュに「事前水分補給」を行う。これらのクエリーはクエリーリクエストとしてカウントされず、ストレージレイヤーに対するリードとして表示される。こうすることで、キャッシュに関連データが蓄積され、クエリ性能を向上させることができる。これはAVSがどのようにベクトルデータを扱い、類似検索のためのインデックスを構築し、高次元のベクトル検索に対応できるかを示している。

主な相違点

AIアプリケーションを構築する際、WeaviateとAerospike Vector Search（AVS）の違いはプロジェクトに大きな違いをもたらします。どちらもベクトル検索へのアプローチが異なり、ユースケースによって強みが異なります。ここでは、その違いについて説明します。

検索方法

どちらもベクトル検索にHNSW（Hierarchical Navigable Small World）インデックスを使用しているが、実装方法は異なる。Weaviateは、ベクトル類似度と従来のフィルターを組み合わせたハイブリッド検索で際立っている。alphaパラメータによって、BM25とベクトル検索の結果のバランスを微調整することができる。Aerospikeのベクトル検索実装（現在プレビュー中）は、並列処理に特化したハードウェア命令（AVX）を使用しており、特定のワークロードに対してパフォーマンスを向上させることができる。

データ

両者はデータに関して異なる哲学を持っている。Weaviateは、マルチモーダルなデータ処理が可能で、様々なベクトル化モジュールによってテキスト、画像、音声、動画をサポートし、保存と検索にはPQ圧縮を使用する。NoSQLデータベース上に構築されたAerospikeは、レコードごとに複数のベクトルとインデックスを使用できるため、同じデータに対して異なる検索アプローチを行うことができる。大きな違いは、Aerospikeは更新や挿入を即座にメインデータベースで可視化し、インデックスを非同期で処理することです。

スケーラビリティとパフォーマンス

各プラットフォームの拡張性とパフォーマンスに対するアプローチは異なる。Weaviate はクラスタノードにデータを分散することで水平スケーリングを提供するが、スケーリングは自分で行う必要がある。自動スケーリングはありません。Aerospikeは異なるアプローチをとり、全ノードで同時にインデックスを構築し、クラスタ全体でインデックス作成キューをバッチ処理します。利用可能なCPUコアをすべて使用し、クエリパフォーマンスを向上させるためにインジェスト時にインデックスキャッシュを事前にハイドレートするが、これはホストのメモリとストレージ構成に大きく依存する。

統合と柔軟性

各プラットフォームは、統合とカスタマイズに対するアプローチが異なる。WeaviateにはRESTとGraphQLの両方のAPIがあり、エンベッディングとリランキングのためのプラグインが組み込まれているため、様々な開発アプローチに非常にアクセスしやすい。Aerospikeは高性能なリアルタイム・アプリケーションに重点を置き、ベクトル検索を既存のデータベース機能に統合している。これは、他のデータベースのニーズですでにAerospikeを使用している組織にとって特に便利です。

使いやすさ

WeaviateとAerospikeでは、開発者の使い勝手が大きく異なります。Weaviateは、シンプルなセットアップと包括的なドキュメントにより、開発者の使いやすさを追求しており、ベクター検索プロジェクトのエントリーポイントとして最適です。PoCや小規模プロジェクトに最適です。Aerospikeは、特にメモリとストレージに関する初期設定が必要で、ベクター検索機能は現在プレビュー版であるため、早期アクセスをリクエストする必要があります。

生産

それぞれ、本番環境でのトレードオフが異なります。Weaviateは、エンタープライズ向けセキュリティ機能に制限があり、数十億ベクトル規模のデータセットに対応できない可能性がある。階層化されたストレージを手動で管理する必要があり、スケーリングにはエンジニアのサポートが必要だが、エコシステムとの連携が強い。Aerospikeはエンタープライズグレードのパフォーマンスで、堅牢なスケーリングが可能。初期設定が複雑だが、大規模な導入に適している。

いつ選ぶべきか

Weaviateは、迅速なベクトル検索、マルチモーダルデータ、GraphQL、ハイブリッド検索を使用した小規模から中規模のデータセットを必要とするプロジェクトに適しています。一方、Aerospikeは、すでにAerospikeデータベースを使用している組織、分散システムの経験を持つチーム、非常に大規模なデプロイメント、ハードウェアに最適化された処理とベクトル更新の即時一貫性を必要とするアプリケーションに適しています。

結論

Weaviateは、開発者のエクスペリエンス、マルチモーダルサポート、ハイブリッド検索で勝っており、迅速な実装と柔軟性を必要とするチームに最適である。一方、Aerospikeは、エンタープライズグレードのパフォーマンス、スケーリング、即時一貫性で勝っており、大規模なプロダクションに適している。

WeaviateとAerospikeのどちらを選択するかは、特定のユースケース、データの性質、将来のスケーラビリティのニーズによって決まります。どちらのテクノロジーも進化を続けているため、その動向を注視しながら選択する価値がある。場合によっては、アプリケーションのさまざまな側面でそれぞれの長所を活用し、両方のテクノロジーを使用するハイブリッド・アプローチが最適なソリューションとなる可能性があることを忘れないでください。どのようなテクノロジーの決定にも言えることだが、最終的な選択をする前に、特定のデータセットとユースケースで徹底的なテストを行うことをお勧めする。

オープンソースのVectorDBBenchを使ってベクターデータベースを評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザは独自のデータセットを用いてMilvusやZilliz Cloud(マネージドMilvus)などの異なるベクトルデータベースシステムの性能をテスト・比較し、ユースケースに最適なものを決定することができます。VectorDBBenchを使用することで、ユーザーはマーケティング上の主張や逸話的な証拠に頼るのではなく、実際のベクトルデータベースのパフォーマンスに基づいた情報に基づいた意思決定を行うことができます。

VectorDBBenchはPythonで書かれ、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見ることができます。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)