ベクターデータベースの性能ベンチマーク：テクニックと洞察
この記事では、ベクターデータベースの主な評価指標とベンチマークツールについて明確に掘り下げています。さらに、ベクターデータベースを評価し、十分な情報に基づいた意思決定を行うためのヒントを提供します。
#はじめに
今日、非構造化データの増加、AIやLLMの台頭により、ベクトル・データベースが重要なインフラとして脚光を浴びている。このようなツールに注目が集まる中、どのように評価し、ビジネスに適したものを選べばよいのだろうか。本記事では、ベクターデータベースの主な評価指標とベンチマークツールを明確に掘り下げる。さらに、ベクターデータベースを評価し、十分な情報に基づいた意思決定を支援するための洞察を提供する。
ベクターデータベースを理解する
ベクトルデータベースは、ベクトル埋め込みと呼ばれる高次元の数値表現を使って、画像、動画、テキスト、音声などの非構造化データを管理するために設計されている。ベクトルデータベースと従来のリレーショナルデータベースの主な違いは以下の通り：
従来のデータベースは、固定フォーマットで構造化または半構造化データを扱う。対照的に、ベクトルデータベースはベクトル埋め込みを用いて非構造化データを管理する。
従来のデータベースは精密な検索**を行うのに対し、ベクトルデータベースは近似最近傍（ANN）と呼ばれる機械学習技術を用いた意味的類似性検索に特化している。
ベクトル・データベースは、LLMの幻覚に対処する検索拡張世代（RAG）アプリケーションのベクトル・ストアである。また、レコメンダーシステム、チャットボット、異常検知、セマンティック検索、ビデオ重複排除など、様々な最新アプリケーションで広く使われている。これらのアプリケーションにはそれぞれ特有のベクトルデータベースのニーズがあり、評価指標を検討する際に考慮する必要があります。これにより、プロジェクトに最適なツールを選択することができます。以下は、いくつかのユースケースとその要件のリストです：
商品推薦では、数百万人の顧客にサービスを提供する際に価格を抑えるために高い費用対効果が重要であり、高いパフォーマンス**（高速クエリ）は優れたユーザーエクスペリエンスのために必要である。
研究科学者は、新薬発見のようなアプリケーションを支援するために分子検索を使用します。高い性能は必要ありませんが、データベースへのクエリは、可能な限り少ないハードウェアコストで、常に最も正確な**結果を返す必要があります。
リアルタイムの不正検知のようなアプリケーションでは、たった一つの真陰性や偽陽性が悲惨な結果をもたらす可能性があるため、より高価なハードウェア（GPU/ASICなど）を使って性能と精度を最大化**することは経済的に理にかなっている。
ベクターデータベースの評価指標
ベクターデータベースを評価する場合、パフォーマンス、スケーラビリティ、機能性の3つが最も重要な指標となります。
パフォーマンス
他のデータベースシステムと同様、ベクターデータベースを評価する際にはパフォーマンスが重要です。主な指標には、挿入容量と速度、クエリ待ち時間、最大スループット（QPS）などがあります。しかし、ベクトル・データベースは正確な検索ではなく、近似的な検索を行うため、2つの追加指標を考慮する必要があります。
インデックス構築時間**：ベクターインデックスの構築に必要な時間
リコール率**：検索精度を示す指標。
インデックスの構築には膨大な計算リソースが必要であり、クエリの精度と効率はトレードオフの関係にある。精度を優先すると検索速度に影響し、その逆もまた然りである。したがって、待ち時間やクエリー速度だけに注目するのではなく、両方のバランスをとることが重要である。
スケーラビリティと機能性
スケーラビリティは、急速に増大するデータ量を効果的に処理するデータベースの能力を評価します。機能性は、マルチテナンシー、ディザスタリカバリ、マルチインデックスのサポートなど、エンタープライズレベルの機能のサポートを評価します。
ベクターデータベース性能評価ツール
ベクトルデータベースの評価に関しては、 ANN Benchmark と VectorDBBench の2つの著名なベンチマークツールが際立っている。
ANN ベンチマーク
ANN-Benchmarkは、実際のデータセットで様々なベクトルインデックスアルゴリズムを評価するための外部ベンチマークツールです。ベクトルインデキシングは、ベクトルデータベースの極めて重要でリソース集約的なコンポーネントであり、データベース全体のパフォーマンスに直接影響します。
以下のグラフはANN Benchmarkが生成したベンチマーク結果の一例です。GIST1Mデータセット(960次元の1Mベクトル)に基づき、様々なアルゴリズムのリコール/クエリー/秒をテストした結果を示しています。y軸のQPSに対してx軸のリコール率をプロットし、検索精度の異なるレベルでの各アルゴリズムのパフォーマンスを示しています。
Recall_Queries_Per_Second_3bde2f0da5.png
ベクターDBBベンチ
VectorDBBenchは、MilvusやWeaviateのようなオープンソースのベクターデータベースや、Zilliz CloudやPineconeのようなフルマネージドサービスに合わせたオープンソースのベンチマークツールです。特筆すべきは、QPSとリコール率に関する個別の洞察を提供する点で、これはフルマネージド・ベクトル検索サービスにとって特に価値のある機能である。
以下のチャートはVectorDBBenchによって生成されたベンチマーク結果の例です。1,536次元の500,000ベクトルを処理した時のQPSと様々な主流のベクトルデータベースの再現率のテスト結果を示しています。
ベンチマーク_メインストリーム_ベクトル_データベース_QPS_500_K_cde7b82807.png
ベンチマーク_メインストリーム_ベクトル_データベース_リコール率_500_K_ae21e6abbb.png
**多くのフルマネージド・ベクトル検索サービスはユーザーチューニングのためにパラメータを公開していないため、VectorDBBenchはQPSとリコール率を別々に表示しています。
ANNベンチマークとVectorDBBenchの比較
ANN Benchmarkはベクトルインデックスアルゴリズムの評価に優れており、異なるベクトル検索ライブラリの選択と比較に役立ちます。しかし、複雑で成熟したベクトルデータベースの評価には不向きで、フィルタリングされたベクトル検索のような状況を見落としてしまいます。
Zilliz](https://zilliz.com/)のエンジニアは、包括的なベクトルデータベース評価のためにVectorDB Benchを作成しました。リソース消費量、データロード容量、システムの安定性などの重要な要素を考慮しています。テストクライアントとベクターデータベースを分離し、独立したデプロイメントを保証することで、VectorDB Benchは実運用環境に近いテストを可能にします。
パフォーマンス評価のヒントと洞察
ベクターデータベースの性能を効果的に評価するためには、性能評価のニュアンスを理解することが重要です。データベースを選択する際には、挿入パフォーマンスとクエリパフォーマンスの両方を評価する手法を検討することが重要です。
挿入パフォーマンスを正確に評価する方法
挿入性能を正確に評価するには、最大挿入容量と挿入時間の両方を調べる必要があります。
最大挿入容量を測定するには、挿入要求が拒否されるまで、小さなデータ・バッチの連続挿入に単一プロセスを使用する。このアプローチにより、テストクライアントは元のデータを管理可能なバッチで読み込むことができ、メモリ制約が緩和され、複数の書き込みプロセスによるデータベースへの過度な負荷が軽減されます。
挿入時間は、最初のデータセットを挿入してから効率的なクエリが実行可能になるまでの時間を含むべきである。特に、ベクトルインデックスの構築にはかなりの計算リソースが消費されるため、データ挿入が完了してからデータベースが効率的なクエリを実行できるようになるまでに時間差が生じる。データベースが積極的な挿入ストラテジーを採用し、インデックスの構築を遅らせている場合、書き込みリクエストにかかる時間を追跡するだけでは、書き込み速度が誤解を招く可能性がある。
クエリ・パフォーマンスを正確に評価する方法
ベクトル・データベースのクエリ・パフォーマンスの評価には、通常3つの重要な指標があります：**レイテンシー、1秒あたりのクエリー数（QPS）、リコール率です。
レイテンシテストでは、連続テスト条件下で1回のクエリにかかる時間を測定します。P99レイテンシは、99%のクエリが完了する時間を表す一般的に使用される指標です。P99レイテンシは、平均レイテンシよりも微妙な視点を提供し、ユーザー・エクスペリエンスと密接に連携しています。
重要：レイテンシ・テストは簡単ですが、特にパブリック・ネットワーク経由でアクセスされるクラウド製品では、ネットワーク状況に大きく影響されます。
QPSとは、高い同時実行性のもとでのデータベースのクエリ能力のことです。これは、テストクライアントから同時に複数のリクエストを送信することで、データベースのCPU使用率を最大化し、スループットを観察することで達成されます。レイテンシとは異なり、QPSはネットワークの変動の影響を受けにくいため、ベクター・データベースの実世界でのパフォーマンスを総合的に評価することができます。
ベクターデータベースの回収率を評価することは一般的に簡単です。しかし、回収率メトリクスのみに頼ることは、クエリ性能を評価するには不十分であることに注意することが重要です。
データセットが性能に与える影響
実際のテストでは、様々なデータセットにさらされた場合、様々なベクトルデータベースでパフォーマンスが大きく異なります。データセットが大きければ大きいほど、ベクトルデータベースの分散アーキテクチャーにとってより手ごわい課題となり、性能低下につながります。テストデータセットの次元と分布もテスト結果に大きく影響します。
したがって、さまざまなデータサイズ、次元、データ分布を持つテスト用データセットを用いてベクトルデータベースを評価することで、より正確で包括的なテスト結果を得ることができる。
結論
このブログでは、挿入容量やクエリーレイテンシーといった重要なメトリクスに焦点を当てながら、ベクトルデータベースと性能評価技術について解説した。ANN BenchmarkとVectorDBBenchを取り上げ、ベクトルインデキシングアルゴリズムと目的別データベースを評価する際の役割に焦点を当てました。さらに、データベースのパフォーマンスを正確に評価するための洞察を共有しました。これらの洞察により、ベクターデータベースの複雑な評価を自信を持ってナビゲートし、今日のデータ主導の状況で最適なパフォーマンスを確保することができます。
Min TianSoftware Engineer at Zilliz
