学習
ベクターデータベースの使用例を探る

アプリの機能強化：ベクターデータベースによる検索の最適化

Feb 16, 20240 分で読めます

ベクターデータベースは、高速、正確、かつセマンティックな検索を実行する能力によって検索機能を強化し、アプリ開発に革命をもたらします。

シリーズ全体を読む

#はじめに

アプリ内の検索機能は、アプリケーションのパフォーマンスとユーザーの満足度において重要な役割を担っています。情報過多が一般的な今日の状況において、優れた検索機能は、素早く、関連性が高く、正確な結果を提供することで、ユーザーエクスペリエンスを大幅に向上させることができる。これにより、ユーザーのエンゲージメントが向上し、ユーザーが求めるものを見つけられないためにアプリを放棄する可能性が低くなります。さらに、検索機能は、データ検索プロセスを最適化し、待ち時間を短縮することでパフォーマンスを向上させ、ユーザーにとってのスピードと応答性を実現することができる。

ベクターデータベースは、データのインデックス作成、クエリ、検索におけるパラダイムシフトを導入することで、アプリケーションの検索機能に革命をもたらしている。キーワードマッチングのみに依存する従来のデータベースとは異なり、ベクトルデータベースは最近傍探索や次元削減技術のような高度な技術とアルゴリズムを活用し、データの意味的な意味を捉える。ベクトルで検索することで、これらのデータベースはコンテキストを意識した意味検索を可能にし、ユーザーのクエリの背後にある概念的・文脈的なニュアンスを理解することができる。このアプローチは、eコマースのレコメンデーションエンジンのようなアプリケーションで有用である。ユーザーは、「ビーチでの結婚式に適したスタイリッシュなサマードレス」のような複雑な条件で商品を検索し、膨大なカタログから精度が高く関連性の高い結果を得ることができる。さらに、マルチメディアコンテンツプラットフォームでは、ベクターデータベースを利用することで、ユーザが手作業によるタグ付けやキーワード記述に頼るのではなく、その意味内容に基づき、視覚的に類似した画像や動画を検索できるようになる。ベクターデータベースは、大規模なデータセットに対して、従来のデータベースの最大1000倍という驚くべき精度とスピードで複雑な検索を実行できるため、アプリケーション内の検索機能のゲームチェンジャーとなり、ユーザーエクスペリエンスの向上とデータ駆動型インサイトへの新たな可能性を解き放ちます。

ベクターデータベースの基本

ベクトルデータベースは、構造化されていないデータの数学的表現であるベクトル埋め込みを保存し、オブジェクトの意味的な意味を捉えます。ベクトルとは、構造化されていないデータを数学的に表現したもので、オブジェクトの意味的な情報を格納します。ベクトルとは、浮動小数点の位置をいくつかの次元に沿って表現した数値の配列のことです：


埋め込み：[array([-3.09392996e-02, -1.80662833e-02, 1.34775648e-02, 2.77156215e-02、
       -4.86349640e-03, -3.12581174e-02, -3.55921760e-02, 5.76934684e-03、
        2.80773244e-03, 1.35783911e-01, 3.59678417e-02, 6.17732145e-02、
...
       -4.61330153e-02, -4.85207550e-02, 3.13997865e-02, 7.82178566e-02、
       -4.75336798e-02, 5.21207601e-02, 9.04406682e-02, -5.36676683e-02]、
      dtype=float32)]。
次元：384（384,)

ベクトル検索では、ベクトルデータベースに格納する前に、データをベクトル埋め込みに変換する必要があります。ユーザクエリをベクトル埋め込みに変換して、データコレクションに対して類似検索を行います。その後、類似ベクトルのリストを得る。これらのベクトル埋め込みにはオブジェクトの意味的な意味が含まれているため、クラスタ化されたベクトルは類似しており、互いに関連している可能性が高い。

ベクトルデータベースは、ベクトル操作の管理や複雑な高次元データの処理に優れているため、大規模なデータセットに対する効率的な類似検索を必要とするアプリケーションに適している。ベクトルデータベースが検索機能を強化するための重要な特徴の1つは、特殊なインデックス構造と組み合わせて近似最近傍（ANN）検索技術を活用できることです。

多くのベクトルデータベースは、ハードウェアアクセラレーションを活用したGPUアクセラレーテッドインデックス、低レイテンシのクエリを実現するインメモリインデックス、メモリ容量を超える大規模データセットを処理するディスクベースインデックス、メモリとディスクストレージを組み合わせたハイブリッドインデックスなど、高速かつ正確な類似性検索を実現する様々なインデックスタイプをサポートしている。有名なインデックス実装には、FAISS (Facebook AI Similarity Search)、HNSW (Hierarchical Navigable Small World graphs)、DiskANNなどがある。

ベクターデータベースによる検索の改善

ベクトルデータベースには、クエリの高速応答や検索結果の関連性向上を実現するために、様々な検索機能の最適化技術がある。ここでは、MilvusやZilliz(管理型Milvusデータベース)を例に説明する。

クエリ応答の高速化

厳密で完全に正確な検索結果を見つけるには、利用可能なすべてのデータに対して検索操作を行う必要があるため、パフォーマンスが低下する可能性があります。その代わりに、Milvusのようなベクトル・データベースは、精度を犠牲にすることなく検索性能を最適化する近似検索アルゴリズム（ANN）を使用している。

ANNをサポートするために、Milvusはベクトルインデックスからスカラーインデックスまで、高度なインデックス作成技術を利用することができ、検索性能を劇的に向上させ、クエリの応答時間を短縮します。これらのインデックス手法は、高次元のベクトル空間を効率的に整理し、クエリの検索領域を縮小することで、検索クエリの高速検索を可能にします。つまり、何百万、何十億、あるいは何兆ものベクトルが集まっていても、ユーザーはミリ秒単位で検索結果を得ることができるのです。

精度が要求される場合は、レイテンシやQPSよりも精度（リコール）を優先するようにMilvusデータベースをチューニングすることもできます。

検索結果の関連性の向上

ベクトルデータベースは、ベクトル空間と機械学習モデルのユニークな特性を利用したいくつかのメカニズムにより、検索結果の関連性を向上させます。その仕組みは以下の通り。

意味理解

先に述べたように、ベクトル・データベースはデータを高次元ベクトルで保存する。これらのベクトルはデータの意味的な意味を表し、従来のキーワードベースの検索では不可能なニュアンスを捉えます。ベクトル・データベースは、クエリの文脈と内容を理解することができ、類似しているだけでなく、意味的に関連性のある結果を返すことができます。

カスタマイズ可能な類似度メトリクス

ベクトルデータベースは様々な類似度メトリクスをサポートしています。この柔軟性により、開発者はアプリの開発中に自分たちの関連性の定義に最も適したメトリックを選択することができます。例えば、Milvusはユークリッド距離、内積、コサイン類似度をサポートしています。

実際のアプリケーションとケーススタディ

Tokopediaはインドネシア最大のeコマースプラットフォームの1つで、2023年現在、月間アクティブユーザー数は1800万人という驚異的な規模を誇り、同国のオンラインショッピングの主要な目的地となっている。同社は、豊富な商品カタログの価値は、顧客が好みに応じた商品を素早く発見できることにあると認識しています。

以前、Tokopediaは商品検索にElasticsearchを利用していました。しかし、このツールは通常、検索されたキーワードのセマンティックな意味を考慮しない。その代わりに、その単語がドキュメントに出現する頻度や、単語同士がどれだけ近いかといった要素だけが考慮される。Tokopediaチームが見つけた解決策のひとつは、キーワードを表現する新しい方法を見つけることで、後にそれをベクトルとして表現し、Milvusを使用した。最終的に、TokopediaがMilvusを選んだ理由のひとつは、Milvusがより幅広いインデックスをサポートしているからである。ベクター検索エンジンとしてMilvusを導入した後、クリックスルー率（CTR）とコンバージョン率（CVR）は10倍という素晴らしい結果を達成しました。より詳細なストーリーはTokopediaケーススタディをご覧ください。

ベストプラクティスと考察

ベストプラクティス

**データの準備ベクターデータベースの効果的な検索を含め、高品質なデータは常に重要である。データの準備はデータのクリーニングと前処理から始まる。テキスト検索には、トークン化（テキストを意味のある単位に分割すること）、ストップワード除去（一般的だが有益でない単語を除去すること）などが含まれる。

**インデックス作成戦略インデックス・チューニングにはいくつかの段階がある：適切なインデックス・タイプの選択、インデックス・パラメーターのチューニング、ベンチマーク、検索パラメーターのチューニング。より高いレベルでは、まずそのタイプに基づいてインデックスを選ぶ必要がある。

インデックス階層.png

階層にあるインデックスは、より多くのクエリを1秒間に処理することができ、レイテンシーも良くなりますが、低いデータサイズしか扱うことができません。その代わり、下位階層のインデックスはより多くのデータを扱うことができますが、1秒あたりのクエリ数は少なく、レイテンシも長くなります。精度、インデックス時間、コストなど、他の側面も考慮する必要があります。Milvusがサポートするインデックスとその使用例については、こちらのドキュメントを参照してください。使用ケースとトレードオフに大きく依存するため、明確な選択肢はありません。

**クエリの最適化ベクトルモデルを微調整することで、データのニュアンスを捉える能力を高め、検索結果の関連性を向上させることができる。最適な最近接数の選択など、クエリーパラメーターを調整することで、精度とパフォーマンスのバランスをとることができます。呼び出し回数を減らすには、複数の単一クエリではなく、バッチクエリまたはマルチベクタクエリを使用します。

課題と考察

**データのプライバシーベクター・データベースには機密情報が含まれていることが多い。GDPRやCCPAのようなデータ保護規制を確実に遵守するために、個人データを匿名化し、厳密なアクセス制御を実施する。静止時および転送時のデータの暗号化を検討する。

**スケーラビリティアプリケーションの成長に伴い、データ量とクエリ数は大幅に増加します。Milvusのような分散が容易なベクターデータベースを選択しましょう。データベースを管理するか、需要に応じてリソースを動的に調整するZilliz Cloudのようなクラウドベースのソリューションを使用します。

スケーラビリティを向上させるために、様々なアプローチが考えられます。

関連性のないデータを複数のデータベースの複数のコレクションに分割する。
主キーのハッシュに基づいてデータを分割するデータベース・シャーディング
そのデータで頻繁に使用されるフィルターに基づいてデータを分割するパーティション
冗長性を高め、読み取りスループットを向上させるレプリカ
データをセグメントに分割し、封印されたセグメント（読み取り専用）としてマークし、セグメントを成長させる。

アプリ検索最適化の未来

検索におけるAIの進歩は、ベクターデータベースを向上させ、より速く、よりユーザーの意図に沿った検索を提供する。これは、アプリ検索がすぐにパーソナライズされた検索結果を提供することを意味する。アプリ検索の未来は、LLMで既に起こっているように、より会話的なものになる可能性もある。同時に、画像、音声、動画を使った検索にベクターデータベースを使用することが一般的になり、マルチメディアコンテンツのインデックス付けや検索方法に革命を起こすと予想される。

##結論

ベクターデータベースは、高速かつ正確でセマンティックな検索を実行する能力によって検索機能を強化し、アプリ開発に革命をもたらす。複雑で高次元のデータを効率的に処理することで、検索結果の関連性とパフォーマンスが向上し、ユーザーエクスペリエンスが向上する。ベクターデータベースを採用することは、アプリケーション検索機能の強化を目指す企業にとって戦略的優位性をもたらします。このアプローチはユーザーのニーズを満たすだけでなく、アプリケーション開発の新たなスタンダードとなります。

article.updateAt