Annoy vs ScaNN：アプリケーションに適したベクトル検索ツールの選択

#はじめに

今日、ベクトル検索は、レコメンデーション・エンジン、画像検索システム、自然言語処理（NLP）タスクなど、様々な最新のAIアプリケーションを動かす基本的な要素となっている。キーワードマッチングに依存する従来の検索エンジンとは異なり、ベクトル検索はベクトルの類似性に基づいて情報を検索することを可能にし、画像、音声、テキスト埋め込みなどの非構造化データからより深い洞察を引き出す。

ベクトル検索に利用可能なツールの中で、AnnoyとScaNNは人気のあるオプションとして際立っている。それぞれ独自の強みがあり、異なるユースケースに最適化されている。このブログでは、AnnoyとScaNNのコア機能、相違点、そして一方が他方よりも適しているシナリオを探ります。最後には、どちらのツールがあなたのニーズに最も適しているかを明確に理解することができるでしょう。

ベクター検索とは？

AnnoyとScaNNの仕様に飛び込む前に、ベクトル検索を理解することが不可欠です。簡単に言うと、ベクトル検索、またはベクトル類似性検索は、与えられたクエリベクトルに最も近い高次元空間のベクトル(データポイント)を見つけます。これらのベクトルは、多くの場合、機械学習モデルによって生成され、非構造化データ(例えば、文章の意味や画像の特徴)の本質を捉える。&#x20；

従来のデータベース](https://zilliz.com/blog/relational-databases-vs-vector-databases)のように、完全一致やフィルタリングに基づいて検索するのとは異なり、ベクトル検索は類似性に重点を置く。目標は、距離メトリック(ユークリッド距離や余弦類似度など)に基づいて、互いに「近い」ベクトルを見つけることです。例えば、ベクトルは自然言語処理（NLP）において単語や文章を表すことができ、ベクトル検索は最も意味的に類似した単語や文章を見つけるのに役立つ。推薦システムでは、ベクトル検索はユーザーの好みに最も近いアイテムを特定する。また、ベクトル検索は、retrieval augmented generation (RAG)、大規模言語モデル(LLMs)の出力に余分な文脈情報を与えて補強する技術でも重要な役割を果たす。

ベクトル検索を実行するための多くのソリューションが市販されている：

• AnnoyやScaNNのようなベクトル検索ライブラリ。
• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud (フルマネージドMilvus)のような目的別ベクトルデータベース。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 従来のデータベース ベクトル検索アドオン付き。

Annoyとは？概要

Annoy](https://zilliz.com/learn/approximate-nearest-neighbor-oh-yeah-ANNOY) (Approximate Nearest Neighbors Oh Yeah)は、Spotifyによって開発された軽量なオープンソースライブラリである。特に、大規模で読み込みの多いベクトル検索を扱うように設計されている。その主な利点は、メモリ消費を最小限に抑え、シンプルであることにあり、頻繁に変化しない静的なデータセットに最適である。

Annoyの検索アルゴリズムは、ベクトル空間をより小さな領域に分割する複数のランダムな射影木を構築することに基づいている。このアプローチは、結果が厳密ではなく近似であるため、正確さを犠牲にして高速な検索を可能にする。このトレードオフは、多くのアプリケーションで許容されるものである。なぜなら、速度の利点は精度のわずかな低下を上回るからである。

Annoyは、メモリ効率が優先される場合に理想的である。巨大なデータセットをディスクに保存でき、データセット全体をメモリにロードすることなく検索が可能になる。しかし、これはベクターの追加や削除にインデックス全体の再構築が必要になることを意味し、頻繁に変更されるデータがある場合には面倒なことになる。Annoyはまた、Python、C++、Goといった複数のプログラミング言語と簡単に統合できるため、幅広い開発者が利用できる。

要するに、Annoyは大規模で静的なデータセットと、高速でメモリ効率の良い検索に最適なのだ。しかし、データが頻繁に更新されたり、高い精度が要求される場合には、最適な選択肢とは言えないかもしれない。

ScaNN とは？概要

ScaNN (Scalable Nearest Neighbors)はGoogleによって開発されたオープンソースライブラリで、主に高次元のベクトルデータに対して、近似最近傍(ANN)検索を高速に実行します。データセットから最も近いベクトルを検索することが重要な、大規模な機械学習アプリケーション向けに最適化されています。

ScaNN は、パーティショニング、量子化、非対称ハッシュなどの高度なテクニックを使用してデータを圧縮し、検索処理を高速化するため、速度と精度のバランスを必要とするアプリケーションに特に適しています。手元のタスクの要件に応じて、トレードオフをカスタマイズできる。主な強みの1つは、TensorFlowと統合できることで、ベクトル検索が高速かつスケーラブルである必要があるAIワークフローにとって非常に効率的です。

ScaNNは、Faiss（Facebookによる）、Annoy（Spotifyによる）、HNSWlib（Hierarchical Navigable Small World）のようなライブラリと競合しており、これらのライブラリも人気のあるANN検索アルゴリズムである。ScaNNの強みは、TensorFlowと統合し、優れた精度を維持しながら高速検索を提供できる点にある。

Annoy と ScaNN の主な違い

AnnoyとScaNNは最近傍探索問題を解決するために設計されていますが、異なるアプローチを使用しています。両者の主な違いを詳しく見てみよう。

探索方法

AnnoyとScaNNはベクトル検索を実行するために異なるアルゴリズムに依存しており、それぞれが明確なトレードオフを持っています。

**Annoyはベクトル空間を分割するためにランダムな射影木の森を構築する。この方法は速いですが、速さのために精度が犠牲になるので、「十分に近い」結果が許容されるユースケースに適しています。

**これとは対照的に、ScaNNは分割、量子化、非対称ハッシュを組み合わせて、高速かつ正確な検索を実現する。ScaNNの手法は、ある種の機械学習タスクのように精度が重要な場合に特に有用である。

データの取り扱い

AnnoyとScaNNではデータの扱い方も異なる。**Annoyはディスクベースであるため、利用可能なメモリを超えるデータセットでも動作可能である。Annoyが最も効果的なのは、最初のセットアップ後、データが比較的静的なままである場合である。

ScaNNはインメモリ性能に最適化されており、動的データセットの管理に重点を置いている。 ベクトル圧縮をサポートしており、精度をあまり妥協することなくメモリ効率を向上させることができる。これにより ScaNN は、常に変化するデータを扱うアプリケーションや、データセットの更新が頻繁に行われるアプリケーションに対して、より柔軟に対応することができます。

スケーラビリティとパフォーマンス

パフォーマンスに関しては、Annoyはディスクベースのアーキテクチャを採用しているため、大規模で静的なデータセットを処理する際にうまくスケールする。しかし、Annoyは近似探索を中心に構築されているため、特にデータセットのサイズが大きくなると、常に最も正確な結果を返すとは限らない。このトレードオフは、大まかな一致が許容されるアプリケーションでは問題にならないかもしれない。

しかし ScaNN は、巨大なデータセットを速度と精度の両方で扱うように設計されている。ScaNNはデータを分割し、量子化する能力があるため、高い精度を維持したまま、大規模なデータセットを検索することができる。しかし、通常Annoyよりも多くの計算リソースを必要とするため、非常に大規模なアプリケーションでは、より強力なインフラに投資する必要があるかもしれない。

柔軟性とカスタマイズ

Annoyのカスタマイズオプションは、木の数と探索深さの調整に限られている。これによって精度とスピードのバランスをある程度コントロールすることはできるが、AnnoyはScaNNのようなきめ細かいカスタマイズはできない。

ScaNNでは、スピードと精度に関連する様々なパラメーターを調整することができ、特定のユースケースに対してより柔軟に検索を最適化することができる。そのため、データやクエリーパターンが頻繁に変化し、実際の使用状況に基づいてパフォーマンスを微調整する必要がある場合に特に有用である。

統合とエコシステム

Annoyはシンプルで軽量なツールであり、いくつかのプログラミング言語と統合できる。レコメンデーションシステムや検索エンジンでよく使われており、シンプルであるため、大きなオーバーヘッドなしに様々なアプリケーションにプラグインすることが容易です。

ScaNNはTensorFlowと統合されているため、機械学習ワークフローにおいて強力な強みを発揮します。エンベッディングやその他のベクトル表現を生成するためにすでにTensorFlowを使用している場合、ScaNNは自然にフィットし、既存のパイプラインの多くを変更することなくシームレスに統合することができます。

使いやすさ

Annoyはそのシンプルさで広く評価されている。APIが軽量なため、ベクター検索が初めての人でも簡単に使い始めることができる。学習曲線は最小限であり、多くのパラメータを調整することなく、すぐに検索システムをセットアップすることができます。

ScaNNはよりパワフルだが、学習曲線はより厳しい。様々な最適化オプションを理解するのに時間がかかり、TensorFlowのような機械学習フレームワークをまだ使っていない場合は、システムに組み込むのに手間がかかるかもしれない。しかし、精度とパフォーマンスが重要な、より複雑なアプリケーションでは、この余分な努力は十分に価値がある。

コストの考慮

Annoyは、特に限られた計算リソースで作業している場合、費用対効果の高いソリューションである。ディスクにデータを保存できるため、高メモリのサーバーは必要なく、おおよその検索結果で多くの用途に十分対応できる。そのため、予算の制約を考慮するプロジェクトに最適です。

ScaNNの優れたパフォーマンスにはコストがかかる。特に非常に大きなデータセットの場合、より多くの計算能力とメモリーを必要とする。速度と精度の両方が要求されるようなリソースの多いアプリケーションに取り組む場合、インフラへの投資は高くなります。

セキュリティ機能

AnnoyにもScaNNにも暗号化やアクセスコントロールのようなセキュリティ機能は組み込まれていません。もしあなたのアプリケーションでセキュリティが懸念されるのであれば、保存や転送時の暗号化や強固な認証メカニズムなど、データを保護するための追加手段を実装する必要があります。

Annoy を選ぶべき時

アプリケーションが高速で近似的な検索を必要とし、データセットが大きすぎてメモリに収まらない場合、Annoyが適している。データが比較的静的で、精度よりもスピードが重要な場合に最適です。例えば、レコメンデーションエンジンやコンテンツベースのフィルタリングシステムを構築する場合、Annoyのスピードとシンプルさにより、コストを抑えながら素早く拡張することができます。

Annoyはまた、パフォーマンスを常に微調整する必要がないシナリオでも優れている。データセットが長期に渡って一貫しており、おおよその結果を許容できるのであれば、Annoyはより適切な選択肢となるでしょう。

ScaNN を選ぶべき時

ScaNNは精度と性能が最優先されるアプリケーションに適したツールです。特に、画像検索、文書検索、自然言語処理* などの埋め込みを伴う機械学習アプリケーションに適しています。データセットが大きく動的で、精度を犠牲にすることなく高速検索が必要な場合、ScaNN はより信頼性の高いソリューションを提供します。

TensorFlowとの統合により、AIアプリケーションの強力な候補にもなります。ScaNNのシームレスな統合機能は、すでに機械学習フレームワークを使用している場合、開発の時間と労力を節約します。

ベクター検索ライブラリと専用ベクターデータベースの比較

AnnoyやScaNNのようなベクトル検索ライブラリも、Milvusのような目的構築型ベクトルデータベースも、高次元ベクトルデータの類似性検索問題を解決することを目的としているが、その役割は異なる。 &#x20；

Annoy、ScaNN、HNSWlib、Faissのようなベクトル検索ライブラリは、効率的な最近傍探索のタスクのみに焦点を当てています。これらのライブラリは、クエリベクトルに似たベクトルを見つけるための軽量で高速なソリューションを提供します。これらは、小規模なシングルノード環境や、静的または中程度のサイズのデータセットを扱うアプリケーションでよく使用される。しかし、一般的に、動的データの管理、永続性の提供、分散システム間でのスケーリングなどの機能が欠けている。これらのライブラリを使用する開発者は、通常、データ管理、更新、スケーリングを手動で処理する必要がある。

一方、MilvusやZilliz Cloud（マネージドMilvus）のような目的別ベクトルデータベースは、大規模なベクトルデータ管理のために設計された包括的なシステムです。これらのデータベースは単純なベクトル検索にとどまらず、永続ストレージ、リアルタイム更新、分散アーキテクチャ、高度なクエリ機能などの機能を提供している。これらのデータベースは動的なデータセットをサポートし、データが頻繁に更新されるリアルタイムアプリケーションを容易に扱うことができます。さらに、ベクターデータベースには、ベクター検索と従来のフィルタリングやメタデータクエリを組み合わせるための統合サポートが含まれていることが多く、スケーラビリティ、高可用性、より複雑な検索機能を必要とする本番環境に最適です。

• Zilliz Cloudの最新の新機能と機能強化をご覧ください：Zilliz Cloudアップデート：マイグレーションサービス、Fivetranコネクター、マルチレプリカ、その他

各ベクトル検索ソリューションを選択するタイミング

• ベクターサーチ・ライブラリー**を選択する場合：

  • 小規模から中規模の比較的静的なデータセットを持っている。
  • インデックス作成と検索アルゴリズムを完全にコントロールしたい。
  • 既存のシステムに検索を組み込み、インフラを管理できる。

• 目的別ベクターデータベース**を選択する場合：

  • 分散システムで数十億ベクトルまで拡張する必要がある。
  • データセットが頻繁に変更され、リアルタイムの更新が必要な場合。
  • ストレージ、スケーリング、クエリの最適化を代行してくれるマネージドソリューションを好む。

まとめると、ベクトル検索ライブラリ は、スピードとメモリ効率が優先されるが、運用の複雑さは最小限の、よりシンプルで小規模なユースケースに最適である。これとは対照的に、目的別ベクターデータベース は、動的なデータ処理、スケーラビリティ、使いやすさが要求される大規模なプロダクショングレードのシステム向けに設計されており、多くの場合、複雑なアプリケーションを管理する開発者に大きな運用上のメリットをもたらします。

異なるベクトル検索ソリューションの評価と比較

さて、さまざまなベクトル検索ソリューションの違いはわかった。次の疑問は、検索アルゴリズムが正確な結果を確実に、しかも高速に返すにはどうすればいいか？様々なANNアルゴリズムの有効性を、特に規模に応じてどのように評価するか？

これらの質問に答えるには、ベンチマークツールが必要である。そのようなツールは数多くあるが、最も効率的なものとして2つが挙げられる：**ANNベンチマーク](https://zilliz.com/glossary/ann-benchmarks)とVectorDBBenchである；

ANNベンチマーク

ANN Benchmarks](https://zilliz.com/glossary/ann-benchmarks) (Approximate Nearest Neighbor Benchmarks)は、様々な近似最近傍(ANN)アルゴリズムの性能を評価・比較するために設計されたオープンソースプロジェクトです。高次元ベクトル探索などのタスクで異なるアルゴリズムをベンチマークするための標準化されたフレームワークを提供し、開発者や研究者が様々なデータセットで探索速度、精度、メモリ使用量などのメトリクスを測定することを可能にします。ANN-Benchmarksを使うことで、Faiss、Annoy、HNSWlibなどのライブラリにあるようなアルゴリズムの速度と精度のトレードオフを評価することができます。

ANN Benchmarks GitHubリポジトリ： https://github.com/erikbern/ann-benchmarks

ANNベンチマークウェブサイト： https://ann-benchmarks.com/

ベクターDBBベンチ

VectorDBBenchは、高性能なデータストレージと検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザは独自のデータセットを用いてMilvusやZilliz Cloud(マネージドMilvus)などの異なるベクトルデータベースシステムの性能をテスト・比較し、ユースケースに最も適したものを決定することができる。VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされている。

• VectorDBBench GitHubリポジトリ**: https://github.com/zilliztech/VectorDBBench

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1).**&#x20で主流のベクターデータベースのパフォーマンスを簡単に見てみよう；

• VectorDB評価のテクニックと洞察：

  • ベンチマークベクターデータベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)