Zillizクラウド：ロケット並みのスピードでベクトル検索に火をつける
私たちは最近、Zilliz Cloudの最新バージョンを発表しました。新しい無料ティア、ダイナミックスキーマとパーティションキー、多様なビジネスニーズに応えるより手頃な料金プランなど、エキサイティングな機能の数々を導入しています。また、パフォーマンスも大幅に向上し、Zilliz Cloudは旧バージョンと比較して2倍、Milvusや他のベクトルデータベースと比較して3倍から10倍高速になりました。
ソフトウェア・エンジニアとして、私はZilliz Cloudのロケットのようなクエリ処理速度に特に興奮しています。この投稿では、Zilliz Cloudの速さと、Zillizの何が光速なのかを紹介します。
Zilliz Cloudの速さは？
Zilliz Cloudのスピードを実証する前に、比較の背景と評価する具体的な条件を確立する必要があります。
VectorDBBenchはオープンソースのベンチマークツールで、直感的でユーザーフレンドリーなインターフェイスを通じて、QPS、容量、スループット、レイテンシなど複数のメトリクスで異なるベクトルデータベースのパフォーマンスを評価します。
VectorDBBenchを使って、Zilliz CloudをZillizが作ったオープンソースのデータベースであるMilvusや、Quadrant Cloud、Pinecone、WeaviateCloud、ElasticCloudなどの市場にある他のベクターデータベースと比較してみます。
Zilliz CloudはMilvusを6倍も凌駕している。
下図は、768次元の100万件のデータを処理した場合のZilliz CloudとMilvusのパフォーマンスをQPSで比較したものです。この結果から、Zilliz CloudはMilvusより少なくとも3倍高速であることがわかります。
Zilliz CloudとMilvusの比較（1Mデータセット、768次元）](https://assets.zilliz.com/Zilliz_Cloud_vs_Milvus_1_M_dataset_768_Dim_6f4865d9e1.png)
1,000万個の768次元データを検索する場合、Zilliz CloudはMilvusを6倍も上回っています。
Zilliz Cloud vs Milvus (10Mデータセット、768次元)](https://assets.zilliz.com/Zilliz_Cloud_vs_Milvus_10_M_dataset_768_Dim_deed8b9e9a.png)
Zilliz Cloudは他のベクトルデータベースより少なくとも4倍速い。
Zilliz Cloudは他のベクトルデータベースよりも高速です。ベンチマークの結果によると、Zilliz Cloudは768次元の100万件のデータを検索する際に、競合他社よりも4倍から191倍高いQPSを達成し、より手頃な料金プランを提供しています。
Zilliz Cloudと他のベクトルデータベースの比較（1Mデータセット、768次元）](https://assets.zilliz.com/Zilliz_Cloud_vs_other_vector_databases_1_M_dataset_768_Dim_6ff9ab5fd4.png)
より大きなデータセットに対して類似検索を行った場合、Zilliz CloudはPineconeやQuadrant CloudなどのベクトルデータベースサービスをQPSで3倍上回ります。
Zilliz Cloudと他のベクトルデータベースの比較（10Mデータセット、768Dim）](https://assets.zilliz.com/Zilliz_Cloud_vs_other_vector_databases_10_M_dataset_768_Dim_01d87a2c90.png)
その他の結果については、ベンチマークページをご覧ください。
Zilliz Cloudが速い理由
さて、Zilliz Cloudの速さについてお分かりいただけたと思います。
Zilliz Cloudは堅牢なベクトルインデキシングエンジンを搭載しています。
ベクターデータベースはコンピューティングパワーに大きく依存し、ベクターインデキシングアルゴリズムが最もリソースを消費し、主にパフォーマンスを決定します。
Zilliz Cloudは、強力なベクトル計算機能を備えた堅牢なインデックスエンジンを備えています。Glassはオープンソース版であり、ANN-Benchmarkが最近発表したテスト結果ではランキングのトップに立った。この有名なベンチマークツールは、様々な実際のデータセット上で異なるアルゴリズムのパフォーマンスを比較します。
つの例を見てみよう。以下の図は、2つの異なるデータセットに基づくANN-Benchmarkの最新のベンチマーク結果を示している：
- gist-960-euclidean`: ユークリッド距離関数を使った100万個の960次元ベクトル。
- fashion-mnist-784-euclidean`：ユークリッド距離関数を使った60,000個の784次元ベクトル。
曲線が高ければ高いほど、アルゴリズムが1秒間に処理できるクエリー数は多くなる。同様に、曲線が右に伸びれば伸びるほど、アルゴリズムが得られるリコールは高くなる。
ANNベンチマーク結果（データセット：gist-960-euclidean, k=10）](https://assets.zilliz.com/ANN_Benchmark_1_37f089c1b4.png)
ANNベンチマーク結果 (データセット: gist-960-euclidean, k=10)](https://assets.zilliz.com/ANN_Benchmark_2_a2d5b3ccfb.png)
図に示した結果によると、Glass（ピンクの曲線）は、1秒あたりのクエリーと想起の両方でトップ・パフォーマーにランクされた。Glassの卓越した性能は、Zilliz Cloudの光速達成に大きく貢献しています。
最適化されたコード構造
Glassの堅牢なインデックス機能に加え、Zilliz Cloudのコード構造を最適化しました。この最適化には、冗長なクエリパスの整理、クエリマージと同時クエリルールのスケジューリングの改善、ロードバランシング構造の最適化、非効率で時代遅れの多くのサードパーティライブラリの置き換え/アップグレードなどが含まれます。これらの努力はすべて、Zilliz Cloudがインデックス・アルゴリズムの能力を最大化し、オーバーヘッドを削減するのに役立っています。
また、以前はZilliz Cloudのクエリ性能を妨げていたいくつかの問題にも対処しました。その結果、大規模データセットによるスカラーフィルタ検索やベクトルフィルタ検索が大幅に高速化しました。
Zilliz CloudのAutoIndexによる安定した回収率
再現率はシステムのパフォーマンスにとって非常に重要な要素です。不十分な想起率は、お客様の要件を満たさない検索結果につながります。しかし、過度に高い想起率はパフォーマンスを著しく損なう可能性があります。従って、性能と精度のバランスをとり、予測可能な結果を保証し、様々な生産シナリオをより良くサポートする安定した想起率が必要です。
想起率の制御は不可欠ですが、データサイズ、インデックス作成とクエリーパラメーター、データ分布、さらにはtopk結果のサイズを含む様々な要因によって想起率が影響を受ける可能性があるため、複雑でもあります。ほとんどのデータベースシステムは、この問題に対処するために、以下の2つのソリューションのいずれかを使用しています：
- ユーザーがパラメータを提供できるようにする。
- 経験的なパラメーターを提供する**：使いやすいが、柔軟性に欠け、異なるデータセットやtopk要求の状況を正確に制御できない。
Zilliz CloudはAutoIndexと呼ばれる、より分かりやすく柔軟なソリューションを提供しています。AutoIndexは、モデルに基づいて実用的なアプリケーションケースを分析し、インデックス作成要求ごとにパラメータをカスタマイズします。このアプローチは、実用的なアプリケーションでユーザーの要求を満たす優れたパフォーマンスを提供しながら、安定した想起率を保証します。
要約
Zilliz Cloudの最新アップデートは、機能性とパフォーマンスにおいて画期的な改善を行いました。膨大なベクトル検索の処理においてロケットのようなスピードを誇り、他のベクトルデータベースを大幅に凌駕している。
Zilliz Cloudを始める
- 新しいスタータープランで無料で始める！インストールの手間もなく、クレジットカードも必要ありません！
- また、スタンダードプランの30日間無料トライアルでは、登録時に100円分のクレジットが付与され、合計で最大200円分のクレジットを獲得することができます。
- Zilliz Cloudのドキュメントをより深くご覧ください。
- MilvusからZilliz Cloudへの移行ガイドをご覧ください。
Li LiuLi Liu is the Principal Engineer at Zilliz, leading the vector searching research and development. Before joining Zilliz, he was a Senior Engineer at Meta, designing and shaping numerous advertising stream data frameworks. With a Master's degree from Carnegie Mellon University, he boasts extensive experience in databases and big data. Li Liu's expertise in technology and innovation continues to drive advancements in vector searching, leaving a lasting impact on the field.
読み続けて
Similarity Metrics for Vector Search
Exploring five similarity metrics for vector search: L2 or Euclidean distance, cosine distance, inner product, and hamming distance.
Mixture-of-Agents (MoA): How Collective Intelligence Elevates LLM Performance
Mixture-of-Agents (MoA) is a framework where multiple specialized LLMs, or "agents," collaborate to solve tasks by leveraging their unique strengths.
Transformers4Rec: Bringing NLP Power to Modern Recommendation Systems
Transformers4Rec is a powerful and flexible library designed for creating sequential and session-based recommendation systems with PyTorch.