Zilliz Cloud vs Rockset AIアプリケーションに適したベクターデータベースの選択

ベクターデータベースとは？

Zilliz CloudとRocksetを比較する前に、まずベクターデータベースの概念について説明します；

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを保存し、クエリするように設計されています。ベクトルは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLM)の性能を向上させる技術であるRAG(Retrieval Augmented Generation)でも重要な役割を果たしている。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

Zilliz Cloudは、専用のベクターデータベースである。Rocksetは、アドオンとしてベクトル検索機能を持つ検索・分析データベースである。この記事では、両社のベクトル検索機能を比較する。

Zilliz Cloud：概要とコアテクノロジー

Zilliz Cloudは、オープンソースのMilvusエンジン上に構築されたフルマネージドベクターデータベースサービスです。ベクトル埋め込みデータを効率的に保存、管理、検索することで、開発者や組織が大規模なAIアプリケーションを扱えるよう支援します。Zillizクラウドがインフラを管理するため、データベースを管理する代わりにAI機能の構築に集中することができます。

Zilliz Cloudの主な利点の1つは、パフォーマンスの自動最適化です。このシステムにはAutoIndexテクノロジーが搭載されており、あなたのデータとユースケースに最適なインデックス作成方法を選択します。そのため、パラメータのチューニングや異なるインデックスタイプの比較に時間を費やす必要はありません。また、このプラットフォームはIVF（Inverted File）とグラフベースのテクニックを使い、大規模なデータセットの類似性検索を高速化します。

このプラットフォームにはエンタープライズ機能がある。AWS、Azure、Google Cloudにベクターデータベースを展開することができ、Zillizのフルマネージドサービスを利用することも、BYOC（Bring Your Own Cloud Account）を利用することもできる。機密データを扱う組織のために、Zilliz Cloudは暗号化、アクセス管理、コンプライアンスツールなどのセキュリティコントロールを備えている。また、さまざまな一貫性レベルをサポートしているため、ニーズに応じて高速更新と強力なデータ一貫性のバランスを取ることができます。

コスト管理はZilliz Cloudのもう一つの重要な側面である。このプラットフォームでは、階層型ストレージを使用して、アクセスの少ないデータをより安価なストレージオプションに自動的に移動させるため、パフォーマンスに影響を与えることなくコストを削減することができます。また、ワークロードに合わせてコンピュートリソースを選択することもできます。例えば、重い処理タスクにはより強力なインスタンスを使用し、単純なクエリにはより軽量なインスタンスを使用するといった具合です。この柔軟性により、パフォーマンスを維持しながらコストを最適化することができます。

異なるタイプのデータを一緒に検索する必要があるAIアプリケーションのために、Zilliz Cloudはハイブリッド検索をサポートしています。単一のクエリで、テキスト埋め込み、画像ベクトル、その他のデータタイプを横断的に検索できます。また、このプラットフォームは、コサイン、ユークリッド、内積などの様々な類似度メトリクスをサポートしているため、様々な機械学習モデルやユースケースに適している。データが増大するにつれて、システムは自動的にリソースを追加することで水平方向に拡張できるため、負荷の高い作業でも優れたパフォーマンスを維持することができます。

Rockset概要とコアテクノロジー

Rocksetは、ベクトル埋め込みを含む、構造化・非構造化データのリアルタイム検索・分析データベースです。リアルタイムにデータを取り込み、インデックスを作成し、クエリを実行することができるため、瞬時の洞察を必要とするアプリケーションに最適です。Rocksetは、ストリーミングとバルクの両方のデータ取り込みをサポートしており、高速イベントストリームと変更データキャプチャ（CDC）フィードを1～2秒で処理できます。

Rocksetの主な特徴の一つは、ミュータブルなRocksDB上に構築されたコンバージド・インデクシングです。これにより、ベクターとメタデータをインプレースで更新できるため、データが頻繁に変更されるシナリオでは非常に効率的です。Rocksetは最大40MBまでのドキュメントを扱うことができ、最大200,000までのベクトル次元をサポートしているので、幅広いベクトル埋め込みユースケースに適しています。

Rocksetはコアにベクトル検索を内蔵しています。KNN (K-Nearest Neighbors) と ANN (Approximate Nearest Neighbors) 検索をサポートし、スケーラビリティのために分散 FAISS インデックスを使用しています。Rocksetはアルゴリズムにとらわれないので、独自の検索実装を選択することができます。コストベースのオプティマイザは、最適なパフォーマンスを得るためにKNNとANNの検索方法を動的に選択することができます。

ベクトル検索用のRocksetのユニークな点は、検索、ANN、列インデックス、行インデックスを1つにまとめたコンバージド・インデックスです。つまり、様々なクエリーパターンをすぐに扱うことができるのです。Rocksetはメタデータフィルタリングとハイブリッド検索もサポートしている。オプティマイザが最も効率的なクエリパスを選択します。複数のANNフィールドを横断して検索することができ、マルチモーダルモデルをサポートし、クエリーインターフェイスにはSQLとREST APIの両方が用意されている。

主な違い

スケーラビリティとパフォーマンス

Zilliz Cloudは必要に応じてリソースを追加することで、水平方向に拡張できる。階層化されたストレージは、パフォーマンスに影響を与えることなく、アクセスの少ないデータをより安価なストレージに移動させます。

Rockset は分散 FAISS インデックスと Converged Index アーキテクチャーによってスケー ルアップする。コストベースのオプティマイザは、最適なパフォーマンスを得るために検索方法を切り替えることができる。

柔軟性とカスタマイズ

Zilliz CloudはAWS、Azure、Google Cloud上にデプロイされます。ユーザーは、フルマネージドまたはBYOC（Bring Your Own Cloud Account）を選択できます。

Rocksetはアルゴリズムにとらわれないので、ユーザーは好みの検索方法を使うことができる。SQL APIとREST APIを通じて複数のクエリーインターフェースをサポートしている。

統合とエコシステム

Zilliz Cloudは、主要なクラウドプロバイダーと統合し、柔軟な類似性メトリクスを通じて様々な機械学習モデルをサポートします。

Rocksetはリアルタイムのデータ統合シナリオに優れており、ストリーミングデータとCDCフィードをサポートしています。データを迅速に更新する必要がある環境や、リアルタイムの分析に適しています。

使いやすさ

Zilliz Cloudは、AutoIndexと自動パフォーマンス最適化により、管理オーバーヘッドを削減します。手動でパラメータを調整したり、インデックスタイプを比較したりする必要はありません。

Rocksetは、追加設定なしですべてのクエリパターンを処理するConverged Indexにより、簡単にセットアップできます。

コスト

Zilliz Cloudは階層化されたストレージと柔軟なコンピュート・リソースの割り当てにより、コストの最適化を支援します。ユーザーはリソースをワークロードに合わせることができます。

Rocksetの価格設定は、データ量とクエリの複雑さに基づいている。インプレース更新により、頻繁に更新されるデータのストレージコストを削減できる。

セキュリティ

Zilliz Cloudは、暗号化、アクセス管理、コンプライアンスツールなど、エンタープライズグレードのセキュリティを備えています。更新速度とデータの一貫性のバランスをとるために、さまざまな一貫性レベルをサポートしています。

Rocksetは、暗号化やアクセス制御などの標準的なセキュリティ機能を備えていますが、具体的な内容はお客様の要件に基づいて確認する必要があります。

Zilliz CloudとRocksetのキーポイント

Zilliz Cloudを選ぶべき時

Zilliz Cloudは、ベクトル埋め込みに特化したAIアプリケーション、特に自動スケーリングと自動最適化が必要な場合に選択します。推薦システム、画像類似検索、セマンティックテキスト検索を大規模に構築する企業に最適です。このプラットフォームは、クロスクラウドデプロイメント、強力なセキュリティコントロール、階層型ストレージによるコスト最適化などのエンタープライズ機能が必要な場合に最適です。Zilliz Cloudは、最小限のインフラ管理とベクトル操作での高いパフォーマンスを必要とするプロジェクト向けです。

Rocksetを選ぶとき

リアルタイムのデータ処理とベクトル検索が必要な場合にRocksetを選択します。Rocksetは、頻繁なデータ更新、ストリーミング分析、または従来のデータベース操作とベクトル類似検索を組み合わせる必要がある場合に適しています。Rocksetは高速なデータ取り込みと即時検索が可能なので、リアルタイム分析ダッシュボード、ログ分析システム、動的コンテンツ推薦エンジンなど、秒単位の精度が必要な場合に適しています。

結論

Zilliz Cloudは、自動最適化、エンタープライズ機能、スケーラブルなアーキテクチャを備えた純粋なベクトル検索に適している。Rocksetはリアルタイムデータ処理とハイブリッド検索に適している。この2つのどちらを選ぶかは、データの更新頻度、応答時間、ベクトル検索が主なユースケースなのか、より広範なデータ処理戦略の一部なのかといったユースケースの要件に基づいて決める必要がある。どちらも強力なベクトル検索を備えているが、データ処理と最適化のアプローチは異なるため、それぞれ異なるタイプのアプリケーションや企業に適している。

Zilliz CloudとRocksetの概要についてはこちらをお読みいただきたいが、これらを評価するには、ユースケースに基づいて評価する必要がある。それに役立つツールの1つが、ベクターデータベースを比較するためのオープンソースのベンチマークツールであるVectorDBBenchだ。最終的には、独自のデータセットとクエリパターンで徹底的なベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力だが異なるこの2つのアプローチのどちらを選ぶかを決める鍵となるだろう。

オープンソースのVectorDBBenchを使ってベクトルデータベースを評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのためのオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムを独自のデータセットを使ってテストし比較し、自分のユースケースに合うものを見つけることができます。VectorDBBenchを使えば、ユーザーはマーケティング上の主張や伝聞ではなく、実際のベクターデータベースのパフォーマンスに基づいて決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)