ベクターデータベースの選び方：Weaviate CloudとZilliz Cloudの比較

このWeaviate比較の最終更新日は2024年10月7日です。最新の調査結果を提供するため、このブログは最新のベンチマーク数値で定期的に更新されます。

ベクターデータベースがすべて同じとは限らない：その違いを明らかにする

人工知能と機械学習の速いペースの世界では、ベクトル・データベースは高次元データの管理とクエリに不可欠となっている。昨年、ベクトル検索のユースケースがプロトタイプから本番へと移行し、市場のダイナミクスを変化させ、データベースのパフォーマンスとスケーラビリティの水準を引き上げたことで、大きな変化が見られた。このような特殊なデータベースに対する需要が、実際の大規模な展開によって高まるにつれ、すべてのソリューションが同じように作られているわけではないことを理解することが重要です。この記事では、この分野の主要なプレーヤー2社を比較する：WeaviateとZilliz Cloudで、それぞれ全く異なる方法でプロダクションスケールのベクトル検索に取り組んでいる。

Weaviateはオープンソースのベクターデータベースであり、Zilliz CloudはオープンソースのMilvusをベースにしたマネージドサービスである。しかし、両者は異なるユースケースを対象としている。

Weaviate：アクセシビリティとGenAIの統合が強み

Weaviateは、ベクター検索技術を試す開発者にとって、アクセスしやすいエントリーポイントとして位置づけられている。その強みは以下の通りです：

1.合理化されたセットアッププロセスと十分に文書化されたAPIによる開発者に優しいアプローチ。

2.高度なセマンティック検索機能を可能にするGenAIエコシステムとの深い統合。

3.迅速な実装により、小規模プロジェクトや概念実証に適しています。

これらの特徴により、Weaviateは迅速な導入とAIモデルとの容易な統合を求める開発者にとって魅力的な選択肢となっている。

Weaviate：大規模展開のための考慮事項

しかし、Weaviate を大規模な本番環境に導入する場合には、いくつかの要因が絡んできます：

1.役割ベースのアクセス制御（RBAC）やプライベートネットワーキングオプションなど、エンタープライズグレードのセキュリティ機能が限定的であること。

2.緊密に結合されたアーキテクチャによるスケーラビリティの課題。数十億ベクトル・データセットのデータを再シャードするにはコストがかかる。

3.新しくリリースされた階層型ストレージには手動管理が必要で、運用が複雑になる可能性がある。

4.HNSWインデックスに主に依存しているため、非常に大きなデータセットを含む多様なユースケースに最適化する際の柔軟性が制限される可能性がある。

Zilliz: 規模と企業ニーズに対応した設計

対照的に、Zillizは大規模で高性能なアプリケーションに最適化されたソリューションの構築に注力してきた：

1.1.超大規模、高性能、低レイテンシーの要件を処理するために設計された高度な分散アーキテクチャ。

2.独自の検索エンジン(Cardinal)とAutoIndex機能により、さまざまなインデックスタイプをスマートに活用し、さまざまなユースケースでパフォーマンスとコストのバランスを実現。

3.堅牢なセキュリティ・ツール、柔軟な導入オプション、内蔵の回復力を含む包括的なエンタープライズ機能。

4.特定のユースケース要件に合わせてカスタマイズされたコンピュートリソースにより、パフォーマンスとコストのバランスを実現。

5.自動化された階層型ストレージにより、効率性と費用対効果を維持しながら運用負荷を軽減。

これらの機能により、Zillizは要求の厳しいベクターデータベースアプリケーション、特にエンタープライズグレードの機能と数十億ベクターへのスケーラビリティを必要とするアプリケーション向けの堅牢なソリューションとして位置づけられています。

このWeaviateとZilliz Cloudの比較では、これらの区別にとどまらず、他のいくつかの比較領域についても深く掘り下げていきます。ベンチマークを掘り下げてパフォーマンスの視点を提供し、Weaviate Cloudの機能を詳細に分析します。

Weaviate CloudとZilliz Cloudのベンチマーク

Zillizでは、開発者やアーキテクトから、"ベクトルエンベッディングのワークロードにおいて、ZillizはWeaviate Cloudと比較してどうなのか？"という質問を受けます。このような好奇心は様々な動機から生まれるかもしれません。その動機は、商品レコメンダーや逆画像検索のような機能のための意味的類似性検索の構築や、最近ではRAG(Retrieval Augmented Generation)を使ったLLMアプリケーションの構築に起因しています。

過去数週間にわたり、ベクトル埋め込みワークロードに関するZilliz CloudとWeaviate Cloudの性能と属性を掘り下げて、包括的な分析を行いました。オープンソースのベンチマークツールであるVectorDBBenchを使って、私たちの調査は、1秒あたりのクエリー数(QPS)、1ドルあたりのクエリー数(QP$)、レイテンシなどの重要な側面に集中的に焦点を当てました。

テストしたデータセット

Zilliz CloudとWeaviate Cloudのベンチマークとして、2種類のデータセットをテストした。

1. データセット1: 1,000,000ベクトル、768次元

2. データセット2: 1,536次元の500,000ベクトル

テストされた製品

Zilliz CloudとWeaviate Cloudの以下のオプションをテストしました。

• Zilliz Cloud (1cu-perf):**パフォーマンスに最適化されたコンピュートユニットを1つ搭載したZilliz Cloud

• Zilliz Cloud (1cu-cap):容量最適化されたコンピュートユニットを1基搭載したZilliz Cloud

• Zilliz Cloud (2cu-cap):** Zilliz Cloud、容量最適化コンピュート・ユニット2基搭載

• ウィービエイト・クラウド（スタンダード）*：Zilliz Cloud、容量最適化済みコンピュート・ユニット2基搭載

• Weaviate Cloud (ビジネスクリティカル)

**Zillizクラウドのコンピュートユニットについては、Zillizブログ Zilliz Cloud CUタイプ紹介をご参照ください。

1秒あたりのクエリー数(QPS)

Zillizは、768次元の100万ベクトルを処理する際に、Weaviate Cloudのスタンダードプランとビジネスクリティカルプランを上回るQPSを実現するさまざまなハードウェアオプションを提供しています。具体的には、ZillizはWeaviate Cloudのビジネスプランの9倍、8倍、5倍のQPSを達成している。

1,563次元の500,000ベクトルを処理した場合、ZillizのオプションはWeaviate CloudのスタンダードプランとビジネスクリティカルプランをQPSの点で上回った。具体的には、ZillizはWeaviate CloudのベストオプションのQPSよりも8倍、6倍、3倍高いQPSを達成している。

これは、特定のルールに従ったさまざまなケースにおける各システムのパフォーマンスに基づく1～100のスコアです。スコアが高いほど、パフォーマンスが高いことを示す。

我々のテストでは、Weaviate Cloudの2つのプランの総合的なQPSパフォーマンスは約12点であり、Zillizの有利なプランよりも84点、Zillizの最も不利なオプションよりも35点低いことが明らかになった。

クエリー数 (QP$)

768次元の100万ベクトルを処理する場合、ハードウェアリソースの設定が異なるすべてのZillizオプションは、QP$の点でWeaviate Cloudよりも効率的である。具体的には、ZillizはWeaviateの標準プランの520倍、332倍、292倍の費用対効果がある。

https://assets.zilliz.com/236_d4d2b93270.png

1,536次元の500,000ベクトルを処理する場合、ハードウェアリソースのセットアップが異なるZillizの全オプションは、Weaviate CloudよりQP$の点で効率的である。特に、ZillizはWeaviateの標準プランよりも403倍、258倍、194倍コスト効率が高い。

https://assets.zilliz.com/237_56fdfe0085.png

これは、特定のルールに従ったさまざまなケースにおける各システムのパフォーマンスに基づく1～100のスコアである。スコアが高いほど、パフォーマンスが高いことを示す。

テスト結果によると、Weaviateの2つのプランは、総合的なQP$パフォーマンスで約1ポイントを獲得しており、これはZillizの最も有利なプランよりも71ポイントも低く、Zillizの最も不利なオプションよりも49ポイントも低い。

待ち時間

768次元の100万ベクトルを処理する場合、ハードウェアリソースの設定が異なるすべてのZillizオプションは、P99レイテンシの点でWeaviate Cloudよりはるかに高速です。具体的には、ZillizはWeaviateのビジネスプランの26倍、20倍、19倍高速である。

1,536次元の500,000ベクトルを処理する場合、ハードウェアリソースの設定が異なるZillizのすべてのオプションは、P99レイテンシの点でWeaviate Cloudよりもはるかに高速である。具体的には、ZillizはWeaviateのビジネスプランの32倍、18倍、7倍高速である。

これは、特定のルールに従ったさまざまなケースにおける各システムのパフォーマンスに基づく>1スコアである。スコアが低いほどパフォーマンスが高いことを示す。

テスト結果によると、Weaviate Cloudの2つのプランは、総合的なP99レイテンシ性能で約6ポイントを獲得しており、Zilliz Cloudの各種オプションよりも4ポイントも高い（遅い）。

これらのベンチマークは、GitHubにあるオープンソースのVectorDB Bench toolを使って実施しました。このツールには、更新されたleaderboardもあります。VectorDBBenchは、偏りのないベクトルデータベース主流のベクトルデータベースのベンチマーク結果とクラウドサービスを提供する。使いやすく設計されたVectorDB Benchは、ベクターデータベースのクラウドサービスやオープンソースのベクターデータベースの中から最適なものを簡単に見つけることができます。

Weaviate クラウド機能比較

ベクトルデータベースに格納される非構造化データの要素数が数億、数十億と増加し、複数ノードにまたがる水平スケーリングが最重要課題となるにつれ、パフォーマンスはベクトルデータベースの最大の課題となる。さらに、挿入率、クエリ率、および基礎となるハードウェアの違いによって、アプリケーションのニーズが異なる場合があり、システム全体のチューナビリティがベクトルデータベースの必須機能となっています。

ベクターデータベースは何のためにあるのか？

ベクターデータベースは、機械学習モデルからのエンベッディングのパワーを活用した、構造化されていない膨大なデータセット全体の保存、インデックス付け、検索のための完全に管理されたソリューションです。ベクトル・データベースは、以下のような機能を備えている必要があります：

• スケーラビリティとチューナビリティ

• マルチテナンシーとデータの分離

• 完全なAPIスイート

• 直感的なユーザーインターフェース/管理コンソール

スケーラビリティ

| ジーリズクラウド | ウィービエイトクラウド | -------------------------------------------------- | --------------------------------------------------------------------------- | ----------------------------------- | | ストレージとコンピュートの分離 | クエリーと挿入の分離｜ はい。コンポーネントレベルで（よりきめ細かいスケーラビリティを提供する）。| いいえ、サーバー・レベルでのみ拡張可能です。| | マルチ・レプリケーション | ビリオンスケール・ベクター・サポート | 動的なセグメント配置と静的なデータシャーディングの比較｜動的なセグメント配置｜静的なデータシャーディング | マルチテナンシー｜コレクションとパーティション管理により柔軟なマルチテナンシーが可能｜シャーディングによりマルチテナンシーが可能だが、再シャーディングにはコストがかかる

ベクトル検索機能

| ジーリズクラウド | ウィービエイトクラウド | ------------------------------------ | ------------------------- | -------------------------------------- | | ディスクインデックスのサポート | ハイブリッド検索（スカラー・フィルタリング）｜マルチモーダル、デンス＋スパース検索｜あり（キーワードとデンス・ベクトルを組み合わせる | パーティション/ネームスペース/論理グループ

目的別

| 機能｜Zillizクラウド｜Weaviateクラウド | ------------------------------------------------ | -------------------------------------------------------------------------------- | ---------------- |

| 調整可能な一貫性 | √ | √ |｜。 | ベクトル・データのストリームとバッチの両方をサポート。 | バイナリ・ベクトル・サポート | 多言語SDK｜Python, Java, Go, C++, Node.js｜Python, Java, Go｜多言語SDK｜Python, Java, Go, C++, Node.js

エンタープライズ対応

	Zillizクラウド	Weaviateクラウド
役割ベースのアクセス制御（RBAC）｜√｜x
耐障害性保証｜99.95％｜99.9
コンプライアンスとプライバシー｜SoC 2 Type II, ISO27001, GDPR対応 & HIPPA対応｜SoC 2 Type II

詳細は【Milvus vs Weaviate比較ページ】(https://zilliz.com/comparison/milvus-vs-weaviate)をご覧ください。

次は？

• Zilliz Cloud](https://zilliz.com/cloud)を無料でお試しください。

• Zilliz Cloudでベクトル検索の力を引き出す](https://zilliz.com/event/unlocking-power-vector-search-zilliz-cloud-webinar)

• Zilliz CloudでジェネレーティブAIの可能性を最大限に引き出す](https://zilliz.com/learn/Retrieval-Augmented-Generation)