ベクターデータベースとは？

Zilliz CloudとVearchを比較する前に、まずベクターデータベースの概念について説明します；

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、高次元のベクトルを格納し、クエリするために特別に設計されています。ベクトルは、非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を向上させる技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

Zilliz CloudとVearchは、専用のベクターデータベースである。この記事では、両者のベクトル検索機能を比較する。

Zilliz Cloud：概要とコアテクノロジー

Zilliz Cloudは、オープンソースのMilvusエンジン上に構築されたフルマネージドベクターデータベースサービスです。ベクトル埋め込みデータを効率的に保存、管理、検索することで、開発者や組織が大規模なAIアプリケーションを扱えるよう支援します。Zillizクラウドがインフラを管理するため、開発者はデータベースを管理する代わりにAI機能の構築に集中することができます。

Zilliz Cloudの主な利点の1つは、パフォーマンスの自動最適化です。このシステムにはAutoIndexテクノロジーが搭載されており、あなたのデータとユースケースに最適なインデックス作成方法を選択します。そのため、パラメータのチューニングや異なるインデックスタイプの比較に時間を費やす必要はありません。また、このプラットフォームはIVF（Inverted File）とグラフベースのテクニックを使い、大規模なデータセットの類似性検索を高速化します。

このプラットフォームにはエンタープライズ機能がある。AWS、Azure、Google Cloudにベクターデータベースを展開することができ、Zillizのフルマネージドサービスを利用することも、BYOC（Bring Your Own Cloud Account）を利用することもできる。機密データを扱う組織のために、Zilliz Cloudは暗号化、アクセス管理、コンプライアンスツールなどのセキュリティコントロールを備えている。また、さまざまな一貫性レベルをサポートしているため、ニーズに応じて高速更新と強力なデータ一貫性のバランスを取ることができます。

コスト管理はZilliz Cloudのもう一つの重要な側面である。このプラットフォームでは、階層型ストレージを使用して、アクセスの少ないデータをより安価なストレージオプションに自動的に移動させるため、パフォーマンスに影響を与えることなくコストを削減することができます。また、ワークロードに合わせてコンピュートリソースを選択することもできます。例えば、重い処理タスクにはより強力なインスタンスを使用し、単純なクエリにはより軽量なインスタンスを使用するといった具合です。この柔軟性により、パフォーマンスを維持しながらコストを最適化することができます。

異なるタイプのデータを一緒に検索する必要があるAIアプリケーションのために、Zilliz Cloudはハイブリッド検索をサポートしています。単一のクエリで、テキスト埋め込み、画像ベクトル、その他のデータタイプを横断的に検索できます。また、このプラットフォームは、コサイン、ユークリッド、内積などの様々な類似度メトリクスをサポートしているため、様々な機械学習モデルやユースケースに適している。データが増大するにつれて、システムは自動的にリソースを追加することで水平方向に拡張できるため、負荷の高い作業でも優れたパフォーマンスを維持することができます。

Vearch** とは？概要とコアテクノロジー

Vearchは、高速で効率的な類似検索を必要とするAIアプリケーションを開発する開発者のためのツールです。超強力なデータベースのようなものだが、通常のデータを保存する代わりに、最新のAI技術の多くを支えるトリッキーなベクトル埋め込みを扱うように構築されている。

Vearchの最もクールな点は、そのハイブリッド検索だ。ベクトルによる検索（類似した画像やテキストを見つけることを想像してほしい）と、数値やテキストのような通常のデータによるフィルタリングができる。そのため、「このような商品を探す、ただし電子機器カテゴリーで500ドル以下」というような複雑な検索も可能だ。何百万ものベクトルからなるコーパスをミリ秒単位で検索できるのだ。

Vearchはニーズに応じて成長するように設計されている。クラスタのセットアップを使用し、コンピュータのチームが一緒に働くようなものだ。異なるタイプのノード（マスター、ルーター、パーティション・サーバー）があり、メタデータの管理からデータの保存や計算まで、異なるジョブを処理する。これにより、Vearchはデータの増加に合わせてスケールアウトし、信頼性を高めることができる。より多くのデータやトラフィックを処理するために、汗をかくことなくマシンを追加することができます。

開発者にとっては、Vearchは生活を容易にする素晴らしい機能をいくつか備えている。リアルタイムでインデックスにデータを追加できるので、検索結果は常に最新の状態に保たれます。複雑なデータに便利な、1つのドキュメントに複数のベクトル・フィールドをサポートする。また、Python SDKも用意されており、迅速な開発とテストが可能だ。Vearchは、インデックス作成方法（IVFPQとHNSW）に柔軟性があり、CPUとGPUの両方のバージョンをサポートしているので、特定のハードウェアやユースケースに合わせて最適化することができます。レコメンデーションシステム、類似画像検索、または高速な類似マッチングを必要とするAIアプリの構築など、Vearchはそれを効率的に実現するツールを提供します。

##主な違い

検索方法

Zilliz CloudとVearchはベクトル検索の実装において異なるアプローチをとっている。Zilliz CloudはAutoIndexテクノロジーを採用し、データとユースケースに基づいて最適なインデックス作成方法を自動的に選択します。IVFとグラフベースの技術を組み合わせ、高速な類似検索を実現します。

Vearchは、IVFPQとHNSWを中心とした複数のインデックス作成方法をサポートし、CPUとGPUの実装を選択することができます。これは、より多くの制御を提供する一方で、特定のユースケースにパフォーマンスを最適化するために、より多くの技術的知識を必要とします。

データハンドリング

Zilliz Cloudはハイブリッド検索機能に優れており、1つのクエリでテキスト埋め込み、画像ベクトル、その他のデータタイプを横断して検索することができます。様々な機械学習モデルに対応するため、様々な類似度メトリクス（コサイン、ユークリッド、内積）をサポートしています。

Vearchは、ベクトル検索と従来のフィルタリングオプションを組み合わせたハイブリッド検索機能も提供しています。数値範囲やテキストカテゴリなどのフィルタを適用しながらベクトルを検索することができる。1つのドキュメントで複数のベクトルフィールドをサポートし、複雑なデータ構造に適しています。

スケーラビリティとパフォーマンス

Zilliz Cloudは自動水平スケーリングによりスケーラビリティに対応します。データやワークロードが増加すると、システムが自動的にリソースを追加し、パフォーマンスを維持します。また、Zilliz Cloudは階層型ストレージを実装しており、パフォーマンスを低下させることなく、アクセスの少ないデータをより安価なストレージオプションに移動させることができます。

Vearchは、タスクごとに特化したノード（マスター、ルーター、パーティションサーバー）を持つ分散アーキテクチャを採用しています。この設計により、データ量やトラフィックの増加に対応するためにマシンを追加して拡張することができます。システムは数百万のベクトルをミリ秒単位で検索できるため、大規模なアプリケーションに適しています。

柔軟性とカスタマイズ

Zilliz Cloudは柔軟なデプロイオプションを提供します。AWS、Azure、Google Cloudのいずれでも、フルマネージドサービスとして、または独自のクラウドアカウント（BYOC）を持ち込んで使用することができます。また、このプラットフォームは、更新速度とデータの一貫性のバランスをとるために、一貫性のレベルを調整することができます。

Vearchでは、開発者がシステムの設定をより直接的にコントロールできる。インデックス作成方法を微調整したり、CPU/GPUの実装を選択したりすることができる。Vearchはリアルタイムのデータ更新をサポートしており、データが変更されても検索結果は常に最新の状態に保たれます。

統合とエコシステム

オープンソースのMilvusエンジン上に構築されたZilliz Cloudは、そのエコシステムの統合とコミュニティサポートの恩恵を受けています。このプラットフォームは、インフラ管理を代行するマネージドサービスの提供に重点を置いている。

Vearchは開発とテストのためにPython SDKを提供し、Python開発者がアクセスできるようにしている。しかし、ドキュメントはマネージド・サービスに重点を置いておらず、直接的な実装の詳細に重点を置いている。

使いやすさ

Zilliz Cloudは自動化による使いやすさを優先している。AutoIndexテクノロジーにより、手動でパラメータを調整したり、インデックスタイプを比較したりする必要がなくなります。マネージド・サービスの側面は、インフラ管理を行う必要がないことを意味します。

Vearchは、手作業による管理を必要とするが、システムの動作をより直接的に制御できる。Python SDKのような便利なツールも提供されているが、パフォーマンスを最適化するにはより専門的な知識が必要となる。

コストの考慮

Zilliz Cloudは、階層化されたストレージと柔軟なコンピュートリソースの割り当てにより、コストの最適化を実現します。リソースをワークロードの要件に合わせ、重い処理にはより強力なインスタンスを使用し、単純なクエリにはより軽量なインスタンスを使用することができます。

Vearchはセルフマネージド・ソリューションであるため、インフラコストを直接処理する必要がある。既存のインフラに関する専門知識を持つチームにとっては、この方が費用対効果が高いかもしれないが、リソースをより積極的に管理する必要がある。

セキュリティ機能

Zilliz Cloudは、暗号化、アクセス管理、コンプライアンスツールなど、エンタープライズグレードのセキュリティ機能を備えている。マネージドサービスという側面は、セキュリティアップデートやパッチが自動的に処理されることを意味する。

Vearchのセキュリティ機能は、提供された情報では明確に詳述されていないため、セキュリティの実装はインフラレベルで処理する必要があるかもしれない。

各テクノロジーを選択するタイミング

Zilliz クラウド

Zilliz Cloudは、複雑なインフラを管理することなく大規模なAIアプリケーションを処理する必要がある企業環境で輝きを放ちます。エンタープライズグレードのセキュリティと自動スケーリングを必要とするレコメンデーションシステム、コンテンツ類似エンジン、画像検索アプリケーションを構築する組織に最適です。このプラットフォームは、データベース管理よりもAI機能の開発に集中したいチームや、一貫したパフォーマンスで複数のクラウドプロバイダーにデプロイする必要がある場合に特に効果的です。

Vearch

Vearchは、ベクトル検索の実装をきめ細かく制御する必要があり、それを最適化する技術的な専門知識があるチームに最適です。Vearchは、在庫が頻繁に変更されるeコマース・プラットフォームや、新しいコンテンツを即座にインデックスする必要があるメディア・プラットフォームなど、特定のパフォーマンス要件でリアルタイム更新が必要なアプリケーションに最適です。Vearchはまた、すでに確立されたインフラを持ち、マネージド・サービスに移行することなくベクトル検索機能を統合したいチームにも効果的です。

結論

Zilliz Cloudは、そのマネージド・サービス・アプローチ、自動最適化機能、エンタープライズ対応のセキュリティ管理で際立っている。高度なAIアプリケーションに必要なツールを提供しながら、インフラの複雑さを解消している。一方、Vearchは、システムの動作をより直接的に制御し、リアルタイムの更新機能を提供するため、ベクトル検索の実装を微調整したいチームに適している。あなたのチームの技術的専門知識、スケーリング・ニーズ、マネージド・サービスとハンズオン・コントロールのどちらを好むかに合わせて選択する必要がある。データ量、更新頻度、セキュリティ要件、自動最適化のような機能が必要か、手動設定を好むかなどを考慮してください。

Zilliz CloudとVearchの概要についてはこちらをお読みいただきたいが、これらを評価するには、ユースケースに基づいて評価する必要がある。それに役立つツールの1つが、ベクターデータベースを比較するためのオープンソースのベンチマークツールであるVectorDBBenchだ。最終的には、独自のデータセットとクエリパターンを使って徹底的なベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力だが異なるこの2つのアプローチのどちらを選ぶかを決める鍵となるだろう。

オープンソースのVectorDBBenchを使ってベクトルデータベースを評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのためのオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムを独自のデータセットを使ってテストし比較し、自分のユースケースに合うものを見つけることができます。VectorDBBenchを使えば、ユーザーはマーケティング上の主張や伝聞ではなく、実際のベクターデータベースのパフォーマンスに基づいて決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)