Vespa vs Vearch AIアプリに適したベクターデータベースの選択
ベクターデータベースとは？
VespaとVearchを比較する前に、まずベクターデータベースの概念について説明します；
ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、高次元のベクトルを格納し、照会するために特別に設計されたもので、非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。
ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を向上させる技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。
市場には、以下のような多くの種類のベクトル・データベースがある：
- Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
- Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
- Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
- 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。
VespaとVearchは専用のベクターデータベースです。この記事では、これらのベクター検索機能を比較します。
Vespa概要とコアテクノロジー
Vespaは強力な検索エンジンとベクトルデータベースで、複数の種類の検索を一度に扱うことができます。ベクター検索、テキスト検索、構造化データによる検索に優れています。つまり、類似したアイテム（画像や商品など）を検索したり、テキスト内の特定の単語を検索したり、日付や数字に基づいて検索結果をフィルタリングしたりすることができます。Vespaは柔軟性があり、単純な数値から複雑な構造まで、さまざまな種類のデータを扱うことができます。
Vespaの際立った特徴のひとつは、ベクトル検索ができることです。ドキュメントにいくつでもベクトルフィールドを追加することができ、Vespaはそれらを素早く検索します。Vespaはテンソルと呼ばれる特殊なベクトルも扱うことができ、マルチパートのドキュメント埋め込みなどを表現するのに便利です。Vespaはこれらのベクトルをどのように保存し検索するかについてスマートなので、速度を落とすことなく本当に大量のデータを扱うことができます。
Vespaは超高速かつ効率的に構築されています。メモリを管理し、検索を行うためにC++で書かれた独自の特別なエンジンを使用しているため、複雑なクエリや大量のデータを扱ってもうまく動作します。新しいデータを追加したり、たくさんの検索を同時に処理したりしても、スムーズに動作し続けるように設計されています。そのため、多くのトラフィックやデータを処理する必要がある、大規模で現実的なアプリケーションに最適です。
Vespaのもう一つの優れた点は、より多くのデータやトラフィックを処理するために自動的にスケールアップできることです。Vespaのセットアップにコンピュータを追加すれば、自動的にそのコンピュータに作業を分散させることができる。これは、複雑なセットアップをすることなく、ニーズの成長に合わせて検索システムを成長させることができることを意味します。Vespaは、データ量やトラフィックの変化に対応するために自動的に調整することもでき、コスト削減に役立ちます。そのため、時間とともに成長する検索システムを必要とするビジネスには最適です。
Vearch** とは？概要とコアテクノロジー
Vearchは、高速で効率的な類似検索を必要とするAIアプリケーションを開発する開発者のためのツールです。超強力なデータベースのようなものだが、通常のデータを保存する代わりに、最新のAI技術の多くを支えるトリッキーなベクトル埋め込みを扱うように構築されている。
Vearchの最もクールな点は、そのハイブリッド検索だ。ベクトルによる検索（類似した画像やテキストを見つけることを想像してほしい）と、数値やテキストのような通常のデータによるフィルタリングができる。そのため、「このような商品を探す、ただし電子機器カテゴリーで500ドル以下」というような複雑な検索も可能だ。何百万ものベクトルからなるコーパスをミリ秒単位で検索できるのだ。
Vearchはニーズに応じて成長するように設計されている。クラスタのセットアップを使用し、コンピュータのチームが一緒に働くようなものだ。異なるタイプのノード（マスター、ルーター、パーティション・サーバー）があり、メタデータの管理からデータの保存や計算まで、異なるジョブを処理する。これにより、Vearchはデータの増加に合わせてスケールアウトし、信頼性を高めることができる。より多くのデータやトラフィックを処理するために、汗をかくことなくマシンを追加することができます。
開発者にとっては、Vearchは生活を容易にする素晴らしい機能をいくつか備えている。リアルタイムでインデックスにデータを追加できるので、検索結果は常に最新の状態に保たれます。複雑なデータに便利な、1つのドキュメントに複数のベクトル・フィールドをサポートする。また、Python SDKも用意されており、迅速な開発とテストが可能だ。Vearchは、インデックス作成方法（IVFPQとHNSW）に柔軟性があり、CPUとGPUの両方のバージョンをサポートしているので、特定のハードウェアやユースケースに合わせて最適化することができます。レコメンデーションシステム、類似画像検索、または高速な類似マッチングを必要とするAIアプリの構築など、Vearchはそれを効率的に実現するツールを提供します。
##主な違い
検索機能とパフォーマンス
VespaとVearchはどちらもベクトル検索を行うが、その方法は異なる。Vespaはベクトル検索、テキスト検索、構造化データ検索を1つのクエリシステムに統合しています。これは、異なるデータタイプを一度に検索できることを意味し、従来の検索とベクトル類似性を混在させる必要がある複雑なアプリケーションに非常に便利です。
Vearchは類似度ベースのクエリを中心としたベクトル検索である。IVFPQとHNSWの両方のインデックス作成方法をサポートしているので、ベクトルインデックスの作成方法を柔軟に変更することができる。Vearchの利点の1つはGPUアクセラレーションをサポートしていることで、ハードウェアがあれば検索パフォーマンスを大きく向上させることができる。
データ管理
Vespaのデータ管理は構造化ドキュメントモデルに基づいています。ベクトルと従来のフィールドを組み合わせることができ、システムはリアルタイムのインデックス作成と更新をスムーズに処理します。テンソル演算をサポートしているので、高度な機械学習アプリケーションで非常に役立つ複雑なベクトル操作を行うことができます。
Vearchはデータ管理が非常にシンプルです。複数のベクトルフィールドとリアルタイム更新もサポートしているが、ベクトルデータに特化しているため、スキーマ定義の複雑さは少ない。このシステムにはデータ検証が組み込まれており、さまざまなユースケースに適応できる柔軟なスキーマ定義がある。
スケーラビリティ・アーキテクチャー
Vespaの分散アーキテクチャは、自動シャーディングとレプリケーションによってスケーラビリティを処理します。システムは、コンテンツとサービングノードの独立したスケーリングを可能にし、リクエスト分散を管理する組み込みのロードバランシングを備えています。Vespaの利点の1つは、外部の調整サービスを必要としないため、運用のオーバーヘッドが簡素化されることです。
Vearchは3ノード・アーキテクチャを採用している。マスターノードがクラスタを管理し、ルーターノードがリクエストを処理し、パーティションサーバーがデータを保存して計算する。このように関心事を分離することで、システムの特定の部分をスケールさせることができる。このアーキテクチャはパーティションの追加による水平スケーリングをサポートしますが、Vespaと比較してより多くの手動管理が必要です。
統合とエコシステム
Vespaは完全な統合エコシステムを持っています。そのREST APIはすべてのオペレーションをカバーし、より深い統合のためのネイティブJava APIを備えている。また、Kubernetesオペレータとビルトイン機械学習モデルサービングを備えているため、最新のクラウドネイティブアーキテクチャに非常に適している。
VearchはHTTP APIとの統合ポイントが限られており、Python SDKとGoクライアントライブラリによる言語サポートがある。統合オプションはVespaに比べると少ないが、最も一般的なユースケースをカバーしており、Dockerデプロイも簡単だ。
コストと運用に関する考察
これらのシステムのコスト構造は大きく異なる。Vespaには、リニアリソーススケーリングとビルトイン最適化機能を備えたVespa Cloudによるセルフホストオプションとクラウドオプションがあります。これは、あなたが成長するにつれてコストを管理するのに役立ちますが、エンタープライズ機能は余分な費用がかかります。
Vearchはセルフホスト型であるため、コストはインフラストラクチャの選択肢に依存する。ハードウェア要件はインデックスの種類によって異なり、アクセラレーション機能を使用する場合はGPUコストを考慮する必要がある。よりシンプルなアーキテクチャは、小規模な導入では運用コストを下げることができる。
セキュリティの実装
Vespaは包括的なTLS暗号化、ロールベースのアクセス制御、マルチテナントをサポートしています。証明書ベースの認証を使用しており、機密性の高いアプリケーションに適したエンタープライズグレードのセキュリティです。
Vearchには基本的な認証メカニズムとネットワーク分離オプションがある。セキュリティ機能はVespaに比べると劣るが、ほとんどのアプリケーションに必要な要件を満たしている。また、柔軟性を高めるためのカスタムセキュリティプラグインも用意されている。
それぞれの選択時期
Vespa: 最適な使用例
Vespaは、複数の検索タイプを組み合わせる必要がある大規模なエンタープライズアプリケーションに最適です。例えば、パーソナライズされた商品推薦を行うeコマースプラットフォーム、厳密なメタデータフィルタリングを行うセマンティック検索を行うコンテンツプラットフォーム、類似マッチングとビジネスルールのバランスを取る必要がある推薦システムなど、ベクトル、テキスト、構造化データをリアルタイムで検索する必要があるシナリオで輝きを放ちます。強力な一貫性保証と自動スケーリング機能により、機密データや高可用性を扱うミッションクリティカルなアプリケーションに最適です。
Vearch：ベストユースケース
Vearchは、GPUアクセラレーションが大幅なパフォーマンス向上をもたらす特殊なベクトル検索アプリケーションに最適です。主にベクトル演算に依存する画像類似検索、文書埋め込み比較、AIを利用した推薦システムなど、焦点を絞ったユースケースに最適です。既存のGPUインフラストラクチャを持つ組織や、複雑なフィルタリングなしに高速な類似性マッチングを必要とするAIアプリケーションを構築している組織は、Vearchのシンプルな導入とベクトル演算の最適化が利点であることに気づくでしょう。その軽量なアーキテクチャと特化した焦点は、ベクトル検索が主な要件であるプロジェクトに最適です。
結論
VespaとVearchのどちらを選択するかは、最終的には技術的要件、運用能力、ビジネスニーズによって決まります。Vespaは複数の検索タイプとエンタープライズ機能を必要とする複雑な大規模アプリケーション向けの完全なソリューションであり、VearchはGPUアクセラレーションとシンプルなデプロイメントを備えた特化型ベクトル検索です。アプリケーションの規模、検索要件、インフラ、チームの専門知識を考慮して決定してください。最良の選択とは、必ずしも最も豊富な機能を備えていることではなく、ユースケースに最も適合し、お客様とともに拡張できるものであることを忘れないでください。
VespaとVearchの概要についてはこちらをお読みいただきたいが、これらを評価するには、ユースケースに基づいて評価する必要がある。それに役立つツールの1つが、ベクターデータベースの比較のためのオープンソースのベンチマークツールであるVectorDBBenchです。最終的には、独自のデータセットとクエリパターンで徹底的なベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力だが異なるこの2つのアプローチのどちらを選択するかの鍵となるだろう。
オープンソースのVectorDBBenchを使ってベクトルデータベースを評価・比較する
VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのためのオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムを独自のデータセットを使ってテストし比較し、自分のユースケースに合うものを見つけることができます。VectorDBBenchを使えば、ユーザーはマーケティング上の主張や伝聞ではなく、実際のベクターデータベースのパフォーマンスに基づいて決定を下すことができます。
VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。
VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。
VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見てみましょう。
ベクターデータベースの評価については、以下のブログをお読みください。
- ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
- VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
- ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)
VectorDB、GenAI、MLに関するその他のリソース
- ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
- あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
- RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
- 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
- ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
- 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)
Chloe WilliamsChloe Williams is a technical writer at Zilliz.
読み続けて
Why and How to Migrate from Self-Hosted Milvus to Zilliz Cloud
A simple, step-by-step guide to migrating from Milvus to Zilliz Cloud. Learn both endpoint and backup methods for a smooth, scalable vector database migration.
Zilliz Cloud Launches in AWS Australia, Expanding Global Reach to Australia and Neighboring Markets
We're thrilled to announce that Zilliz Cloud is now available in the AWS Sydney, Australia region (ap-southeast-2).
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.