WeaviateとVearchの比較：ニーズに合ったベクターデータベースの選択
ベクターデータベースとは？
WeaviateとVearchを比較する前に、まずベクターデータベースの概念を探ってみよう。
ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、照会するために設計されている。ベクトルは非構造化データの数値表現である。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。
ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLM)の性能を向上させる技術であるRAG(Retrieval Augmented Generation)でも重要な役割を果たしている。
市場には、以下のような多くの種類のベクトル・データベースがある：
- Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud（フルマネージドMilvus）、Weaviateなど。
- Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
- Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
- 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。
WeaviateとVearchはどちらも専用のベクターデータベースである。この記事では、両者のベクター検索機能を比較する。
Weaviate概要とコアテクノロジー
Weaviateは、AIアプリケーション開発を簡素化するために設計されたオープンソースのベクトルデータベースです。ビルトインのベクトルおよびハイブリッド検索機能、機械学習モデルとの容易な統合、データプライバシーへの配慮を提供します。これらの機能は、様々なスキルレベルの開発者がAIアプリケーションをより効率的に作成、反復、拡張できるようにすることを目的としています。
Weaviateの強みの一つは、高速かつ正確な類似検索である。HNSW（Hierarchical Navigable Small World）インデックスを使用し、大規模データセットでのベクトル検索を可能にしている。Weaviateはまた、ベクトル検索と従来のフィルタを組み合わせることもサポートしており、意味的類似性と特定のデータ属性の両方を活用した強力なハイブリッドクエリを可能にしている。
Weaviateの主な特徴は以下の通り：
1.PQ 圧縮による効率的な保存と検索 2.BM25検索とベクトル検索の間を調整するアルファ・パラメータを持つハイブリッド検索。 3.エンベッディングとリランキング用のプラグインを内蔵しており、開発が容易。
Weaviateは、開発者がベクトル検索を試すためのエントリー・ポイントである。簡単なセットアップと十分に文書化されたAPIにより、開発者に優しいアプローチを提供する。GenAIエコシステムと深く統合されているため、小規模なプロジェクトや概念実証に適している。Weaviateの対象者は、AIアプリケーションを構築するソフトウェアエンジニア、大規模データセットを扱うデータエンジニア、機械学習モデルを展開するデータサイエンティストである。Weaviateは、セマンティック検索、推薦システム、コンテンツ分類、その他のAI機能を簡素化します。
Weaviate は水平方向に拡張できるように設計されており、クラスタ内の複数のノードにデータを分散することで、大規模なデータセットや高負荷のクエリを処理できる。マルチモーダルデータをサポートし、使用するベクトル化モジュールに応じて様々なデータタイプ（テキスト、画像、音声、動画）を扱うことができる。WeaviateはRESTful APIとGraphQL APIの両方を提供しており、開発者が柔軟にデータベースとやり取りできるようになっている。
しかし、大規模なプロダクション環境においては、いくつかの留意点がある：
1.エンタープライズグレードのセキュリティ機能の制限 2.数十億ベクトル・データセットに対するスケーラビリティの潜在的課題 3.新しくリリースされた階層型ストレージ・オプションには手動管理が必要 4.水平方向のスケールアップには、Weaviate のエンジニアのサポートが必要であり、自動的には行えない。
この最後の点は特に注目すべき点である。つまり、組織は事前に計画を立て、スケーリングオペレーションのための時間を割り当て、適切な準備なしにシステムの限界に近づかないようにする必要があるということだ。
Vearch** とは？概要
Vearchは、高速で効率的な類似検索を必要とするAIアプリケーションを開発する開発者のためのツールです。超強力なデータベースのようなものだが、通常のデータを保存する代わりに、最新のAI技術の多くを支えるトリッキーなベクトル埋め込みを扱うように構築されている。
Vearchの最もクールな点は、そのハイブリッド検索だ。ベクトルによる検索（類似した画像やテキストを見つけることを想像してほしい）と、数値やテキストのような通常のデータによるフィルタリングができる。そのため、「このような商品を探す、ただし電子機器カテゴリーで500ドル以下」というような複雑な検索も可能だ。何百万ものベクトルからなるコーパスをミリ秒単位で検索できるのだ。
Vearchはニーズに応じて成長するように設計されている。クラスタのセットアップを使用し、コンピュータのチームが一緒に働くようなものだ。異なるタイプのノード（マスター、ルーター、パーティション・サーバー）があり、メタデータの管理からデータの保存や計算まで、異なるジョブを処理する。これにより、Vearchはデータの増加に合わせてスケールアウトし、信頼性を高めることができる。より多くのデータやトラフィックを処理するために、汗をかくことなくマシンを追加することができます。
開発者にとっては、Vearchは生活を容易にする素晴らしい機能をいくつか備えている。リアルタイムでインデックスにデータを追加できるので、検索結果は常に最新の状態に保たれます。複雑なデータに便利な、1つのドキュメントに複数のベクトル・フィールドをサポートする。また、Python SDKも用意されており、迅速な開発とテストが可能だ。Vearchは、インデックス作成方法（IVFPQとHNSW）に柔軟性があり、CPUとGPUの両方のバージョンをサポートしているので、特定のハードウェアやユースケースに合わせて最適化することができます。レコメンデーションシステム、類似画像検索、または高速な類似マッチングを必要とするAIアプリの構築など、Vearchはそれを効率的に実現するツールを提供します。
ベクトル検索におけるWeaviateとVearchの主な違い
高速な類似検索を必要とするAIアプリケーションを構築する場合、WeaviateとVearchは2つの一般的なベクトルデータベースオプションです。どちらも強力だが、いくつかの違いがある。どちらが最適かを決めるために、両者を比較してみましょう。
検索方法
Weaviateは、ベクトル検索にHNSW（Hierarchical Navigable Small World）を使用している。また、ベクトル類似度とフィルタを組み合わせたハイブリッドクエリもサポートしている。そのため、意味的類似性と特定のデータ属性の両方を検索することができる。
Vearchにはハイブリッド検索機能もある。ベクトルによる検索と、数値やテキストといった通常のデータ型によるフィルタリングが可能である。VearchはIVFPQやHNSWを含む複数のインデックス作成方法をサポートしており、CPU版とGPU版の両方がある。
データ
Weaviateは、使用するMLモデルによって、テキスト、画像、音声、動画を扱うことができる。マルチモーダルデータをサポートし、ベクトル検索とフィルタを組み合わせることができる。
Vearchは1つのドキュメントで複数のベクトルフィールドを扱うことができ、複雑なデータに便利である。また、リアルタイムのデータ更新が可能なので、検索結果は常に最新の状態に保たれる。
スケーラビリティとパフォーマンス
Weaviateは、クラスタ内の複数のノードにデータを分散させることで、水平方向に拡張することができる。しかし、数十億のベクトルデータセットの場合、水平スケールアップは困難であり、Weaviateのエンジニアの助けが必要です。
Vearchは、異なるタイプのノード（マスター、ルーター、パーティションサーバー）が異なるタスクを処理するクラスタセットアップを採用している。このアーキテクチャにより、Vearchはデータの増加に合わせてスケールアウトすることができ、より多くのデータやトラフィックを処理するためにマシンを追加することができます。
柔軟性とカスタマイズ
Weaviateには、エンベッディングとリランキング用のプラグインが組み込まれており、開発を容易にする。RESTful APIとGraphQL APIの両方が用意されているため、開発者はデータベースとのやり取りを柔軟に行うことができる。
Vearchは、インデックス作成方法とハードウェア最適化（CPUまたはGPU）をカスタマイズできる。PythonのSDKがあり、迅速な開発とテストが可能。
統合とエコシステム
WeaviateはGenAIのエコシステムと深く統合されているため、小規模なプロジェクトや概念実証に適している。
使いやすさ
Weaviateは、シンプルなセットアップとよく文書化されたAPIで開発者に優しいと言われている。開発者がベクター検索を試すためのエントリーポイントである。
VearchにはPython SDKがあり、迅速な開発とテストが可能である。
セキュリティ
Weaviateは、エンタープライズグレードのセキュリティ機能を制限しており、大規模な本番環境では問題となる可能性がある。
それぞれを利用する場合
Weaviateは、ベクトル検索を初めて使う開発者、GenAIエコシステムとの統合が必要なプロジェクト、意味的類似性と特定のデータ属性を組み合わせたアプリケーションに向いている。特にマルチモーダルデータの小規模プロジェクトや概念実証に最適です。ソフトウェアエンジニア、データエンジニア、データサイエンティストは、セマンティック検索、レコメンデーションシステム、コンテンツ分類にWeaviateを使用しています。
Vearchは、大規模なデータセットに対する高速な類似検索、リアルタイムのインデックス更新、複数のベクトルフィールドを持つ複雑なデータ構造を必要とするアプリケーション向けです。柔軟なインデックス作成方法とGPUアクセラレーションを備えており、推薦エンジンや類似画像検索のような大規模でパフォーマンスが重要なアプリケーションに最適です。
要約
Weaviateは、使いやすさ、GenAIの統合、マルチモーダルデータに優れている。Vearchはスピード、スケーラビリティ、柔軟性に優れている。どちらを選ぶかはニーズ次第。データの種類、規模、パフォーマンス要件、開発リソース、統合ニーズを考慮してください。現在と将来のデータ量、クエリー負荷、検索スピードの重要性を考えてください。
どちらも適切な状況では強力です。使いやすさやエコシステムとの統合を優先するのか、パフォーマンスやスケーラビリティを優先するのか、それぞれの強みをユースケースに合わせましょう。最適な選択は、プロジェクトとチームにフィットするものです。
本記事ではWeaviateとVearchの概要を説明するが、これらのデータベースを特定のユースケースに基づいて評価することが重要である。このプロセスを支援するツールの1つが、ベクターデータベースのパフォーマンスを比較するために設計されたオープンソースのベンチマークツールであるVectorDBBenchである。最終的には、特定のデータセットとクエリーパターンを使った徹底的なベンチマークが、分散データベースシステムにおけるベクトル検索に対する、強力でありながら異なるこの2つのアプローチのどちらを選ぶか、十分な情報に基づいた決断を下すために不可欠となる。
オープンソースのVectorDBBenchを使って、ベクターデータベースを自分で評価・比較する
VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザは独自のデータセットを用いてMilvusやZilliz Cloud(マネージドMilvus)などの異なるベクトルデータベースシステムの性能をテスト・比較し、ユースケースに最も適したものを決定することができます。VectorDBBenchを使用することで、ユーザーはマーケティング上の主張や逸話的証拠に頼るのではなく、実際のベクトルデータベースのパフォーマンスに基づいて情報に基づいた決定を下すことができます。
VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。
VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。
VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースの性能を簡単に見てみましょう。
ベクターデータベースの評価については、以下のブログをお読みください。
- ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
- VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
- ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)
VectorDB、GenAI、MLに関するその他のリソース
- ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
- あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
- RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
- 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
- ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
- 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)
Chloe WilliamsChloe Williams is a technical writer at Zilliz.
読み続けて
Introducing Zilliz MCP Server: Natural Language Access to Your Vector Database
Developers can easily manage and query vector databases with natural language via Zilliz MCP Server in AI-native environments.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.
Zilliz Cloud BYOC Upgrades: Bring Enterprise-Grade Security, Networking Isolation, and More
Discover how Zilliz Cloud BYOC brings enterprise-grade security, networking isolation, and infrastructure automation to vector database deployments in AWS
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.