pgvectorとVearchの比較：ニーズに合ったベクターデータベースの選択
pgvectorとVearchはこの分野における2つの選択肢です。この記事では、プロジェクトのために十分な情報を得た上で決断するのに役立つ、これらのテクノロジーを比較します。
ベクターデータベースとは？
pgvectorとVearchを比較する前に、まずベクターデータベースの概念について説明します。
ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、クエリするように設計されています。ベクトルは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。
ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を強化する技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。
市場には、以下のような多くの種類のベクトル・データベースがある：
- Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud（フルマネージドMilvus）、Weaviateなど。
- Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
- Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
- 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。
pgvectorは、アドオンとしてベクトル検索機能を持つ伝統的なデータベースです。Vearchは専用のベクターデータベースです。この投稿では、両者のベクトル検索機能を比較する。
pgvector：概要とコア技術
pgvectorはPostgreSQLの拡張で、ベクトル操作のサポートを追加します。これにより、ユーザはPostgreSQLデータベース内に直接ベクトル埋め込みを格納し問い合わせることができ、別個のベクトルデータベースを必要とせずにベクトルの類似検索機能を提供します。
pgvectorの主な機能は以下の通りです：
- 厳密および近似最近傍探索のサポート
- PostgreSQLのインデックス機構との統合
- 加算や減算のようなベクトル演算の実行機能
- 様々な距離メトリクス(ユークリッド、余弦、内積)のサポート。
pgvectorはデフォルトで正確な最近傍探索を採用しており、完全な再現を保証しますが、大規模なデータセットでは遅くなる可能性があります。性能を最適化するために、pgvectorは近似最近傍探索のインデックスを作成するオプションを提供しています。このアプローチは、多くの実世界のアプリケーションにおいて、しばしば価値のあるトレードオフです。
注意すべき点は、近似インデックスを追加するとクエリの結果が変わる可能性があるということです。これは、実際に返される結果に影響を与えない一般的なデータベースインデックスとは異なります。pgvectorでサポートされる2種類の近似インデックスがあります：
1.HNSW (Hierarchical Navigable Small World)：pgvectorバージョン0.5.0で導入されたHNSWは、その高い性能と結果の品質で知られています。HNSWは多層グラフ構造を構築し、検索時の高速な走査を可能にします。 2.IVFFlat (Inverted File Flat)：ベクトル空間をクラスタに分割する手法。検索時には、まず最も関連性の高いクラスターを特定し、そのクラスター内で厳密な検索を行う。これにより、大規模なデータセットの検索を大幅に高速化することができる。
これらのインデックス・タイプの選択は、データセット・サイズ、要求されるクエリ速度、精度の許容可能なトレードオフなどの要素を考慮し、特定のユースケースに依存する。HNSWは一般的にパフォーマンスが高いが、より多くのメモリを使用する可能性がある。
プロジェクトでpgvectorを実装する際には、両方のインデックスタイプとそのパラメータを試して、特定のニーズに最適な構成を見つけるようにしてください。この微調整のプロセスは、ベクトル検索操作の性能と精度に影響を与えます。
pgvectorの使い方を知りたいですか？チュートリアル](https://zilliz.com/blog/getting-started-pgvector-guide-developers-exploring-vector-databases)をご覧ください！
Vearch** とは?概要とコア技術
Vearchは、高速で効率的な類似検索を必要とするAIアプリケーションを開発する開発者のためのツールです。超強力なデータベースのようなものだが、通常のデータを保存する代わりに、最新のAI技術の多くを支えるトリッキーなベクトル埋め込みを扱うように構築されている。
Vearchの最もクールな点は、そのハイブリッド検索だ。ベクトルによる検索（類似した画像やテキストを見つけることを想像してほしい）と、数値やテキストのような通常のデータによるフィルタリングができる。そのため、「このような商品を探す、ただし電子機器カテゴリーで500ドル以下」というような複雑な検索も可能だ。何百万ものベクトルからなるコーパスをミリ秒単位で検索できるのだ。
Vearchはニーズに応じて成長するように設計されている。クラスタのセットアップを使用し、コンピュータのチームが一緒に働くようなものだ。異なるタイプのノード（マスター、ルーター、パーティション・サーバー）があり、メタデータの管理からデータの保存や計算まで、異なるジョブを処理する。これにより、Vearchはデータの増加に合わせてスケールアウトし、信頼性を高めることができる。より多くのデータやトラフィックを処理するために、汗をかくことなくマシンを追加することができます。
開発者にとっては、Vearchは生活を容易にする素晴らしい機能をいくつか備えている。リアルタイムでインデックスにデータを追加できるので、検索結果は常に最新の状態に保たれます。複雑なデータに便利な、1つのドキュメントに複数のベクトル・フィールドをサポートする。また、Python SDKも用意されており、迅速な開発とテストが可能だ。Vearchは、インデックス作成方法（IVFPQとHNSW）に柔軟性があり、CPUとGPUの両方のバージョンをサポートしているので、特定のハードウェアやユースケースに合わせて最適化することができます。レコメンデーションシステム、類似画像検索、または高速な類似マッチングを必要とするAIアプリの構築など、Vearchはそれを効率的に実現するツールを提供します。
##主な違い
検索パフォーマンスと検索方法
pgvectorは、HNSWとIVFFlatインデックスを通して、正確な近傍探索と近似的な近傍探索の両方を提供します。正確な検索は精度を保証しますが、実行速度は遅くなります。大規模なデータセットの場合、近似インデックスは速度と精度をある程度引き換えにします。
Vearchは、ベクトル類似度と従来のフィルタリングを組み合わせたハイブリッド検索機能に重点を置いている。IVFPQとHNSWインデックス法をサポートし、CPUとGPUの両方の実装が可能である。
アーキテクチャとスケーラビリティ
pgvectorはPostgreSQLの拡張として動作しますので、既にPostgreSQLを使用していて、ベクトル検索を同じデータベースで行いたい場合に理想的です。これはスタックを単純化しますが、スケーリングをPostgreSQLの機能に結びつけます。
Vearchは水平スケーリング用に設計された特化ノード（マスター、ルーター、パーティションサーバー）を持つ分散アーキテクチャを使用しています。このため、ベクトル検索機能の独立したスケーリングを必要とするアプリケーションに適しています。
インテグレーションとセットアップ
pgvectorはPostgreSQLとシームレスに統合されており、使い慣れたSQLクエリを使用し、既存のPostgreSQLの機能を活用することができます。既にPostgreSQLを使用している場合、pgvectorの追加は簡単です。
Vearchは独自のPython SDKを持つスタンドアロンシステムとして動作します。そのため、別のサービスを管理する必要がありますが、AIアプリケーションやリアルタイムのインデックス作成に特化した機能を提供しています。
pgvector を選ぶとき** ；
既にPostgreSQLを使用しており、既存のデータベースインフラ内でベクトル検索機能が必要な場合にpgvectorを選択します。pgvectorは、コンテンツ推薦、セマンティック検索、画像の類似性のような、完全一致が要求されず、近似最近傍検索から利益を得ることができるようなユースケースに適しています。
Vearchを選択する時** ；
Vearchは、高速なハイブリッド検索機能と水平方向のスケーラビリティを必要とする大規模なAIアプリケーションに最適です。分散アーキテクチャとGPUサポートにより、ミリ秒単位の応答時間で数百万のベクトルを処理するアプリケーションに適しています。リアルタイムのインデックス作成、ベクトル類似性検索と組み合わせた複雑なフィルタリング、またはベクトル検索機能の独立したスケーリングが必要な場合にVearchをお選びください。
結論** ；
pgvectorは、PostgreSQLとの統合とシンプルさで優れており、既存のPostgreSQLのセットアップにベクトル検索を追加したいチームに最適です。Vearchはスケーラビリティとハイブリッド検索機能に優れており、専用のAIアプリケーションに理想的である。現在のインフラ、スケール要件、リアルタイムインデックスやGPUアクセラレーションのような機能が必要かどうかによって選択する必要があります。また、分散システムと従来のデータベースを比較する際には、チームの専門知識も考慮してください。
pgvectorとVearchの概要についてはこちらをお読みください。その助けとなるツールの一つが、ベクターデータベースを比較するためのオープンソースのベンチマークツールであるVectorDBBenchだ。最終的には、独自のデータセットとクエリパターンで徹底的なベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力だが異なるこの2つのアプローチのどちらを選択するかの鍵となるだろう。
オープンソースのVectorDBBenchを使ってベクトルデータベースを評価・比較する
VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのためのオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムを独自のデータセットを使ってテストし比較し、自分のユースケースに合うものを見つけることができます。VectorDBBenchを使えば、ユーザーはマーケティング上の主張や伝聞ではなく、実際のベクトルデータベースのパフォーマンスに基づいて決定を下すことができます。
VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。
VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。
VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースの性能を簡単に見てみましょう。
ベクターデータベースの評価については、以下のブログをお読みください。
- ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
- VectorDBBench: オープンソースベクターデータベースベンチマークツール](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
- ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)
VectorDB、GenAI、MLに関するその他のリソース
- ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
- あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
- RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
- 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
- ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
- 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)
Chloe WilliamsChloe Williams is a technical writer at Zilliz.
読み続けて
Cosmos World Foundation Model Platform for Physical AI
NVIDIA’s Cosmos platform pioneers GenAI for physical applications by enabling safe digital twin training to overcome data and safety challenges in physical AI modeling.
Empowering Women in AI: RAG Hackathon at Stanford
Empower and celebrate women in AI at the Women in AI RAG Hackathon at Stanford. Engage with experts, build innovative AI projects, and compete for prizes.
Leveraging Milvus and Friendli Serverless Endpoints for Advanced RAG and Multi-Modal Queries
This tutorial has demonstrated how to leverage Milvus and Friendli Serverless Endpoints to implement advanced RAG and multi-modal queries.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.