pgvectorとValdの比較：ニーズに合ったベクターデータベースの選択

pgvectorとValdはこの分野における2つの選択肢です。この記事では、あなたのプロジェクトで十分な情報に基づいた決断をするために、これらのテクノロジーを比較します。

ベクターデータベースとは？

pgvector と Vald を比較する前に、まずベクターデータベースの概念について説明します。

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、照会するように設計されています。ベクトルは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を向上させる技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud（フルマネージドMilvus）、Weaviateなど。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

pgvectorは伝統的なデータベースで、アドオンとしてベクトル検索機能を備えています。Valdは専用のベクターデータベースです。この投稿では、両者のベクトル検索機能を比較する。

pgvector：概要とコア技術

pgvectorはPostgreSQLの拡張で、ベクトル操作のサポートを追加します。これにより、ユーザはPostgreSQLデータベース内に直接ベクトル埋め込みを格納し問い合わせることができ、別個のベクトルデータベースを必要とせずにベクトルの類似検索機能を提供します。

pgvectorの主な機能は以下の通りです：

• 厳密および近似最近傍探索のサポート
• PostgreSQLのインデックス機構との統合
• 加算や減算のようなベクトル演算の実行機能
• 様々な距離メトリクス(ユークリッド、余弦、内積)のサポート。

pgvectorはデフォルトで正確な最近傍探索を採用しており、完全な再現を保証しますが、大規模なデータセットでは遅くなる可能性があります。性能を最適化するために、pgvectorは近似最近傍探索のインデックスを作成するオプションを提供しています。このアプローチは、多くの実世界のアプリケーションにおいて、しばしば価値のあるトレードオフです。

注意すべき点は、近似インデックスを追加するとクエリの結果が変わる可能性があるということです。これは、実際に返される結果に影響を与えない一般的なデータベースインデックスとは異なります。pgvectorでサポートされる2種類の近似インデックスがあります：

1.HNSW (Hierarchical Navigable Small World)：pgvectorバージョン0.5.0で導入されたHNSWは、その高い性能と結果の品質で知られています。HNSWは多層グラフ構造を構築し、検索時の高速な走査を可能にします。 2.IVFFlat (Inverted File Flat)：ベクトル空間をクラスタに分割する手法。検索時には、まず最も関連性の高いクラスターを特定し、そのクラスター内で厳密な検索を行う。これにより、大規模なデータセットの検索を大幅に高速化することができる。

これらのインデックス・タイプの選択は、データセット・サイズ、要求されるクエリ速度、精度の許容可能なトレードオフなどの要素を考慮し、特定のユースケースに依存する。HNSWは一般的にパフォーマンスが高いが、より多くのメモリを使用する可能性がある。

プロジェクトでpgvectorを実装する際には、両方のインデックスタイプとそのパラメータを試して、特定のニーズに最適な構成を見つけるようにしてください。この微調整のプロセスは、ベクトル検索操作の性能と精度に影響を与えます。

pgvectorの使い方を知りたいですか？チュートリアル](https://zilliz.com/blog/getting-started-pgvector-guide-developers-exploring-vector-databases)をご覧ください！

Vald：概要とコア技術

Vald は膨大なベクトルデータを高速に検索するための強力なツールです。何十億ものベクトルを扱えるように構築されており、ニーズが大きくなるにつれて簡単に拡張することができます。Vald の素晴らしいところは、NGT と呼ばれる超高速アルゴリズムを使って類似ベクトルを見つけることです。

Valdの最も優れた特徴の一つは、インデックスの処理方法です。通常、インデックスを作成する場合、すべてを停止しなければならない。しかし、Valdは賢い。インデックスを異なるマシンに分散させるので、インデックスが更新されている間も検索を続けることができる。さらに、Valdはインデックス・データを自動的にバックアップするので、何か問題が発生してもすべてを失う心配はない。

Valdは様々なセットアップにフィットするのが素晴らしい。データの出入りをカスタマイズできるので、gRPCとの相性も良い。また、クラウド上でスムーズに動作するように構築されているため、必要なときにコンピューティングパワーやメモリを簡単に追加することができる。Valdはデータを複数のマシンに分散させるので、膨大な量の情報を処理するのに役立つ。

Valdが持つもうひとつの巧妙なトリックは、インデックスの複製だ。各インデックスのコピーを異なるマシンに保存する。つまり、1台のマシンに問題が発生しても、検索は問題なく行えるということだ。Valdは自動的にこれらのコピーのバランスをとるので、心配する必要はない。これらのことから、Valdは大量のベクターデータを迅速かつ確実に検索する必要がある開発者にとって、確かな選択肢となる。

主な違い

検索性能と検索方法

pgvectorはHNSWとIVFFlatインデックスを使用した厳密近傍検索と近似近傍検索を提供します。HNSWは一般的に高速ですが、より多くのメモリを使用します。Valdは近似最近傍探索にNGT(Neighborhood Graph and Tree)を使用し、高次元ベクトルデータ用に設計されています。

データ管理

pgvectorはPostgreSQLと統合されているので、通常のデータと一緒にベクトルを保存することができます。これは、ベクトルと従来のデータベース操作の両方を必要とするアプリケーションに最適です。Vald は、純粋なベクトル操作を大規模に行うために最適化されたスタンドアロン分散シス テムです。

スケーラビリティ

pgvectorはPostgreSQLの垂直スケーリングを継承していますが、水平スケーリングには限界があります。Valdはこの点で優れており、分散システム用に設計されており、自動シャーディング、レプリケーション、複数ノード間でのインデックスのライブ更新が可能です。

統合の容易さ

既にPostgreSQLを使っているのであれば、pgvectorは簡単です。拡張機能をインストールするだけです。Valdはより多くのセットアップが必要ですが、gRPCや様々なプラグインを通して柔軟に統合できます。

コスト分析

pgvectorのコストはPostgreSQLのインフラを反映します。既にPostgreSQLを運用しているのであれば、pgvectorを追加しても追加コストは最小です。Vald は専用のインフラを必要とするかもしれませんが、分散型であるため、より安価なマシンに負荷を分散することができます。

pgvectorを選ぶ

pgvectorは、既にPostgreSQLを使用していて、通常のデータベース操作でベクトル検索を必要とするアプリケーション向けです。1,000万ベクトル未満のデータセット、セマンティック検索を必要とするコンテンツ管理システム、SQLが重要な商品推薦エンジン向けです。

##Valdを選ぶ

Vald は、高可用性とリアルタイム処理を必要とする大規模ベクトルデータセット向けです。大規模な画像認識、リアルタイム・レコメンデーション・エンジン、特に複数のマシンにまたがってスケーリングする場合に、ダウンタイムなしに継続的なインデックス更新を必要とするシステムに適しています。

結論

pgvectorはPostgreSQLとの統合とシンプルなベクトル演算を持ち、Valdはビッグデータ向けの分散アーキテクチャを持つ。規模、インフラ、運用に応じて選択してください - pgvector は SQL を統合した中程度のワークロード用、Vald は高可用性のビッグデータ用です。

pgvectorとValdの概要を知るにはこれを読んでほしいが、これらを評価するにはユースケースに基づいて評価する必要がある。その助けとなるツールの一つが、ベクターデータベースを比較するためのオープンソースのベンチマークツールであるVectorDBBenchだ。最終的には、独自のデータセットとクエリパターンで徹底的なベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力だが異なるこの2つのアプローチのどちらを選択するかの鍵となるだろう。

オープンソースのVectorDBBenchを使ってベクトルデータベースを評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのためのオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムを独自のデータセットを使ってテストし比較し、自分のユースケースに合うものを見つけることができます。VectorDBBenchを使えば、ユーザーはマーケティング上の主張や伝聞ではなく、実際のベクターデータベースのパフォーマンスに基づいて決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースの性能を簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)