pgvectorとRocksetはこの分野における2つの選択肢です。この記事では、あなたのプロジェクトで十分な情報に基づいた決断をするために、これらのテクノロジーを比較します。

ベクターデータベースとは？

pgvectorとRocksetを比較する前に、まずベクターデータベースの概念について調べてみましょう。

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、高次元のベクトルを格納し、クエリするために特別に設計されています。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を強化する技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud（フルマネージドMilvus）、Weaviateなど。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

pgvectorは伝統的なデータベースで、アドオンとしてベクトル検索機能を備えている。一方、Rocksetは、ベクトル検索機能を追加した検索・分析データベースである。この記事では、両者のベクトル検索機能を比較する。

pgvector：概要とコアテクノロジー

pgvectorはPostgreSQLの拡張で、ベクトル操作のサポートを追加します。これにより、ユーザはPostgreSQLデータベース内に直接ベクトル埋め込みを格納し問い合わせることができ、別個のベクトルデータベースを必要とせずにベクトルの類似検索機能を提供します。

pgvectorの主な機能は以下の通りです：

• 厳密および近似最近傍探索のサポート
• PostgreSQLのインデックス機構との統合
• 加算や減算のようなベクトル演算の実行機能
• 様々な距離メトリクス(ユークリッド、余弦、内積)のサポート。

pgvectorはデフォルトで正確な最近傍探索を採用しており、完全な再現を保証しますが、大規模なデータセットでは遅くなる可能性があります。性能を最適化するために、pgvectorは近似最近傍探索のインデックスを作成するオプションを提供しています。このアプローチは、多くの実世界のアプリケーションにおいて、しばしば価値のあるトレードオフです。

注意すべき点は、近似インデックスを追加するとクエリの結果が変わる可能性があるということです。これは、実際に返される結果に影響を与えない一般的なデータベースインデックスとは異なります。pgvectorでサポートされる2種類の近似インデックスがあります：

1.HNSW (Hierarchical Navigable Small World)：pgvectorバージョン0.5.0で導入されたHNSWは、その高い性能と結果の品質で知られています。HNSWは多層グラフ構造を構築し、検索時の高速な走査を可能にします。 2.IVFFlat (Inverted File Flat)：ベクトル空間をクラスタに分割する手法。検索時には、まず最も関連性の高いクラスターを特定し、そのクラスター内で厳密な検索を行う。これにより、大規模なデータセットの検索を大幅に高速化することができる。

これらのインデックス・タイプの選択は、データセット・サイズ、要求されるクエリ速度、精度の許容可能なトレードオフなどの要素を考慮し、特定のユースケースに依存する。HNSWは一般的にパフォーマンスが高いが、より多くのメモリを使用する可能性がある。

プロジェクトでpgvectorを実装する際には、両方のインデックスタイプとそのパラメータを試して、特定のニーズに最適な構成を見つけるようにしてください。この微調整のプロセスは、ベクトル検索操作の性能と精度に影響を与えます。

pgvectorの使い方を知りたいですか？チュートリアル](https://zilliz.com/blog/getting-started-pgvector-guide-developers-exploring-vector-databases)をご覧ください！

Rockset：概要とコア技術

Rocksetは、ベクトル埋め込みを含む構造化データと非構造化データの両方を扱うように設計されたリアルタイム検索と分析データベースです。Rocksetの強みは、リアルタイムでデータを取り込み、インデックスを作成し、クエリを実行できることです。Rocksetは、ストリーミングとバルクの両方のデータ取り込みをサポートしており、高速なイベントストリームと変更データキャプチャ（CDC）フィードを1～2秒で処理する能力を備えています。

Rocksetの主な特徴の1つは、ミュータブルなRocksDB上に構築されたコンバージド・インデクシング・テクノロジーです。これにより、ベクターとメタデータのインプレース更新が可能になり、データが頻繁に変更されるシナリオで非常に効率的です。Rocksetは最大40MBまでのドキュメントサイズに対応し、最大200,000までのベクトル次元をサポートしているため、幅広いベクトル埋め込みアプリケーションに適しています。

Rocksetは、コア機能の一部としてベクトル検索機能を統合しています。KNN (K-Nearest Neighbors)とANN (Approximate Nearest Neighbors)の両方の検索方法をサポートしており、スケーラビリティのために分散FAISSインデックスを使用しています。Rocksetのアプローチはアルゴリズムにとらわれないため、柔軟な検索実装が可能です。そのコストベースのオプティマイザは、最適な効率を得るためにKNNとANNの検索方法を動的に選択することができます。

ベクトル検索においてRocksetを際立たせているのは、検索、ANN、列インデックス、行インデックスを1つの構造にまとめたコンバージド・インデックスである。これにより、様々なクエリパターンをすぐに効率的に処理することができる。Rocksetはまた、メタデータフィルタリングとハイブリッド検索をサポートしており、オプティマイザが最も効率的なクエリ実行パスを決定する。複数のANNフィールドにまたがる検索が可能で、マルチモーダルモデルをサポートし、SQLとRESTの両方のAPIを提供し、クエリインターフェースの柔軟性を高めている。

主な相違点&#x20；

pgvector vs Rockset：ベクトル検索の比較

検索方法

pgvectorは厳密近傍探索と近似近傍探索の両方をサポートします。近似検索のためにHNSWとIVFFlatインデックスを提供し、ユークリッド、余弦、内積のような距離メトリックを使用します。

RocksetはK-最近傍探索(KNN)と近似最近傍探索(ANN)をサポートしている。スケーラビリティのために分散FAISSインデックスを使用し、柔軟性のためにアルゴリズムにとらわれないアプローチをとっている。Rocksetのコストベースのオプティマイザは、最適なパフォーマンスを得るためにKNN法とANN法を選択します。

データハンドリング

pgvectorはPostgreSQL内のベクトル埋め込みに特化し、PostgreSQLテーブル内の構造化データを扱います。

Rocksetは構造化データと非構造化データの両方を扱います。最大20万次元までのベクトル埋め込みをサポートし、CDCフィードを含むストリーミングデータやバルクデータを処理することができます。

スケーラビリティとパフォーマンス

pgvectorは性能のためにPostgreSQLのインデックスを活用します。正確な検索は大規模なデータセットでは遅くなるかもしれませんが、近似インデックスはある程度の正確さを犠牲にして速度を向上させます。

Rocksetはリアルタイム検索と分析のために設計されています。コンバージド・インデキシングにより、高速なインプレース更新が可能で、高速なデータストリームを扱うことができる。Rocksetはスケーラビリティのために分散アーキテクチャを採用している。

柔軟性とカスタマイズ

pgvectorは既存のPostgreSQLデータベースと統合し、加算や減算のようなベクトル演算を可能にし、カスタマイズ可能なインデックスパラメータを提供します。

Rocksetはベクトルとメタデータのフィルタリングを組み合わせたハイブリッド検索をサポートします。SQLとRESTのAPIを提供し、複数のANNフィールドを横断して検索することができる。

統合とエコシステム

pgvectorはPostgreSQLのエコシステムとシームレスに統合されており、既存のPostgreSQLベースのアプリケーションで使用することができます。

Rocksetは様々なデータソースの取り込みをサポートし、ストリーミングプラットフォームやデータウェアハウスと統合します。

使いやすさ

pgvectorは既にPostgreSQLを使っている人には馴染みやすいですが、PostgreSQLの管理について理解している必要があります。

Rocksetはマネージドサービスオプションを提供していますが、このプラットフォームを初めて使う人にとっては、学習曲線が急かもしれません。

コストに関する考察

pgvectorはオープンソースで無料で利用できますが、PostgreSQLの運用とスケーリングにはコストがかかります。

Rocksetはマネージドサービスに関連するコストがかかると思われますが、具体的な価格の詳細は提供されていません。

セキュリティ機能

pgvectorはPostgreSQLのセキュリティ機能を継承しています。

いつpgvectorを選ぶべきか

既にPostgreSQLを使用しているプロジェクトで、ベクトル検索機能を追加する必要がある場合、特に従来のSQL問い合わせとベクトルの類似検索を組み合わせる場合にpgvectorを選択してください。pgvectorは、単一のデータベースインスタンス内での中規模なベクトル検索や、オープンソースで完全な制御が可能なセルフホストソリューションを好む人に適しています。

Rockset を選ぶとき

特に構造化データと非構造化データが混在している場合、リアルタイムの分析や検索シナリオにRocksetを選択する。特に構造化データと非構造化データが混在している場合に最適です。ベクトル埋め込みを含む高速データストリームの高速な取り込みとクエリに最適です。Rocksetは、複数のデータフォーマットやデータソースを扱う必要がある大規模な分散データ環境や、自動的にスケールするマネージドサービスを好む方に最適です。

結論

pgvectorとRocksetはどちらもベクトル検索を行いますが、使用するケースが異なります。pgvectorはPostgreSQLと統合されており、既存のPostgreSQLアプリケーションにベクトル検索を追加することができます。Rocksetは複数のデータ型をリアルタイムで分析するためのものです。選択は、ユースケース、既存の技術スタック、データ規模、リアルタイム要件、検索の複雑さによって決まります。PostgreSQLベースのプロジェクトで中程度のベクトル検索が必要な場合はpgvectorを、多様で高速なデータ環境でリアルタイム分析とスケーラビリティが必要な場合はRocksetを選択してください。

この記事ではpgvectorとRocksetの概要を説明しますが、これらのデータベースを特定のユースケースに基づいて評価することが重要です。このプロセスを支援するツールの1つが、ベクターデータベースの性能を比較するために設計されたオープンソースのベンチマークツールであるVectorDBBenchです。最終的には、特定のデータセットとクエリーパターンによる徹底的なベンチマークが、分散データベースシステムにおけるベクトル検索に対する、強力でありながら異なる2つのアプローチのどちらを選ぶかについて、十分な情報を得た上で決断を下すために不可欠となる。

オープンソースのVectorDBBenchを使って、ベクターデータベースを自分で評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザは独自のデータセットを用いてMilvusやZilliz Cloud(マネージドMilvus)などの異なるベクトルデータベースシステムの性能をテスト・比較し、ユースケースに最も適したものを決定することができます。VectorDBBenchを使用することで、ユーザーはマーケティング上の主張や逸話的証拠に頼るのではなく、実際のベクトルデータベースのパフォーマンスに基づいて情報に基づいた決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)