SingleStore vs Zilliz Cloud AIアプリに適したベクターデータベースの選択
ベクターデータベースとは？
SingleStoreとZilliz Cloudを比較する前に、まずベクターデータベースの概念について説明します；
ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、クエリするために設計されています。ベクトルは、非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品属性などの複雑な情報を符号化する。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。
ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を向上させる技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。
市場には、以下のような多くの種類のベクトル・データベースがある：
- Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
- Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
- Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
- 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。
SingleStoreは分散型のリレーショナルSQLデータベース管理システムで、ベクトル検索をアドオンとして備えている。この記事では、両者のベクトル検索機能を比較する。
SingleStore：概要とコアテクノロジー
SingleStoreは、データベース自体にベクター検索機能を持たせることで、技術スタックに個別のベクターデータベースを必要としません。ベクターは通常のデータベーステーブルに格納され、標準的なSQLクエリで検索することができます。例えば、価格帯でフィルタリングしながら類似の商品画像を検索したり、特定の部門に結果を限定しながらドキュメントの埋め込みを検索したりすることができます。システムは、ベクトルインデックスにFLAT、IVF_FLAT、IVF_PQ、IVF_PQFS、HNSW_FLAT、HNSW_PQを、類似性マッチングにドット積とユークリッド距離を使用したセマンティック検索の両方をサポートしている。これは、推薦システム、画像認識、AIチャットボットなど、類似性マッチングが高速なアプリケーションに超便利である。
SingleStoreの中核は、パフォーマンスとスケールのために構築されている。データベースは複数のノードにデータを分散させるので、大規模なベクトルデータ操作に対応できます。データが大きくなっても、ノードを追加すれば問題ありません。クエリプロセッサーはベクトル検索とSQLオペレーションを組み合わせることができるので、複数のクエリを別々に実行する必要がありません。ベクターのみのデータベースとは異なり、SingleStoreはこれらの機能を完全なデータベースの一部として提供するため、複数のシステムを管理したり、複雑なデータ転送に対応したりすることなく、AI機能を構築することができます。
SingleStoreのベクトルインデックスには2つのオプションがあります。1つ目は厳密なk-最近傍(kNN)検索で、クエリベクトルに最も近いk個の近傍集合を正確に見つけます。しかし、非常に大きなデータセットや高い同時実行性の場合、SingleStoreはベクトルインデックスを使用した近似最近傍（ANN）検索もサポートします。ANN検索は、厳密なkNN検索よりもはるかに高速にk近傍を見つけることができます。速度と精度はトレードオフの関係にあり、ANNは高速ですが、正確なk個の最近傍セットを返すとは限りません。インタラクティブな応答時間が必要で、絶対的な精度を必要としない数十億のベクトルを扱うアプリケーションには、ANN検索が適しています。
SingleStoreにおけるベクトルインデックスの技術的実装には特別な要件があります。これらのインデックスはカラムストアテーブルにのみ作成可能で、ベクトルデータを格納する単一のカラムに作成する必要があります。システムは現在Vector Type(dimensions[, F32])フォーマットをサポートしており、F32は唯一サポートされている要素タイプです。この構造化されたアプローチにより、SingleStoreは大規模な言語モデルからのベクトルを使用した意味検索、焦点を絞ったテキスト生成のためのRAG（retrieval-augmented generation）、ベクトル埋め込みに基づく画像マッチングなどのアプリケーションに最適です。これらを従来のデータベース機能と組み合わせることで、SingleStoreは開発者がパフォーマンスとスケールを維持しながら、SQL構文を使用して複雑なAIアプリケーションを構築することを可能にします。
Zilliz Cloud：概要とコアテクノロジー
Zilliz Cloudは、オープンソースのMilvusエンジン上に構築されたフルマネージドベクターデータベースサービスです。ベクトル埋め込みデータを効率的に保存、管理、検索することで、開発者や組織が大規模なAIアプリケーションを扱えるよう支援します。Zillizクラウドがインフラを管理するため、データベースを管理する代わりにAI機能の構築に集中することができます。
Zilliz Cloudの主な利点の1つは、パフォーマンスの自動最適化です。このシステムにはAutoIndexテクノロジーが搭載されており、あなたのデータとユースケースに最適なインデックス作成方法を選択します。そのため、パラメータのチューニングや異なるインデックスタイプの比較に時間を費やす必要はありません。また、このプラットフォームはIVF（Inverted File）とグラフベースのテクニックを使い、大規模なデータセットの類似性検索を高速化します。
このプラットフォームにはエンタープライズ機能がある。AWS、Azure、Google Cloudにベクターデータベースを展開することができ、Zillizのフルマネージドサービスを利用することも、BYOC（Bring Your Own Cloud Account）を利用することもできる。機密データを扱う組織のために、Zilliz Cloudは暗号化、アクセス管理、コンプライアンスツールなどのセキュリティコントロールを備えている。また、さまざまな一貫性レベルをサポートしているため、ニーズに応じて高速更新と強力なデータ一貫性のバランスを取ることができます。
コスト管理はZilliz Cloudのもう一つの重要な側面である。このプラットフォームでは、階層型ストレージを使用して、アクセスの少ないデータをより安価なストレージオプションに自動的に移動させるため、パフォーマンスに影響を与えることなくコストを削減することができます。また、ワークロードに合わせてコンピュートリソースを選択することもできます。例えば、重い処理タスクにはより強力なインスタンスを使用し、単純なクエリにはより軽量なインスタンスを使用するといった具合です。この柔軟性により、パフォーマンスを維持しながらコストを最適化することができます。
異なるタイプのデータを一緒に検索する必要があるAIアプリケーションのために、Zilliz Cloudはハイブリッド検索をサポートしています。単一のクエリで、テキスト埋め込み、画像ベクトル、その他のデータタイプを横断的に検索できます。また、このプラットフォームは、コサイン、ユークリッド、内積などの様々な類似度メトリクスをサポートしているため、様々な機械学習モデルやユースケースに適している。データが増大するにつれて、システムは自動的にリソースを追加することで水平方向に拡張できるため、負荷の高い作業でも優れたパフォーマンスを維持することができます。
主な違い
検索方法
SingleStoreはSQLデータベースにベクトル検索を組み込んでおり、複数の検索 アルゴリズムをサポートしている：flat、ivf_flat、ivf_pq、ivf_pqfs、hnsw_flat、hnsw_pq。正確なk-最近傍（kNN）検索と近似最近傍（ANN）検索の両方を提供する。正確なkNNは完璧だが時間がかかり、ANNは高速だが精度が劣る。
Milvus上に構築されたZilliz Cloudは、AutoIndexを使用して、データに最適なインデックス戦略を自動的に選択します。類似性検索にはIVFとグラフベースが使用され、インデックスの選択をあなたの手から引き離します。
データ
SingleStoreはベクトル検索と従来のSQLを組み合わせたユニークなものです。つまり、SQLフィルタを適用しながらベクトル類似検索を行うことができます。例えば、特定の価格帯の類似商品を見つけることができます。ベクトルはカラムストア・テーブルに格納する必要があり、現在はベクトル・タイプ(dimensions[, F32])形式のみをサポートしています。
Zilliz Cloudはデータ型の柔軟性が高く、1つのクエリでテキスト埋め込み、画像ベクトル、その他のデータ型のハイブリッド検索をサポートします。複数の類似度メトリクスをサポートしています：コサイン、ユークリッド、内積など、様々な機械学習モデルに対応しています。
スケーラビリティとパフォーマンス
SingleStoreは分散アーキテクチャを採用しており、データは複数のノードに分散されます。データが大きくなっても、ノードを追加することでパフォーマンスを維持することができます。システムはベクトル検索とSQLを1つのクエリに統合し、オーバーヘッドを削減します。
Zilliz Cloudは、必要に応じてリソースを追加する自動水平スケーリングによってスケーラビリティを処理します。階層型ストレージを使用し、パフォーマンスを維持しながら、アクセスの少ないデータをより安価なストレージに移動することでコストを最適化します。
統合と管理
SingleStoreはデータベースシステムにベクター検索を組み込んでいる。個別のベクターデータベースは必要ありません。技術スタックを簡素化し、データ転送の複雑さを軽減します。
Zilliz CloudはAWS、Azure、Google Cloudで利用可能で、マネージドサービスとBring-your-own-cloud(BYOC)オプションの両方があります。これにより、クラウドプロバイダーと管理アプローチを柔軟に選択することができます。
セキュリティとエンタープライズ機能
SingleStoreは標準的なデータベース・セキュリティ機能を備えています。
Zilliz Cloudは、暗号化、アクセス管理、コンプライアンス・ツールなど、完全なセキュリ ティ管理機能を備えています。また、更新スピードとデータの一貫性のバランスをとるために、異なる一貫性レベルを備えています。
コスト
SingleStoreのコストはデータベース全体の使用量に基づいており、ベクトル検索はメインシステムの一部である。
Zilliz Cloudは、階層化されたストレージと柔軟なコンピュートリソースの選択によるコスト最適化が可能です。ワークロードに応じて異なるインスタンスタイプを選択することができ、より費用対効果が高くなります。
各テクノロジーを選択するタイミング
SingleStoreは、従来のSQL操作とベクトル検索を統合システムで行いたい組織に最適な選択です。ベクトル類似検索と構造化データフィルタリングをミックスした複雑なクエリを実行する必要があるシナリオ、例えば、価格やカテゴリでフィルタリングしながら類似商品をマッチングさせるeコマースプラットフォーム、ユーザーの嗜好とビジネスルールの両方を考慮する必要があるレコメンデーションエンジン、SQL操作による検索結果の正確な制御が必要なコンテンツ管理システムなどで優れています。
Zilliz Cloudは、大規模なSQL統合なしに柔軟なベクトル検索機能を必要とする純粋なAI駆動型アプリケーションで輝く。特に、画像類似検索、セマンティック文書検索、AIチャットボットなど、自動インデックス最適化と異なるデータタイプ間のハイブリッド検索機能が重要なアプリケーションに適している。自動スケーリングと階層型ストレージを備えたこのプラットフォームのマネージド・サービス・アプローチは、インフラの詳細を管理せずにAI機能の構築に集中したいチームにとって理想的です。
結論
SingleStoreとZilliz Cloudのどちらを選ぶかは、基本的にはアプリケーションのアーキテクチャと要件による。SingleStoreの強みはSQLの統合とベクトル検索を従来のデータベース操作と組み合わせる能力にあり、両方の機能を必要とするアプリケーションにとって強力な選択肢となる。一方、Zilliz Cloudは、優れた自動化、柔軟なデプロイメントオプション、特化したベクトル検索機能を提供し、純粋なAIアプリケーションに最適です。既存のテクノロジー・スタック、SQL統合の重要性、自動管理の必要性、ユースケースに必要な特定のパフォーマンス要件などの要因によって決定を下す必要がある。
SingleStoreとZilliz Cloudの概要についてはこちらをお読みいただきたいが、これらを評価するには、ユースケースに基づいて評価する必要がある。それに役立つツールの1つが、ベクターデータベースを比較するためのオープンソースのベンチマークツールであるVectorDBBenchだ。最終的には、独自のデータセットとクエリパターンで徹底的なベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力だが異なるこの2つのアプローチのどちらを選択するかの鍵となるだろう。
オープンソースのVectorDBBenchを使ってベクトルデータベースを評価・比較する
VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのためのオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムを独自のデータセットを使ってテストし比較し、自分のユースケースに合うものを見つけることができます。VectorDBBenchを使えば、ユーザーはマーケティング上の主張や伝聞ではなく、実際のベクターデータベースのパフォーマンスに基づいて決定を下すことができます。
VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。
VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。
VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見てみましょう。
ベクターデータベースの評価については、以下のブログをお読みください。
- ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
- VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
- ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)
VectorDB、GenAI、MLに関するその他のリソース
- ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
- あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
- RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
- 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
- ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
- 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)
Chloe WilliamsChloe Williams is a technical writer at Zilliz.
読み続けて
Cosmos World Foundation Model Platform for Physical AI
NVIDIA’s Cosmos platform pioneers GenAI for physical applications by enabling safe digital twin training to overcome data and safety challenges in physical AI modeling.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.
Vector Databases vs. Hierarchical Databases
Use a vector database for AI-powered similarity search; use a hierarchical database for organizing data in parent-child relationships with efficient top-down access patterns.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.