SingleStore vs Deep Lake AIアプリケーションに適したベクターデータベースの選択

ベクターデータベースとは？

SingleStoreとDeep Lakeを比較する前に、まずベクターデータベースの概念について説明します；

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、クエリするために設計されています。ベクトルは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLM)の性能を向上させる技術であるRAG(Retrieval Augmented Generation)でも重要な役割を果たしている。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

SingleStoreは、ベクトル検索をアドオンとして持つ分散リレーショナルSQLデータベース管理システムであり、Deep Lakeはベクトル埋め込みに最適化されたデータレイクである。この記事では、両者のベクトル検索機能を比較する。

SingleStore：概要とコアテクノロジー

SingleStoreは、データベース自体にベクター検索機能を搭載することで、ベクター検索を可能にしました。ベクターは通常のデータベーステーブルに格納され、標準的なSQLクエリで検索することができます。例えば、価格帯でフィルタリングしながら類似の商品画像を検索したり、特定の部門に結果を限定しながらドキュメントの埋め込みを検索したりすることができます。システムは、ベクトルインデックスにFLAT、IVF_FLAT、IVF_PQ、IVF_PQFS、HNSW_FLAT、HNSW_PQを、類似性マッチングにドット積とユークリッド距離を使用したセマンティック検索の両方をサポートしている。これは、推薦システム、画像認識、AIチャットボットなど、類似性マッチングが高速なアプリケーションに超便利である。

SingleStoreの中核は、パフォーマンスとスケールのために構築されている。データベースは複数のノードにデータを分散させるので、大規模なベクトルデータ操作に対応できます。データが大きくなっても、ノードを追加すれば問題ありません。クエリプロセッサーはベクトル検索とSQLオペレーションを組み合わせることができるので、複数のクエリを別々に実行する必要がありません。ベクターのみのデータベースとは異なり、SingleStoreはこれらの機能を完全なデータベースの一部として提供するため、複数のシステムを管理したり、複雑なデータ転送に対応したりすることなく、AI機能を構築することができます。

SingleStoreのベクトルインデックスには2つのオプションがあります。1つ目は厳密なk-最近傍(kNN)検索で、クエリベクトルに最も近いk個の近傍集合を正確に見つけます。しかし、非常に大きなデータセットや高い同時実行性の場合、SingleStoreはベクトルインデックスを使用した近似最近傍（ANN）検索もサポートします。ANN検索は、厳密なkNN検索よりもはるかに高速にk近傍を見つけることができます。速度と精度はトレードオフの関係にあり、ANNは高速ですが、正確なk個の最近傍セットを返すとは限りません。インタラクティブな応答時間が必要で、絶対的な精度を必要としない数十億のベクトルを扱うアプリケーションには、ANN検索が適しています。

SingleStoreにおけるベクトルインデックスの技術的実装には特別な要件があります。これらのインデックスはカラムストアテーブルにのみ作成可能で、ベクトルデータを格納する単一のカラムに作成する必要があります。システムは現在Vector Type(dimensions[, F32])フォーマットをサポートしており、F32は唯一サポートされている要素タイプです。この構造化されたアプローチにより、SingleStoreは大規模な言語モデルからのベクトルを使用した意味検索、焦点を絞ったテキスト生成のためのRAG（retrieval-augmented generation）、ベクトル埋め込みに基づく画像マッチングなどのアプリケーションに最適です。これらを従来のデータベース機能と組み合わせることで、SingleStoreは開発者がパフォーマンスとスケールを維持しながら、SQL構文を使用して複雑なAIアプリケーションを構築することを可能にします。

DeepLake：概要とコアテクノロジー

ディープレイク](https://github.com/activeloopai/deeplake)は、AIや機械学習で広く使用される画像、音声、動画、その他の非構造化データなどのベクトルデータやマルチメディアデータを扱うために構築された特殊なデータベースである。データレイクとしてもベクターストアとしても機能する：

• データレイクとして**：Deep Lakeは、非構造化データ（画像、音声、動画、テキスト、医療画像用のNIfTIのようなフォーマット）をバージョン管理された形式で保存・整理することをサポートします。このセットアップにより、深層学習タスクのパフォーマンスが向上する。データセットの高速な照会と視覚化が可能になり、AIモデル用の高品質なトレーニングセットの作成が容易になる。
• ベクターストアとして**：Deep Lakeは、vector embeddingsと関連するメタデータ（テキスト、JSON、画像など）の保存と検索のために設計されています。データはローカル、クラウド環境、または Deep Lake のマネージドストレージに保存できます。LangChainやLlamaIndexのようなツールとシームレスに統合され、RAG（Retrieval Augmented Generation）アプリケーションの開発を簡素化します。

Deep Lakeは、Hnswlibパッケージをベースに最適化を加えたHNSW（Hierarchical Navigable Small World）インデックスを、近似最近傍（ANN）検索に使用しています。これにより、3,500万以上の埋め込みデータを1秒未満で検索することができます。独自の機能として、より高速にインデックスを作成するためのマルチスレッディングや、RAM使用量を削減するためのメモリ効率的な管理があります。

デフォルトでは、Deep Lakeは10万行までのデータセットに対して線形埋め込み検索を使用します。それ以上のデータセットでは、精度とパフォーマンスのバランスを取るためにANNに切り替わる。APIにより、ユーザーは必要に応じてこの閾値を調整できる。

Deep Lakeのインデックスは、属性検索とベクトル検索を組み合わせた検索（現在は線形検索に依存している）には使用されないが、今後のアップデートでこの制限に対処し、機能をさらに向上させる予定だ。

ベクターストアとしての Deep Lake： Deep Lake は、vector embeddings と、テキスト、JSON、画像、音声、動画ファイルなどの関連メタデータを保存・検索するための堅牢なソリューションを提供します。ローカル、お好みのクラウド環境、またはDeep Lakeのマネージドストレージにデータを保存できます。また、Deep LakeはLangChainやLlamaIndexのようなツールとのシームレスな統合も提供しており、開発者は検索拡張世代（RAG）アプリケーションを簡単に構築することができます。

主な違い

検索方法

どちらのツールも、高速かつ大規模なベクトルクエリのための近似最近傍(ANN)検索をサポートしています。

• SingleStore：複数のベクトル・インデックス（例：HNSW_FLAT、IVF_PQ）をサポートし、正確なk-Nearest Neighbor（kNN）検索と大規模なANN検索の両方を提供。ベクトル検索とSQL操作を組み合わせており、類似度スコアと一緒に属性（価格やタグなど）を使ってベクトルをフィルタリングする必要がある場合に便利です。
• Deep Lake：ANN検索に最適化されたHNSWインデックスを使用し、驚異的なパフォーマンス（35M以上の埋め込みを1秒未満でクエリ）を達成。小さいデータセット(<100k行)のデフォルトは線形検索で、データが大きくなるとANN検索に切り替わります。しかし、属性検索とベクトル検索を組み合わせた検索は、現在のところ線形検索に依存しており、改善の余地がある。

構造化データと共に埋め込みデータをフィルタリングするような混合データを扱う場合、SingleStoreの統合されたSQLサポートが優位性を発揮します。

---

データハンドリング

この2つのシステムは、データ型の管理について異なるアプローチをとっている：

• シングルストア：列ストアテーブル内のベクトルをネイティブにサポートするフル機能のリレーショナルデータベースとして設計されています。構造化または半構造化データとベクトル操作を組み合わせた、商品の推奨や追加フィルターによるセマンティック検索などに最適です。
• ディープレイク非構造化データ**-画像、音声、動画、テキスト-をベクトル埋め込みと一緒に管理することに特化している。データレイクとベクターストアの両方の役割を果たすため、バージョン管理されたマルチメディアデータセットを必要とするAI/MLワークフローに最適です。

SQL操作による構造化データを必要とするアプリケーションにはSingleStoreを選択する。非構造化データまたはマルチメディアデータを使用するAI/MLタスクに重点を置く場合は、Deep Lakeを選択します。

---

スケーラビリティとパフォーマンス

• シングルストア分散ノード**によるスケーラビリティのために構築され、数十億のベクトルを処理し、ノードを追加するにつれてリニアに成長します。ANN インデックスは、スピードと精度のバランスをとりながら、スケーラビリティのあるほぼ瞬時のレスポンスを可能にします。
• ディープレイクインデックス作成時のメモリ使用量を最適化することで、膨大なベクトルデータセットを効率的に処理（例：HNSWインデックス作成時のマルチスレッド化）。ただし、メタデータを含む複合クエリではパフォーマンスが低下する可能性がある。

構造化された操作で高いスケーラビリティとマルチノードのパフォーマンスを発揮するには、SingleStoreが優れています。Deep Lakeは、ベクトル検索がメインの非構造化AIデータセットに最適です。

---

柔軟性とカスタマイズ性

• シングルストア**：SQL クエリによる柔軟性を提供し、厳密および近似ベクトル検索ストラテジーをミックスしてサ ポートします。開発者は SQL のフルパワーを活用して複雑な操作を行うことができます。
• ディープレイクストレージ（ローカル、クラウド、マネージド・ストレージ）を柔軟に組み込むことができ、LangChain、LlamaIndex、ディープラーニング・ツールとシームレスに統合できます。

SQLベースのワークフローが中心であれば、SingleStoreは使い慣れた堅牢なアプローチを提供する。RAGアプリケーションや深層学習パイプラインを構築する開発者にとって、Deep Lakeの柔軟性は際立っている。

---

統合とエコシステム

• SingleStore：従来のデータベース主導のエコシステムにうまく統合できます。ベクトル検索を既存のリレーショナルデータのワークフローと組み合わせることで、ハイブリッド検索（ベクトル＋属性）のようなアプリケーションを実現できます。
• ディープレイクAI/MLエコシステム向け。LangChain、LlamaIndex、モデルトレーニングパイプラインとの統合により、RAG（Retrieval-Augmented Generation）のようなAIアプリケーションを構築する開発者に最適です。

プロジェクトでベクトル機能を備えた汎用データベースが必要な場合は、SingleStoreを選択する。Deep Lakeは、AI/MLに特化したエコシステムに適しています。

---

使いやすさ

• シングルストアベクターインデックスの設定には、データベーススキーマ（カラムストアテーブルなど） やベクター固有の構文にある程度精通している必要があります。しかし、SQL に慣れ親しんだ開発者であれば、直感的に理解できるでしょう。
• ディープレイクAI開発者、特にPythonベースのツールを使っている開発者にとって、よりシンプルなオンボーディング・エクスペリエンスを提供する。APIは分かりやすいが、メタデータ・フィルターとベクトル検索を組み合わせるには、さらなる努力が必要だ。

---

コストに関する考慮事項

• シングルストア運用コストはデータベース・サイズ、クエリの複雑さ、ノードのスケーリングに依存する。SingleStoreの価値は、ベクターストアとリレーショナルデータベースの二重の役割から生まれる。
• ディープレイクマネージド・ストレージの柔軟な価格設定を提供。コストはデータの保存先（ローカル、クラウド、Deep Lakeのサービス）によって異なる。

---

セキュリティ機能

• シングルストア暗号化、認証、ロールベースのアクセス制御など、エンタープライズデータベースの標準となる堅牢なセキュリ ティ機能を搭載。
• ディープレイク必要不可欠なセキュリティ機能を提供しますが、開発者の柔軟性とパフォーマンスにより重点を置いています。

SingleStoreを選択するタイミング

SingleStoreは、大規模な分散データとベクトル検索、特に構造化データクエリとベクトル類似性検索を混在させる必要がある場合に最適です。SQLとの統合により、スタックに複雑さを追加することなく、価格、カテゴリー、タグなどの属性でベクトル埋め込みをフィルタリングするハイブリッドクエリを実行できます。レコメンデーションシステム、セマンティック検索、AIチャットシステムなどのアプリケーションは、SingleStoreの正確なkNN検索と近似ANN検索を大規模に実行できる機能から恩恵を受けます。パフォーマンス、スケーラビリティ、そしてベクトル検索をフル機能のリレーショナル・データベースに統合することが重要であれば、SingleStoreが最適です。

ディープレイクを選ぶとき

Deep Lakeは、非構造化データ（画像、音声、動画、テキスト）が大きな役割を果たすAI/MLワークフローに最適です。データレイクとベクターストアの両方の機能を持つディープレイクは、機械学習モデルをトレーニングするための高品質でバージョン管理されたデータセットの構築と管理に最適です。RAG（Retrieval-Augmented Generation）アプリケーション、マルチメディアデータの埋め込み検索、大規模なディープラーニングプロジェクトに取り組む開発者は、ディープレイクとLangChainやLlamaIndexのようなツールの統合が有益だ。ベクトル検索がハイブリッドSQL操作ではなく、AIのユースケースに焦点を当てているプロジェクトにとって、Deep Lakeはより合理的で柔軟なソリューションです。

結論

SingleStoreとDeep Lakeはどちらもベクトル検索を備えているが、その目的は異なる。SingleStoreは、SQLベースの操作とスケーラブルなベクトル検索を組み合わせる必要がある、構造化データやハイブリッドデータのアプリケーションに最適だ。Deep Lakeは、非構造化データやマルチメディアの埋め込みが中心となるAI/ML環境で輝きを放ち、最適化されたパフォーマンスと最新のディープラーニング・パイプライン用の統合機能を備えている。SQLをサポートする構造化分散データにはSingleStoreを。AI主導の非構造化データ・タスクなら、Deep Lakeが勝者です。

SingleStoreとDeep Lakeの概要についてはこちらをお読みいただきたいが、これらを評価するには、ユースケースに基づいて評価する必要がある。それに役立つツールのひとつが、ベクターデータベースを比較するためのオープンソースのベンチマークツール、VectorDBBenchだ。最終的には、独自のデータセットとクエリパターンを使って徹底的なベンチマークを行うことが、分散データベースシステムにおけるベクトル検索に対する、強力だが異なるこの2つのアプローチのどちらを選ぶかを決める鍵となるだろう。

オープンソースのVectorDBBenchを使ってベクトルデータベースを評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのためのオープンソースのベンチマークツールです。このツールにより、ユーザはMilvusやZilliz Cloud(マネージドMilvus)のような異なるベクトルデータベースシステムを独自のデータセットを使ってテストし比較し、自分のユースケースに合うものを見つけることができます。VectorDBBenchを使えば、ユーザーはマーケティング上の主張や伝聞ではなく、実際のベクターデータベースのパフォーマンスに基づいて決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)