RedisとMyScale：ニーズに合ったベクターデータベースの選択

AIやデータドリブン・テクノロジーの進歩に伴い、アプリケーションに適切なベクター・データベースを選択することがますます重要になってきている。RedisとMyScaleは、この分野における2つの選択肢です。この記事では、これらのテクノロジーを比較し、プロジェクトに十分な情報を得た上で決定できるようにします。

ベクターデータベースとは？

RedisとMyScaleを比較する前に、まずベクターデータベースの概念について説明します。

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、クエリするように設計されています。ベクトルは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために、外部知識を提供することによって大規模言語モデル(LLMs)の性能を向上させる技術であるRAG(Retrieval Augmented Generation) において重要な役割を果たす。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud（フルマネージドMilvus）、Weaviateなど。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

Redisはインメモリデータベースであり、MyScaleは伝統的なデータベースである。どちらもアドオンとしてベクトル検索機能を持っている。この投稿では、両者のベクトル検索機能を比較する。&#x20；

Redis：概要とコア技術

Redisはもともとインメモリ・データ・ストレージとして知られていたが、現在はRedis Stackの一部であるRedis Vector Libraryを通じてベクトル検索機能を追加した。これにより、Redisはスピードとパフォーマンスを維持したまま、ベクトルの類似検索ができるようになりました。

Redisのベクトル検索は既存のインフラストラクチャの上に構築されており、高速なクエリ実行のためにインメモリ処理を使用している。Redisは近似最近傍検索にFLATとHNSW（Hierarchical Navigable Small World）アルゴリズムを使用し、高次元のベクトル空間での高速かつ正確な検索を可能にしています。

Redisのベクトル検索の主な強みの1つは、ベクトルの類似性検索と他の属性に関する従来のフィルタリングを組み合わせることができる点です。このハイブリッド検索により、開発者は意味的類似性と特定のメタデータ基準の両方を考慮した複雑なクエリを作成することができるため、多くのAI駆動型アプリケーションで汎用性があります。

Redis Vector Libraryは、開発者がRedisでベクトルデータを扱うためのシンプルなインターフェースを提供します。柔軟なスキーマ設計、カスタムベクタークエリ、セマンティックキャッシングやセッション管理などのLLM関連タスクの拡張機能などを備えている。これにより、AI/MLエンジニアやデータサイエンティストは、特にリアルタイムのデータ処理と検索のために、RedisをAIワークフローに統合することが容易になります。

MyScale概要と技術

MyScaleは、オープンソースのClickHouseデータベース上に構築されたクラウドベースのデータベースで、AIや機械学習のワークロード向けに設計されている。構造化データ、ベクトルデータ、リアルタイム分析、機械学習を扱うことができる。MyScaleは時系列、ベクトル検索、全文検索に重点を置いているため、リアルタイム処理やAI主導の洞察に適している。ClickHouseアーキテクチャを使用することで、MyScaleはAI向けに高性能でスケーラブルです。

MyScaleの主な特徴の1つは、ネイティブSQLのサポートで、ベクトル検索、全文検索、従来のSQLクエリを1つのシステムに統合することで、AI主導のクエリを簡素化します。これにより、複数のツールの必要性を減らし、AI向けのスケーラビリティを実現している。MyScaleは、ベクトル化されたデータを操作するためのOLAPデータベース・アーキテクチャを使用して、1つのプラットフォーム上で構造化データとベクトル化データの両方の分析処理をサポートし、管理します。開発者はSQLを使用してMyScaleとやり取りできるため、リレーショナルデータベースに精通したすべてのプログラマーがアクセス可能です。

MyScaleには複数のベクトルインデックスタイプと類似度メトリクスがあり、様々なユースケースをサポートします。ユークリッド距離（L2）、内積（IP）、余弦類似度といった一般的な距離メトリクスをサポートしています。データベースには複数のインデックス作成アルゴリズムがあります：MSTG（マルチスケールツリーグラフ）、ScaNN、IVFFLAT、IVFPQ、IVFSQ、HNSWがあり、それぞれパラメータを調整することができます。MyScale独自のMSTGベクトルエンジンは、NVMe SSDを使用してデータ密度を高めているため、パフォーマンスとコストの両面で特殊なベクトルデータベースを凌駕します。

SQLデータベース、ベクトルデータベース、全文検索エンジンの機能を1つのシステムに統合することで、MyScaleはインフラとメンテナンスコストを削減します。この統合により、共同データクエリーと分析が可能になり、AIアプリケーションのための単一のデータ基盤が実現します。MyScaleはまた、LLMシステムの完全な観測性を実現するMyScale Telemetryを備えているため、効率的なモニタリングとデバッグが可能です。データがより複雑になるにつれ、MyScaleは、異なるデータタイプ間のコンピューティング・パフォーマンスと統合性を維持しながら、より新しいデータ様式とデータベース・サイズに対応できる、将来性のあるソリューションです。

主な違い

RedisとMyScale：あなたに合ったベクトル検索ツールは？

ベクトル検索ツールを選択する際、開発者やエンジニアは多くの要素を考慮する必要があります。ここでは、RedisとMyScaleを主要な項目で比較し、選択の参考にしてください。

検索方法

Redisは近似最近傍探索にFLATとHNSW（Hierarchical Navigable Small World）を使用します。どちらも高次元空間において高速かつ正確です。Redisは、ベクトル類似度と属性フィルタリングを組み合わせたハイブリッド検索もサポートしています。

MyScaleには複数のベクトルインデックスタイプと類似度メトリクスがあります。ユークリッド距離（L2）、内積（IP）、余弦類似度といった一般的な距離メトリックをサポートしている。MyScaleには複数のインデックス作成アルゴリズムがあります：MSTG（マルチスケールツリーグラフ）、ScaNN、IVFFLAT、IVFPQ、IVFSQ、HNSW。各アルゴリズムには調整可能なパラメータがあり、特定のユースケースに合わせて微調整できます。

データ

Redisはインメモリデータを得意とし、現在ではRedis Vector Libraryを通じてベクトル検索ができる。柔軟なスキーマを持ち、構造化データと非構造化データを扱うことができる。

MyScaleはClickHouseアーキテクチャで構築されており、構造化データ、ベクトルデータ、時系列データ、全文検索を扱うことができる。OLAPデータベースアーキテクチャを使用して、構造化データとベクトル化データをリアルタイムで処理できます。

スケーラビリティとパフォーマンス

Redisはそのインメモリ・スピードで知られており、ベクトル検索の高速なクエリ実行を意味します。Redisのアーキテクチャは、ベクトル検索処理を拡張することができます。

MyScaleはClickHouseの高性能アーキテクチャを採用し、AIや機械学習のワークロード向けに設計されている。NVMe SSDを使用し、データ密度を高め、パフォーマンスとコストで特殊なベクトルデータベースを上回る可能性がある。

柔軟性とカスタマイズ

Redisはベクトルデータ用のシンプルなインターフェイスを持ち、カスタムベクタクエリが可能です。また、セマンティックキャッシュやセッション管理など、LLMに関連するタスクのための拡張機能もあります。

MyScaleにはネイティブSQLがあり、ベクトル検索、全文検索、従来のSQLクエリを1つのシステムで統合することができます。この柔軟性により、異なるデータ型や検索方法を組み合わせた複雑なクエリを実行することができます。

統合とエコシステム

Redisには大きなエコシステムがあり、多くのツールやフレームワークとうまく統合されています。Vector LibraryはRedis Stackの一部なので、すでにRedisを使用しているプロジェクトに適しています。

MyScaleは、SQLデータベース、ベクターデータベース、全文検索エンジンがひとつになったものです。この統一されたアプローチは、インフラを簡素化し、AI駆動アプリケーションにおける複数のツールの必要性を減らすことができる。

使いやすさ

Redisは開発者にとって使いやすく、ドキュメントも充実しており、セットアップも簡単である。ベクター・ライブラリーはこれをベクター検索操作に拡張します。

MyScaleはSQL構文を使うので、リレーショナル・データベースの経験がある開発者には馴染みがある。しかし、MyScaleには多くの機能とアルゴリズムがあるため、最適に使うには学習曲線が急になるかもしれない。

コスト

Redisは、メモリに収まる小さなデータセットであれば費用対効果が高い。より大きなデータセットの場合、より多くのメモリが必要になるため、コストは増加する。

MyScaleはNVMe SSDを使用しており、統一されたアプローチはビッグデータにとって費用対効果が高く、インフラとメンテナンスコストを削減できる可能性がある。

セキュリティ

Redisには様々なセキュリティ機能がある：アクセス制御、暗号化、認証オプション。

ClickHouse上に構築されているMyScaleにも同様のセキュリティ機能があると思われるが、ベンダーに確認する必要がある。

それぞれの選択時期

Redisは、高速なインメモリ処理やリアルタイムのベクトル検索を必要とするプロジェクトに最適です。レコメンデーションシステムやリアルタイムの不正検知、コンテンツベースの画像検索など、低レイテンシーを必要とするアプリケーションに最適です。Redisは、データがメモリに収まり、ベクトル類似検索と属性フィルタリングを組み合わせる必要があるシナリオに最適です。また、すでにRedisを使用していて、新しいデータベースを導入せずにベクトル検索を追加したい場合にも適しています。

MyScaleは、統合されたSQL、ベクトル、全文検索を必要とするプロジェクト、特に大規模なAIや機械学習のワークロードに適している。高度な分析プラットフォーム、複雑な検索エンジン、AI駆動のビジネスインテリジェンスツールなど、構造化データと非構造化データの両方をリアルタイムで処理・分析する必要があるアプリケーションに適している。MyScaleはベクトル検索と同時に時系列データを扱うことができるため、時系列での傾向を分析したり、類似検索を実行する必要があるアプリケーションに最適です。SQLベースのインターフェイスは、SQLスキルの高いチームにも適している。

結論

Redisは高速なインメモリ・ベクトル検索を持ち、ベクトルの類似性と属性フィルタリングを組み合わせることができる。シンプルで大規模なエコシステムとインメモリデータセットの優れたパフォーマンスで知られている。MyScaleは、SQL、ベクトル、全文検索のための統合プラットフォームで、大規模なAIやMLのワークロードのための強力なスケーラビリティを備えている。多様なデータタイプと複雑なクエリに対応できる。RedisとMyScaleのどちらを選択するかは、ユースケース、データ量、クエリの複雑さ、既存のインフラを考慮してください。データセットのサイズ、SQL統合の必要性、チームの専門知識、アプリケーションのリアルタイム要件を考慮してください。どちらもベクトル検索機能を備えていますが、得意とするプロジェクトや要件は異なります。

本記事ではRedisとMyScaleの概要を説明しますが、これらのデータベースを特定のユースケースに基づいて評価することが重要です。このプロセスを支援するツールの1つが、ベクターデータベースのパフォーマンスを比較するために設計されたオープンソースのベンチマークツールであるVectorDBBenchです。最終的には、特定のデータセットとクエリパターンを使った徹底的なベンチマークが、分散データベースシステムにおけるベクトル検索に対する、強力でありながら異なる2つのアプローチのどちらを選ぶかについて、十分な情報を得た上で決断を下すために不可欠となる。

オープンソースのVectorDBBenchを使って、ベクターデータベースを自分で評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザは独自のデータセットを用いてMilvusやZilliz Cloud(マネージドMilvus)などの異なるベクトルデータベースシステムの性能をテスト・比較し、ユースケースに最も適したものを決定することができます。VectorDBBenchを使用することで、ユーザーはマーケティング上の主張や逸話的証拠に頼るのではなく、実際のベクトルデータベースのパフォーマンスに基づいて情報に基づいた決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)で、主流のベクトルデータベースのパフォーマンスを簡単に見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマーク・ベクター・データベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: Open-Source Vector Database Benchmark Tool](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)