OpenSearch vs Vald：GenAIアプリケーションに適したデータベースの選択

AI主導のアプリケーションが進化する中、これらの進化をサポートするベクトル検索機能の重要性はいくら強調してもし過ぎることはない。このブログ記事では、ベクトル検索機能を持つ2つの著名なデータベースについて説明する：OpenSearchとValdである。それぞれ、レコメンデーション・エンジン、画像検索、セマンティック検索などのアプリケーションに必須の機能であるベクトル検索を扱うための堅牢な機能を提供している。私たちのゴールは、開発者やエンジニアに明確な比較を提供し、どのデータベースが彼らの特定の要件に最も合致するかを決定する手助けをすることです。

ベクターデータベースとは？

OpenSearchとValdを比較する前に、まずベクターデータベースの概念を探ってみましょう。

ベクトルデータベース](https://zilliz.com/learn/what-is-vector-database)は、特に高次元のベクトルを格納し、クエリするように設計されています。ベクトルは非構造化データの数値表現です。これらのベクトルは、テキストの意味、画像の視覚的特徴、または製品の属性などの複雑な情報をエンコードします。効率的な類似検索を可能にすることで、ベクトルデータベースはAIアプリケーションにおいて極めて重要な役割を果たし、より高度なデータ分析と検索を可能にしている。

ベクトルデータベースの一般的なユースケースには、電子商取引の商品推奨、コンテンツ発見プラットフォーム、サイバーセキュリティにおける異常検知、医療画像分析、自然言語処理(NLP)タスクなどがある。また、AI幻覚のような問題を軽減するために外部知識を提供することで大規模言語モデル(LLMs)のパフォーマンスを向上させる技術である、検索拡張生成(RAG)でも重要な役割を果たしている。

市場には、以下のような多くの種類のベクトル・データベースがある：

• Milvus](https://zilliz.com/what-is-milvus)、Zilliz Cloud(フルマネージドMilvus)など。
• Faiss](https://zilliz.com/learn/faiss)やAnnoyのようなベクトル検索ライブラリ。
• Chroma](https://zilliz.com/blog/milvus-vs-chroma)やMilvus Liteのような軽量ベクトルデータベース。
• 小規模なベクトル検索が可能なベクトル検索アドオンを備えた従来のデータベース**。

OpenSearchは、ベクトル検索をアドオンとして持つオープンソースの検索・分析スイートであり、Valdは高密度ベクトル検索エンジンである。

オープンサーチとは？概要

OpenSearch](https://opensearch.org/)は、構造化データ、半構造化データ、非構造化データなど、多様なデータタイプを管理する、堅牢なオープンソースの検索・分析スイートである。ElasticsearchとKibanaからコミュニティ主導のフォークとして2021年に開始されたこのOpenSearchスイートには、OpenSearchデータストアと検索エンジン、高度なデータ可視化のためのOpenSearchダッシュボード、効率的なサーバーサイドのデータ収集のためのData Prepperが含まれています。

Apache Luceneの強固な基盤の上に構築されたOpenSearchは、非常にスケーラブルで効率的な全文検索（キーワード検索）***を可能にし、大規模なデータセットを扱うのに理想的です。最新のリリースで、OpenSearch は検索機能を大幅に拡張し、追加プラグインを通じて ベクトル検索 を含むようになりました。OpenSearchは現在、従来の字句検索、k-nearest neighbors (k-NN)、意味検索、マルチモーダル検索、ニューラル・スパース検索、ハイブリッド検索モデルなど、機械学習を利用した検索手法の数々をサポートしている。これらの機能強化により、ニューラル・モデルが検索フレームワークに直接統合され、データ取り込みの時点でオンザフライの埋め込み生成と検索が可能になります。この統合により、プロセスが合理化されるだけでなく、検索の関連性と効率が著しく向上します。

最近のアップデートでは、OpenSearchの機能がさらに進化し、ディスク最適化ベクトル検索、バイナリ量子化、k-NN検索におけるバイトベクトルエンコーディングなどの機能が導入された。機械学習タスク処理と検索クエリ性能の改善とともに、これらの追加機能は、OpenSearchがデータをフル活用することを目指す開発者や企業にとって最先端のツールであることを再確認させる。ダイナミックで協力的なコミュニティに支えられ、OpenSearchは進化を続け、アプリケーションに高度な検索機能を必要とする開発者にとって最良の選択肢として際立つ、包括的でスケーラブル、かつ適応性の高い検索・分析プラットフォームを提供します。

Valdとは？概要

Vald は膨大なベクトルデータを高速に検索するための強力なツールです。何十億ものベクトルを扱えるように作られており、ニーズが大きくなれば簡単に拡張できます。Vald の素晴らしいところは、NGT と呼ばれる超高速アルゴリズムを使って類似ベクトルを見つけることです。

Valdの最も優れた特徴の一つは、インデックスの処理方法です。通常、インデックスを作成する場合、すべてを停止しなければならない。しかし、Valdは賢い。インデックスを異なるマシンに分散させるので、インデックスが更新されている間も検索を続けることができる。さらに、Valdはインデックス・データを自動的にバックアップするので、何か問題が発生してもすべてを失う心配はない。

Valdは様々なセットアップにフィットするのが素晴らしい。データの出入りをカスタマイズできるので、gRPCとの相性も良い。また、クラウド上でスムーズに動作するように構築されているため、必要なときにコンピューティングパワーやメモリを簡単に追加することができる。Valdはデータを複数のマシンに分散させるので、膨大な量の情報を処理するのに役立つ。

Valdが持つもうひとつの巧妙なトリックは、インデックスの複製だ。各インデックスのコピーを異なるマシンに保存する。つまり、1台のマシンに問題が発生しても、検索は問題なく行えるということだ。Valdは自動的にこれらのコピーのバランスをとるので、心配する必要はない。これらのことから、Valdは大量のベクターデータを迅速かつ確実に検索する必要がある開発者にとって、確かな選択肢となる。

OpenSearch と Vald の比較：GenAIにとっての主な違い

検索方法

OpenSearchはApache Lucene上に構築された堅牢な検索機能を進化させ続けている。現在では、従来のテキストベースの検索に加えて、k-NN、セマンティック、マルチモーダル検索のような機械学習を活用した手法を含む高度なベクトル検索機能を組み込んでいる。これらの機能強化は、ニューラル・モデルを検索フレームワークに直接統合し、オンザフライで埋め込みを生成できるようにすることで、検索の関連性と効率を向上させるように設計されている。

Valdは、効率的な類似検索のために高性能なアルゴリズムNGT (Neighborhood Graph and Tree for Indexing High-Dimensional Data)を利用しており、ベクトル・データの処理において非常に高速である。Valdは、その分散された性質により、検索が進行中でも継続的なインデックス作成をサポートし、インデックス更新時のダウンタイムを防ぎ、検索全体の効率を高めます。

データハンドリング

OpenSearchは、構造化データ、半構造化データから非構造化データまで、幅広いデータタイプを管理することができます。最新のアップデートには、ディスクに最適化されたベクトル検索、バイナリ量子化、およびバイトベクトルエンコーディングが含まれ、大規模なデータセットを効率的に処理する能力が大幅に向上しており、複雑なAI駆動型アプリケーションに最適です。

Valdは、スケーラビリティとリアルタイム性能に重点を置き、大量の高次元ベクトルデータを処理するために最適化されています。複数のマシンにまたがるインデックスの自動レプリケーションとバランシング機能を備え、数十億のベクトルを処理するための高い可用性と信頼性を確保する。

スケーラビリティとパフォーマンス

OpenSearchはスケーラビリティに優れており、大規模なデプロイメントを容易にサポートします。そのアーキテクチャにより、データと処理を複数のノードに効率的に分散し、高負荷時でもパフォーマンスを維持することができます。

Valdは卓越したスケーラビリティ機能を備えており、計算ニーズが増大してもシームレスに拡張できるように設計されています。クラウドネイティブなアーキテクチャと複数ノードにまたがるインデックスレプリケーションのサポートにより、膨大なベクトルデータセットを最小限のレイテンシーで処理することができます。

柔軟性とカスタマイズ

OpenSearchは、プラグインやコミュニティ主導のダイナミックな機能開発アプローチを通じて、広範なカスタマイズオプションを提供します。これにより、ユーザーはシステムを特定の要件に合わせてカスタマイズし、機能性とユーザーエクスペリエンスの両方を向上させることができます。

Valdは、カスタマイズ可能なデータのインジェストとイグジットを提供し、特に効率的なデータ伝送のためのgRPCで、様々な構成と統合をサポートする。その柔軟なアーキテクチャは、特にクラウド環境での多様な運用設定に適しています。

統合とエコシステム

OpenSearchは、高度なデータ可視化ツールとサーバーサイドのデータ収集機能を含む包括的な統合エコシステムを誇っている。コミュニティによるサポートと継続的なアップデートにより、開発者にとって堅牢なプラットフォームとなっています。

Valdは、最新のクラウドインフラとうまく統合できるように構築されており、分散型の性質を補完する機能を提供している。特に、高スループットでスケーラブルなベクトルデータ処理を必要とするシステムとの統合に長けている。

使いやすさ

OpenSearchは広範な機能を備えているため、学習曲線は緩やかであるが、活発なコミュニティと包括的な文書によってサポートされており、採用やトラブルシューティングに役立っている。

Valdは、ベクトル検索を管理する上で効率的で信頼できるように設計されているが、最適に使用するためには、特定のアーキテクチャとKubernetesやNGTのような基礎技術に精通している必要がある。

コストの考慮

オープンソースのソリューションである OpenSearch は費用対効果が高いが、大規模なデプロイメントでは、クラウド環境でのスケーリングと管理に関連する多大なコストが発生する可能性がある。

Valdの設計は、リソースを効率的に管理し、データ処理とインデックス管理の多くの側面を自動化することで、インフラとメンテナンスのコストを削減する。

セキュリティ機能

OpenSearchは、暗号化、役割ベースのアクセス制御、監査ロギングなどの堅牢なセキュリティ対策を備えており、データの完全性と業界標準への準拠を保証します。

Valdは、クラウドネイティブ・アプリケーションに典型的な基本的なセキュリティ対策を取り入れているようだが、暗号化やアクセス制御などの具体的な詳細については明らかにされていない。

GenAIのためにOpenSearchとValdを選ぶとき

OpenSearchとValdのどちらを選択するかは、アプリケーションの特定のニーズ、特に管理しているデータの種類と必要とする検索機能によって決まる。ここでは、それぞれの強みに基づいて、どのような場合に選ぶべきかを分かりやすく説明します：

GenAIにOpenSearchを選択するのは以下のような場合です：

• 高度なテキスト検索機能が必要:** あなたのアプリケーションは、セマンティック検索、キーワード検索、マルチモーダル検索を含む高度な全文検索機能を必要とします。OpenSearchは、複雑なテキストベースのクエリと分析が重要なシナリオに最適です。
• リアルタイム分析と視覚化:** 検索を処理するだけでなく、リアルタイム分析とデータ視覚化のための強力なツールを提供するシステムが必要です。OpenSearchダッシュボードは、検索データとメトリクスのモニタリング、分析、視覚的な表現に特に役立ちます。
• 構造化、半構造化、非構造化データの組み合わせを扱うアプリケーション。OpenSearchは様々なデータ形式を柔軟に扱えるため、幅広いデータ取り込み機能を必要とするアプリケーションに適しています。
• スケーラブルでフル機能のプラットフォーム:** 強力なコミュニティと継続的な開発サポートを備えた、堅牢でスケーラブルな検索・分析プラットフォームをお探しでしょう。OpenSearchは広範なプラグインサポートとカスタマイズを提供し、進化する要件に適応します。

GenAIのためにValdをお選びください：

• 高性能ベクトル検索:** 画像や複雑なパターンのような高次元のベクトルデータを大量に管理・検索する必要があり、キーワード検索や全文検索よりも類似検索が重要な場合。
• 大規模ベクトルデータセットに対するスケーラビリティ:** データセットの増大に合わせて効率的に拡張できるシステムが必要です。Vald は何十億ものベクトルを扱えるように設計されており、自動的なスケーラビリティを提供するため、データ量の急激な増加が予想されるアプリケーションに適しています。
• 効率的なリソース管理:**お客様のセットアップには、ベクトル検索操作において高いスループットと低レイテンシを維持しながら、リソースの使用を最小限に抑えるソリューションが必要です。Vald のクラウドネイティブな設計と効率的なインデックス作成メカニズムにより、費用対効果の高いスケーラビリティを実現します。
• リアルタイムなインデックス作成と更新:** お客様のアプリケーションでは、検索インデックスをダウンタイムなくリアルタイムに更新する必要があります。Vald は検索クエリの処理中であっても継続的なインデックス作成をサポートし、これは新しいデータが頻繁に追加される動的なデータセットにとって極めて重要です。

オープンソースの VectorDBBench を使ってベクターデータベースを評価・比較する

VectorDBBenchは、高性能なデータ保存・検索システム、特にベクトルデータベースを必要とするユーザーのために設計されたオープンソースのベンチマークツールです。このツールにより、ユーザは独自のデータセットを用いてMilvusやZilliz Cloud(マネージドMilvus)などの異なるベクトルデータベースシステムの性能をテスト・比較し、ユースケースに最も適したものを決定することができます。VectorDBBenchを使用することで、ユーザーはマーケティング上の主張や逸話的証拠に頼るのではなく、実際のベクトルデータベースのパフォーマンスに基づいて情報に基づいた決定を下すことができます。

VectorDBBenchはPythonで書かれており、MITオープンソースライセンスの下でライセンスされています。VectorDBBenchは、その機能と性能の改善に取り組む開発者のコミュニティによって活発にメンテナンスされています。

• VectorDBBenchをGitHubリポジトリ**からダウンロードして、我々のベンチマーク結果を再現したり、あなた自身のデータセットでパフォーマンス結果を得てください。

• VectorDBBench Leaderboard](https://zilliz.com/vector-database-benchmark-tool?database=ZillizCloud%2CMilvus%2CElasticCloud%2CPgVector%2CPinecone%2CQdrantCloud%2CWeaviateCloud&dataset=medium&filter=none%2Clow%2Chigh&tab=1)**で主流のベクトルデータベースの性能を見てみましょう。

• ベクターデータベースの評価については、以下のブログをお読みください。

  • ベンチマークベクターデータベースのパフォーマンス：テクニックと洞察](https://zilliz.com/learn/benchmark-vector-database-performance-techniques-and-insights)
  • VectorDBBench: オープンソースベクターデータベースベンチマークツール](https://zilliz.com/learn/open-source-vector-database-benchmarking-your-way)
  • ベクターデータベースを他のデータベースと比較する](https://zilliz.com/comparison)

VectorDB、GenAI、MLに関するその他のリソース

• ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)
• あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
• RAGとは](https://zilliz.com/learn/Retrieval-Augmented-Generation)
• 大規模言語モデル(LLM)を学ぶ](https://zilliz.com/learn/ChatGPT-Vector-Database-Prompt-as-code)
• ベクトルデータベース101](https://zilliz.com/learn/what-is-vector-database)
• 自然言語処理(NLP)](https://zilliz.com/learn/introduction-to-natural-language-processing-tokens-ngrams-bag-of-words-models)