学習
ベクター・データベース管理における高度なテクニック

ベクターデータベースを拡張して企業の要求に応える

May 19, 20240 分で読めます

このブログでは、データベースのスケーラビリティの概念を探求し、Milvusのスケーラビリティ能力を紐解いていきます。また、Milvusのスケーラビリティ技術を紹介し、非構造化データ管理における比類なきパフォーマンスとイノベーションへの道をどのように切り開くかを探ります。

By Ted Xu

シリーズ全体を読む

今日の世界では、組織はデータ、特に非構造化データの急速な増加によるチャンスと課題の両方に直面している。この膨大な情報を効果的に管理・活用するためには、スケーラブルなソリューションが必要である。Milvusのようなベクトルデータベースは、高次元空間の数値ベクトルとして表現することにより、非構造化データを扱うように設計されている。

このブログでは、データベースのスケーラビリティの概念を探求し、Milvusのスケーラビリティを解明する。また、Milvusのスケーラビリティ技術を紹介し、それらが非構造化データ管理における比類なきパフォーマンスと革新への道をどのように切り開くかを探ります。

データベースのスケーラビリティを理解する

一般に、データベースのスケーラビリティとは、CPU、ストレージ、メモリなどのシステムリソースを、進化するビジネス需要に合わせてシームレスに拡大または縮小する動的な能力のことを指します。スケーラビリティには、垂直スケーラビリティと水平スケーラビリティの2つの基本タイプがあります。

垂直スケーラビリティ（スケールアップ）***：垂直スケーラビリティは、CPU、メモリ、ストレージなどのリソースを追加することで、単一のデータベース・サーバーの容量を増やすものですが、これには限界があります。垂直スケーラビリティは、CPU、メモリ、ストレージなどのリソースを追加することで、1 台のデータベース・サーバーの容量を増加させるものです。これらの制限を理解することが、実際のシナリオで効果的なスケーラビリティの決定を行うための鍵となります。
水平スケーラビリティ（スケールアウト）***：水平スケーラビリティは、サーバーを追加してワークロードを分散させるもので、大きなメリットがあります。この戦略では、大規模なデータセットを分割し、これらのノードすべてに分散します。データベースクラスタに徐々にノードを追加することで、水平スケーラビリティは事実上無限の拡張の可能性を開きます。また、ノードに障害が発生した場合でも、システムが残りのノード間でシームレスにタスクを再分配できるため、耐障害性も向上する。これらの利点を理解することは、大規模なデータセットを管理し、システムの信頼性を確保する上で極めて重要である。

Milvus ベクトルデータベースのスケーラビリティ

Milvusは垂直方向にも水平方向にもスケーラビリティを誇るオープンソースのベクターデータベースです。分散型のクラウドネイティブアーキテクチャにより、Milvusは天文学的な量の数兆にも及ぶベクトルを、ミリ秒単位の高速なレスポンスタイムでシームレスに処理します。ベンチマーク結果 ](https://milvus.io/docs/benchmark.md)は、Milvusのスケールアップとスケールアウトの能力を示しています。

以下は、コンピューティングリソースをスケールアップおよびスケールダウンした場合のMilvusのパフォーマンスダイナミクス（バージョン2.2.0）のスナップショットである。Querynodeクラスタのリソースを追加しても、Querynodeレプリカを拡張しても、MilvusはTP99待ち時間の短縮と同時に、クエリ処理能力(QPS)の目に見える向上を示しています。

図1：Querynode CPUコアのスケールアップによる検索性能](https://assets.zilliz.com/Fig_1_Search_performance_by_scaling_up_Querynode_CPU_cores_93c87461f2.png)

図2：Querynodeレプリカのスケールアウトによる検索性能](https://assets.zilliz.com/Fig_2_Search_performance_by_scaling_out_Querynode_replicas_249e44b7c4.png)

どのようにしてMilvusは比類なきスケーリングを実現したか？

Milvusは、卓越したスケーラビリティを実現するために、レプリケーション、パーティショニング、ロードバランシングという2つの主要なスケーリング技術を採用しています。

レプリケーション

レプリケーションはMilvusのスケーラビリティ戦略の要です。クラスタ内の複数のノード間でコンピュータリソースを複製またはコピーすることで、Milvusはユーザの要求が均等に分散されるようにし、単一のノードが過負荷になるのを防ぎます。このアプローチにより、より多くのデータベース読み取り要求を処理するシステムのキャパシティが向上し、耐障害性のレイヤーが追加される。クラスタ内の各ノードにはデータのコピーが含まれているため、ノードに障害が発生した場合でも、他のレプリカノードがシームレスに引き継ぐことができ、ダウンタイムを最小限に抑え、中断のないサービスを保証します。

パーティショニング

パーティショニングは、Milvus のスケーラビリティフレームワークの極めて重要な構成要素であり、インフラストラクチャ全体で大規模なデータセットを管理・分散するための洗練された効率的なアプローチを提供します。その中核となるパーティショニングでは、データをセグメントまたはパーティションと呼ばれる、より小さく管理しやすい単位に分割します。これらのパーティションを複数のデータベースに分散させることで、Milvusはストレージとコンピューティング能力を実質的に無制限に拡張することができる。

しかし、Milvusのエコシステムの中でパーティショニングは実際にどのように機能するのだろうか。

データの整理とセグメンテーション

Milvusにデータが取り込まれると、データはコレクションに整理され、それぞれが異なるデータセットやデータタイプを表します。パーティショニングにより、これらのコレクションはさらに論理的なセグメントに分割され、それぞれにデータのサブセットが含まれます。この論理的な構成により、特にデータのサブセットを個別にアクセスまたは操作する必要がある場合に、効率的なデータの検索と処理が容易になります。

動的スケーラビリティと並列処理：

Milvusにおけるパーティショニングの主な利点の一つは、データ量の増加に応じてストレージ容量を動的に拡張できることである。新しいデータがシステムに取り込まれると、利用可能なパーティションとセグメントに自動的に分散され、最適なリソース利用とパフォーマンスが保証されます。この動的な拡張性により、企業はボトルネックやパフォーマンスの低下を招くことなく、データインフラをシームレスに拡張することができます。

さらに、パーティショニングにより、Milvusクラスタ内の複数のノードで並列データ処理が可能になります。各ノードはパーティションとセグメントのサブセットを管理し、インデックス作成、クエリ、データ操作の同時実行を可能にします。この並列処理機能により、読み取りと書き込みのパフォーマンスが向上し、Milvusは大規模なデータワークロードを容易に処理できるようになります。

セグメントのサイズと管理

Milvusでは、セグメントはノードに分散された最小のデータ単位を表し、通常512MBから1GBの範囲です。セグメントのサイズはIOコストと検索パフォーマンスを最適化するために慎重にバランスが取られている。セグメントを小さくすることで、検索時のIOオペレーションは増加するものの、インデックス作成の高速化と検索レイテンシの低減につながります。セグメントの管理は、ストレージの効率とパフォーマンスを最適化するために非常に重要です。Milvusは洗練されたアルゴリズムとデータ配置ストラテジーを使用して、セグメントがノードに均等に分散され、データアクセスパターンが最大のスループットと応答性を得るように最適化されるようにします。

ロードバランシング

複数のセグメントに分割されたデータでは、ノード間でワークロードが均等に分散されるようにロードバランシングが重要になります。Milvus はバランサーと呼ばれるバックグラウンドプロセスによってこれを実現し、バランサーが動的にセグメントをノードに割り当ててワークロードバランスを達成します。バランスが崩れた場合、バランサーはタスクを開始し、ノード間のセグメント分配をシームレスに調整する。重要なのは、これらのタスクはトランザクションとして実行されるため、進行中のクエリが影響を受けず、シームレスな負荷分散が保証されることである。

##スケーラビリティに関する主流ベクトルデータベースの比較

ベクターデータベースは、それぞれ異なるタイプのユーザーを対象としているため、スケーラビリティ戦略も異なります。例えば、Milvusはデータ量が急激に増加するユースケースに特化し、ストレージとコンピューターを分離した水平スケーラブルなアーキテクチャを採用しています。PineconeとQdrantは、データ量とスケーリング要求が中程度のユーザー向けに設計されている。LanceDBとChromaは、スケーラビリティよりも軽量なデプロイを優先している。

以下の表は、主流のベクターデータベースが提供するスケーラビリティ戦略を示しています。


ベクトル・データベース**	オープン・ソース?	垂直スケーリング	水平スケーリング

| Zillizクラウド(マネージドMilvus) | Pinecone｜クローズドソースSaaS｜√｜×（10億レベル | Qdrant｜√｜√｜√（億レベル | ウィービエイト｜√｜√｜√｜｜｜｜｜｜（億レベル

より主流のベクトルデータベースを比較するには、私たちの比較ページを参照してください。

まとめ

データ主導の現代社会において、非構造化データ管理のためのスケーラブルなソリューションの追求がかつてないほど重要になっている。企業がデータの絶え間ない流入に取り組む中で、これらの情報を効果的に活用し、管理する必要性がますます高まっている。

この投稿では、現代のデータ管理におけるデータベースのスケーラビリティの概念と重要性を探求し、何兆ものベクトルに対応するために容易にスケールアウトできるMilvusの能力を解き明かした。綿密に設計されたアーキテクチャから革新的なスケーラビリティ技術に至るまで、Milvusはデータ管理の最前線に立ち、比類ないパフォーマンスと革新への道を切り開きます。

article.updateAt