スターリングデータセグメント上の高次元ベクトル類似検索のためのI/O効率の良いディスク常駐グラフインデックスフレームワーク

03/26/24

ベクターデータベースの最適化：セグメントレベルのアーキテクチャガイド

高次元のベクトルデータがAIや機械学習アプリケーションの中心になるにつれ、ベクトルデータベースは画像、テキスト、動画などの非構造化データを効率的に管理するプレッシャーに直面しています。従来のアーキテクチャでは、1台のマシンで複数のデータセグメントを処理しなければならず、それぞれがメモリやディスク容量の厳しい制約を受けるため、苦戦を強いられていました。

本論文では、Starlingを紹介します。Starlingは、合理化されたインメモリナビゲーショングラフと、ローカリティに最適化されたディスクベースのグラフを組み合わせた、新しいデュアルコンポーネントアーキテクチャにより、ベクターデータベースのセグメント処理に革命をもたらすフレームワークです。過剰なストレージを必要としたり、高レイテンシに悩まされたりする現在のディスクベースのソリューションとは異なり、Starlingは検索性能、精度、およびリソース利用率の最適なバランスを実現している。

このフレームワークは、インテリジェントなセグメントレベルの最適化により、既存の手法と比較して43.9倍のスループットと98%のクエリ待ち時間の短縮を達成し、目覚ましい性能向上が可能であることを実証しています。本論文は、高いパフォーマンスと精度を維持しながらベクトルデータベース運用を拡張しようとする組織にとって不可欠な洞察を提供する。

Get the Whitepaper