ベクトルデータベースからベクトルLakebaseへ

ベクトルデータベースからVector Lakebaseへ

本番環境のAIシステムは、同時に複数のワークロードを実行します。ライブサービングでは、1000+ QPSで1桁ミリ秒の検索が必要です。その背後では、同じデータがオフライン作業 — セマンティック重複排除、クラスタリング、データセットキュレーション、フィードバックやログに対する品質分析 — のためにマイニングされます。その規模は1〜3桁大きく、しかもほとんどの時間はアイドル状態です。多くのチームは、これを別々のシステム、別々のパイプライン、別々のストレージにまたがってつなぎ合わせています。データモデルが進化するたびに、複雑さはさらに増していきます。

Vector Lakebaseは、Zilliz Cloudの次なる章です。S3ベースの単一のデータプレーンが、マルチモーダルデータ、ベクトル、インデックスを一度だけ保持し、3つのコンピュートモード — リアルタイムサービング、反復的ディスカバリー、バッチ分析 — がそれをゼロコピーで読み取ります。ベクトル検索が置き換えられるのではありません。AIデータループの残りの部分のために構築された基盤の上へと拡張されるのです。

ガイドの内容

• 1つのデータプレーン、3つのワークロードモード — そしてベクトルデータベースだけではもはやAIループをカバーできない理由
• Vector Lakebaseを定義する5つの機能（サーバーレスの約1/15のコストでのオンデマンド検索、既存のレイク上でのゼロコピーインデックス作成を含む）
• すでに本番環境で稼働している領域 — エージェント知識ベース、Webスケール検索、コーパス重複排除、トレーニングセット準備

Robert Guo（ZillizのVP of Productであり、Milvusのアーキテクトの一人）による執筆。