データセットノート

For "Single tenant LAION 100M" below, we refer to the "Laion 100m" () Dataset (100M * 768 float dense vectors).
For "Multitenant Cohere 10M" Dataset below, we refer to the "Cohere Large" () Dataset (1M * 768 float dense vectors). All data are randomly splitted across 1000 tenants.

コスト・パレート線

パレート・コストラインは、各クラウド・ベクター・データベースが、与えられた運用費用に対してどれだけのQPSを維持できるかを示している。これらは、測定された検索結果と公開された価格モデルを組み合わせたものです。

ワークロード

原価主義

QPS最大

最大コスト

原価期間

時給毎月

cost.filters.priceOrder

cost.filters.priceOrderOptions.asccost.filters.priceOrderOptions.desc

コスト対QPSパレートQuery only - 低い方がいい - USD / USDhour

注釈すべてのテストはAWS us-west-2で実施。ここに表示されている費用はすべて、この地域における各製品の料金に基づいています。

CloudInsertケース

このケースでは、書き込みからサービスまでのライフサイクルを測定する。つまり、バルクデータの挿入が完了するまでの時間、確実に検索できるようになるまでの時間、バックグラウンドでのインデックス作成が完全に追いつくまでの時間を測定する。

表示コスト

データ集合LAION 100M

挿入検索可能フルインデックス費用を書く

Zilliz Cloud Capacity 12CU

バッチサイズ1,000

2.9 hr

0 ms

7.0 min

$9.12

バッチサイズ5,000

3.1 hr

0 ms

1.8 min

$9.25

バッチサイズ10,000

3.2 hr

0 ms

1.9 min

$9.5

Zilliz Cloud Tiered 4CU

バッチサイズ1,000

4.1 hr

0 ms

10.3 min

$6.3

バッチサイズ5,000

4.1 hr

0 ms

9.6 min

$6.29

バッチサイズ10,000

4.1 hr

0 ms

10.9 min

$6.34

Turbopuffer

バッチサイズ1,000

53.5 hr

0 ms

3.4 min

$304

バッチサイズ5,000

1.9 hr

6.6 hr

2.4 min

$302

バッチサイズ10,000

1.8 hr

6.4 hr

2.0 min

$302

Pinecone Serverless

バッチサイズ1,000

111.7 hr

0 ms

42 ms

$1,180

バッチサイズ5,000

71.4 hr

0 ms

1 ms

$1,180

バッチサイズ10,000

72.4 hr

0 ms

127 ms

$1,180

注釈どのように "挿入"、"検索可能"、"完全インデックス化 "を定義したかについては、各クライアントのVectorDBBenchソースコードをご覧ください。基本的な直感

CloudPayloadSearchCase & MultitenantSearchCase

このケースでは、クラウドデータがすでにロードされ、検索可能になった後のクエリの動作を測定します。異なるレスポンスペイロード、スカラーフィルタの選択性、およびテナントモードの下で、ピーク同時QPS、P99レイテンシ、およびリコールを比較することで、速度のみに報酬を与えるのではなく、スループットと結果品質の両方をグラフに示します。

モード

フィルター

ペイロード

レイテンシー

表示コスト

トップK100

ベクトルサーチのレイテンシーとQPS無濾過 -ids only -最大同時実行数 P99

製品最大同時実行数 P99 レイテンシー最大同時実行数 QPSリコール@10

ジリズクラウドキャパシティ 32CU

2,000 バイト/クエリー

158 ms

786.1

リコール@100.9728

ターボパファー・アンピン・モード

2,000 バイト/クエリー

2.34 s

395.7

リコール@100.9321

ジリズクラウドキャパシティ 12CU

2,000 バイト/クエリー

299 ms

376

リコール@100.9723

ターボパッファー・ピンモード

2,000 バイト/クエリー

3.30 s

68.2

リコール@100.9321

ジリーズ・クラウド・ティアード 4CU

2,000 バイト/クエリー

5.57 s

49.2

リコール@100.9510

Pinecone サーバーレス

2,000 バイト/クエリー

4.85 s

4.6

リコール@100.9609

クラウドコールドレイテンシーの場合

このケースでは、ウォームアップされた定常状態のクエリパスに対して、アイドルコールド期間後の最初のクエリを測定します。コールドスタートの挙動を通常の検索スループットから切り離し、非アクティブ後のウォームアップペナルティが製品にあるかどうかを示します。

モード

Cold / Warm Latency無濾過

ジリズクラウドキャパシティ 12CU

55 / 18 ms

ターボパッファー・ピンモード

64 / 57 ms

ジリーズ・クラウド・ティアード 4CU

122 / 66 ms

Pinecone サーバーレス

271 / 1089 ms

ターボパファー・アンピン・モード

2048 / 704 ms

Left segment is cold P99, right segment is warm P99 steady-state.

冷温比下は上

ジリズクラウドキャパシティ 12CU

1.01×

ターボパッファー・ピンモード

1.42×

ジリーズ・クラウド・ティアード 4CU

2.16×

Pinecone サーバーレス

4.52×

ターボパファー・アンピン・モード

6.36×

最初のコールドクエリを最初のウォームクエリで割った比率。

コスト・パレート線

ワークロード

原価主義

CloudInsertケース

CloudPayloadSearchCase &amp; MultitenantSearchCase

モード

フィルター

ペイロード

レイテンシー

クラウドコールドレイテンシーの場合

モード

CloudPayloadSearchCase & MultitenantSearchCase