Valutazione delle prestazioni di Milvus 2023

Mar 18, 20232 min read

In Zilliz, gli sviluppatori spesso ci chiedono: "Come si confronta Milvus con le versioni precedenti per i workload di embedding?" Ci sono due motivi principali per questo. In primo luogo, gli sviluppatori che avviano un nuovo progetto sono desiderosi di utilizzare le versioni software più recenti per accedere alle funzionalità più aggiornate, ma potrebbero esitare a causa di preoccupazioni riguardo a un degrado delle prestazioni. In secondo luogo, anche gli utenti attuali potrebbero avere preoccupazioni sulle prestazioni e aggiorneranno solo se le nuove capacità risulteranno interessanti.

Per alleviare queste preoccupazioni, vorremmo condividere gli ultimi benchmark condotti su Milvus v2.2.3 rispetto a Milvus 2.2.0 e Milvus v2.0.0, confrontando le latenze di ricerca e il throughput su quattro dataset ben noti (DEPP, GIST, GloVe e SIFT). I benchmark hanno mostrato che Milvus v2.2.3 supera v2.2.0 e v2.0.0, migliorando significativamente le velocità di ricerca e indicizzazione. Nello specifico, in Milvus 2.2.3, abbiamo ottenuto una riduzione di 2,5 volte della latenza di ricerca rispetto alla versione originale Milvus 2.0.0. Inoltre, i nostri test in un ambiente identico hanno mostrato un aumento di 4,5 volte del QPS con Milvus 2.2.3 rispetto alla 2.0.0.

Abbiamo ritenuto che questi dati si sarebbero rivelati preziosi per gli ingegneri che valutano l'idoneità dell'ultima versione di Milvus per i loro casi d'uso di ricerca per similarità; scarica il white paper tecnico "Milvus Performance Evaluation 2023" per leggere la Metodologia e i Risultati della valutazione.

Il nostro obiettivo principale era creare un confronto coerente e aggiornato che riflettesse gli ultimi sviluppi di Milvus. Rieseguiremo periodicamente questi e altri benchmark di database vettoriali e aggiorneremo il nostro white paper tecnico dettagliato con i risultati. Tutto il codice per questi benchmark è disponibile su Github. Sentiti libero di aprire issue o pull request su quel repository se hai domande, commenti o suggerimenti.

Versioni testate

Abbiamo identificato le caratteristiche più comunemente valutate per lavorare con gli embedding nella creazione di una suite di benchmark rappresentativa. Abbiamo esaminato le prestazioni su:

  • Latenza delle query – misurata in millisecondi
  • QOS – query al secondo
  • Latenza vs. Throughput
  • Scalabilità su scala di miliardi
  • Scalabilità su Multi-replica

Informazioni sul dataset

Inoltre, ci sono sei dataset utilizzati per i benchmark:

  • Quattro (4) dataset da ann-benchmarks sono stati utilizzati per valutare le prestazioni di ricerca delle diverse versioni di Milvus.
  • Due (2) dataset su scala di miliardi (BIGANN e LAION-5B di LAION) sono stati utilizzati per valutare la scalabilità di Milvus 2.2.3.

Risultati

Latenza di ricerca ANN

Con Milvus 2.2.3 abbiamo ottenuto una riduzione di 2,5 volte della latenza di ricerca rispetto alla versione originale Milvus 2.0.0. Latenza di ricerca di Milvus 2.0.0, 2.2.0 e 2.2.3.png Latenza di ricerca di Milvus 2.0.0, 2.2.0 e 2.2.3.png

Throughput di ricerca ANN

Abbiamo osservato un aumento di 4,5 volte del QPS con Milvus 2.2.3 rispetto alla 2.0.0. QPS di Milvus 2.0.0, 2.2.9 e 2.2.3.png QPS di Milvus 2.0.0, 2.2.9 e 2.2.3.png

Scala di miliardi

Un cluster Milvus 2.2.3 scalato orizzontalmente ha mostrato un degrado delle prestazioni minimo sia nella latenza di ricerca sia nel QPS. Latenza e QPS di diverse dimensioni di cluster | Milvus.png Latenza e QPS di diverse dimensioni di cluster | Milvus.png

Multi-replica (Scalabilità lineare)

Milvus 2.2.3 ha mostrato una scalabilità lineare quando si utilizzano più repliche. Latenza e QPS al raddoppio del numero di repliche | Milvus.png Latenza e QPS al raddoppio del numero di repliche | Milvus.png

Incoraggiamo vivamente gli sviluppatori a eseguire questi benchmark per verificare in modo indipendente i risultati sull'ambiente e sui set di dati di loro scelta.

Cosa c'è dopo?

Aggiornato il Jul 09, 2026