Valutazione delle prestazioni di Milvus 2023
In Zilliz, gli sviluppatori spesso ci chiedono: "Come si confronta Milvus con le versioni precedenti per i workload di embedding?" Ci sono due motivi principali per questo. In primo luogo, gli sviluppatori che avviano un nuovo progetto sono desiderosi di utilizzare le versioni software più recenti per accedere alle funzionalità più aggiornate, ma potrebbero esitare a causa di preoccupazioni riguardo a un degrado delle prestazioni. In secondo luogo, anche gli utenti attuali potrebbero avere preoccupazioni sulle prestazioni e aggiorneranno solo se le nuove capacità risulteranno interessanti.
Per alleviare queste preoccupazioni, vorremmo condividere gli ultimi benchmark condotti su Milvus v2.2.3 rispetto a Milvus 2.2.0 e Milvus v2.0.0, confrontando le latenze di ricerca e il throughput su quattro dataset ben noti (DEPP, GIST, GloVe e SIFT). I benchmark hanno mostrato che Milvus v2.2.3 supera v2.2.0 e v2.0.0, migliorando significativamente le velocità di ricerca e indicizzazione. Nello specifico, in Milvus 2.2.3, abbiamo ottenuto una riduzione di 2,5 volte della latenza di ricerca rispetto alla versione originale Milvus 2.0.0. Inoltre, i nostri test in un ambiente identico hanno mostrato un aumento di 4,5 volte del QPS con Milvus 2.2.3 rispetto alla 2.0.0.
Abbiamo ritenuto che questi dati si sarebbero rivelati preziosi per gli ingegneri che valutano l'idoneità dell'ultima versione di Milvus per i loro casi d'uso di ricerca per similarità; scarica il white paper tecnico "Milvus Performance Evaluation 2023" per leggere la Metodologia e i Risultati della valutazione.
Il nostro obiettivo principale era creare un confronto coerente e aggiornato che riflettesse gli ultimi sviluppi di Milvus. Rieseguiremo periodicamente questi e altri benchmark di database vettoriali e aggiorneremo il nostro white paper tecnico dettagliato con i risultati. Tutto il codice per questi benchmark è disponibile su Github. Sentiti libero di aprire issue o pull request su quel repository se hai domande, commenti o suggerimenti.
Versioni testate
- Milvus v2.2.3 | data di rilascio: 10 febbraio 2023
- Milvus v2.2.2 | data di rilascio: 18 novembre 2022
- Milvus v2.0.0 | data di rilascio: 25 gennaio 2022
Abbiamo identificato le caratteristiche più comunemente valutate per lavorare con gli embedding nella creazione di una suite di benchmark rappresentativa. Abbiamo esaminato le prestazioni su:
- Latenza delle query – misurata in millisecondi
- QOS – query al secondo
- Latenza vs. Throughput
- Scalabilità su scala di miliardi
- Scalabilità su Multi-replica
Informazioni sul dataset
Inoltre, ci sono sei dataset utilizzati per i benchmark:
- Quattro (4) dataset da ann-benchmarks sono stati utilizzati per valutare le prestazioni di ricerca delle diverse versioni di Milvus.
- Due (2) dataset su scala di miliardi (BIGANN e LAION-5B di LAION) sono stati utilizzati per valutare la scalabilità di Milvus 2.2.3.
Risultati
Latenza di ricerca ANN
Con Milvus 2.2.3 abbiamo ottenuto una riduzione di 2,5 volte della latenza di ricerca rispetto alla versione originale Milvus 2.0.0.
Latenza di ricerca di Milvus 2.0.0, 2.2.0 e 2.2.3.png
Throughput di ricerca ANN
Abbiamo osservato un aumento di 4,5 volte del QPS con Milvus 2.2.3 rispetto alla 2.0.0.
QPS di Milvus 2.0.0, 2.2.9 e 2.2.3.png
Scala di miliardi
Un cluster Milvus 2.2.3 scalato orizzontalmente ha mostrato un degrado delle prestazioni minimo sia nella latenza di ricerca sia nel QPS.
Latenza e QPS di diverse dimensioni di cluster | Milvus.png
Multi-replica (Scalabilità lineare)
Milvus 2.2.3 ha mostrato una scalabilità lineare quando si utilizzano più repliche.
Latenza e QPS al raddoppio del numero di repliche | Milvus.png
Riepilogo
Incoraggiamo vivamente gli sviluppatori a eseguire questi benchmark per verificare in modo indipendente i risultati sull'ambiente e sui set di dati di loro scelta.
Cosa c'è dopo?
- Scarica il documento tecnico dettagliato: "Valutazione delle prestazioni di Milvus 2023."
- Iscriviti e inizia con Zilliz Cloud.
- Unisciti a noi nella Community Slack!
Continua a leggere
We spent 8 years making vector databases faster. Then we stopped.
Rarely queried embeddings still need to stay searchable. See how Vector Lakebase enables on-demand vector search without always-on compute costs.
Why Not All VectorDBs Are Agent-Ready
Explore why choosing the right vector database is critical for scaling AI agents, and why traditional solutions fall short in production.
Legal Document Analysis: Harnessing Zilliz Cloud's Semantic Search and RAG for Legal Insights
Enhance legal document analysis with Zilliz Cloud’s Semantic Search and RAG. Improve accuracy, efficiency, and scalability for contracts, case law, and compliance.