Valutazione delle prestazioni di Milvus 2023
In Zilliz, gli sviluppatori spesso ci chiedono: "Come si confronta Milvus con le versioni precedenti per i workload di embedding?" Ci sono due motivi principali per questo. In primo luogo, gli sviluppatori che avviano un nuovo progetto sono desiderosi di utilizzare le versioni software più recenti per accedere alle funzionalità più aggiornate, ma potrebbero esitare a causa di preoccupazioni riguardo a un degrado delle prestazioni. In secondo luogo, anche gli utenti attuali potrebbero avere preoccupazioni sulle prestazioni e aggiorneranno solo se le nuove capacità risulteranno interessanti.
Per alleviare queste preoccupazioni, vorremmo condividere gli ultimi benchmark condotti su Milvus v2.2.3 rispetto a Milvus 2.2.0 e Milvus v2.0.0, confrontando le latenze di ricerca e il throughput su quattro dataset ben noti (DEPP, GIST, GloVe e SIFT). I benchmark hanno mostrato che Milvus v2.2.3 supera v2.2.0 e v2.0.0, migliorando significativamente le velocità di ricerca e indicizzazione. Nello specifico, in Milvus 2.2.3, abbiamo ottenuto una riduzione di 2,5 volte della latenza di ricerca rispetto alla versione originale Milvus 2.0.0. Inoltre, i nostri test in un ambiente identico hanno mostrato un aumento di 4,5 volte del QPS con Milvus 2.2.3 rispetto alla 2.0.0.
Abbiamo ritenuto che questi dati si sarebbero rivelati preziosi per gli ingegneri che valutano l'idoneità dell'ultima versione di Milvus per i loro casi d'uso di ricerca per similarità; scarica il white paper tecnico "Milvus Performance Evaluation 2023" per leggere la Metodologia e i Risultati della valutazione.
Il nostro obiettivo principale era creare un confronto coerente e aggiornato che riflettesse gli ultimi sviluppi di Milvus. Rieseguiremo periodicamente questi e altri benchmark di database vettoriali e aggiorneremo il nostro white paper tecnico dettagliato con i risultati. Tutto il codice per questi benchmark è disponibile su Github. Sentiti libero di aprire issue o pull request su quel repository se hai domande, commenti o suggerimenti.
Versioni testate
- Milvus v2.2.3 | data di rilascio: 10 febbraio 2023
- Milvus v2.2.2 | data di rilascio: 18 novembre 2022
- Milvus v2.0.0 | data di rilascio: 25 gennaio 2022
Abbiamo identificato le caratteristiche più comunemente valutate per lavorare con gli embedding nella creazione di una suite di benchmark rappresentativa. Abbiamo esaminato le prestazioni su:
- Latenza delle query – misurata in millisecondi
- QOS – query al secondo
- Latenza vs. Throughput
- Scalabilità su scala di miliardi
- Scalabilità su Multi-replica
Informazioni sul dataset
Inoltre, ci sono sei dataset utilizzati per i benchmark:
- Quattro (4) dataset da ann-benchmarks sono stati utilizzati per valutare le prestazioni di ricerca delle diverse versioni di Milvus.
- Due (2) dataset su scala di miliardi (BIGANN e LAION-5B di LAION) sono stati utilizzati per valutare la scalabilità di Milvus 2.2.3.
Risultati
Latenza di ricerca ANN
Con Milvus 2.2.3 abbiamo ottenuto una riduzione di 2,5 volte della latenza di ricerca rispetto alla versione originale Milvus 2.0.0.
Latenza di ricerca di Milvus 2.0.0, 2.2.0 e 2.2.3.png
Throughput di ricerca ANN
Abbiamo osservato un aumento di 4,5 volte del QPS con Milvus 2.2.3 rispetto alla 2.0.0.
QPS di Milvus 2.0.0, 2.2.9 e 2.2.3.png
Scala di miliardi
Un cluster Milvus 2.2.3 scalato orizzontalmente ha mostrato un degrado delle prestazioni minimo sia nella latenza di ricerca sia nel QPS.
Latenza e QPS di diverse dimensioni di cluster | Milvus.png
Multi-replica (Scalabilità lineare)
Milvus 2.2.3 ha mostrato una scalabilità lineare quando si utilizzano più repliche.
Latenza e QPS al raddoppio del numero di repliche | Milvus.png
Riepilogo
Incoraggiamo vivamente gli sviluppatori a eseguire questi benchmark per verificare in modo indipendente i risultati sull'ambiente e sui set di dati di loro scelta.
Cosa c'è dopo?
- Scarica il documento tecnico dettagliato: "Valutazione delle prestazioni di Milvus 2023."
- Iscriviti e inizia con Zilliz Cloud.
- Unisciti a noi nella Community Slack!
Continua a leggere
Notion's Vector Search Is Excellent. Their Next Problem Is Harder.
Notion solved vector search scaling in two years. The next bottleneck — offline context engineering, unified data, and the real-time/offline gap — is harder.
How to Install and Run OpenClaw (Previously Clawdbot/Moltbot) on Mac
Turn your Mac into an AI gateway for WhatsApp, Telegram, Discord, iMessage, and more — in under 5 minutes.
Zilliz Cloud Launches in AWS Australia, Expanding Global Reach to Australia and Neighboring Markets
We're thrilled to announce that Zilliz Cloud is now available in the AWS Sydney, Australia region (ap-southeast-2).