Valutazione delle prestazioni di Milvus 2023
In Zilliz, gli sviluppatori spesso ci chiedono: "Come si confronta Milvus con le versioni precedenti per i workload di embedding?" Ci sono due motivi principali per questo. In primo luogo, gli sviluppatori che avviano un nuovo progetto sono desiderosi di utilizzare le versioni software più recenti per accedere alle funzionalità più aggiornate, ma potrebbero esitare a causa di preoccupazioni riguardo a un degrado delle prestazioni. In secondo luogo, anche gli utenti attuali potrebbero avere preoccupazioni sulle prestazioni e aggiorneranno solo se le nuove capacità risulteranno interessanti.
Per alleviare queste preoccupazioni, vorremmo condividere gli ultimi benchmark condotti su Milvus v2.2.3 rispetto a Milvus 2.2.0 e Milvus v2.0.0, confrontando le latenze di ricerca e il throughput su quattro dataset ben noti (DEPP, GIST, GloVe e SIFT). I benchmark hanno mostrato che Milvus v2.2.3 supera v2.2.0 e v2.0.0, migliorando significativamente le velocità di ricerca e indicizzazione. Nello specifico, in Milvus 2.2.3, abbiamo ottenuto una riduzione di 2,5 volte della latenza di ricerca rispetto alla versione originale Milvus 2.0.0. Inoltre, i nostri test in un ambiente identico hanno mostrato un aumento di 4,5 volte del QPS con Milvus 2.2.3 rispetto alla 2.0.0.
Abbiamo ritenuto che questi dati si sarebbero rivelati preziosi per gli ingegneri che valutano l'idoneità dell'ultima versione di Milvus per i loro casi d'uso di ricerca per similarità; scarica il white paper tecnico "Milvus Performance Evaluation 2023" per leggere la Metodologia e i Risultati della valutazione.
Il nostro obiettivo principale era creare un confronto coerente e aggiornato che riflettesse gli ultimi sviluppi di Milvus. Rieseguiremo periodicamente questi e altri benchmark di database vettoriali e aggiorneremo il nostro white paper tecnico dettagliato con i risultati. Tutto il codice per questi benchmark è disponibile su Github. Sentiti libero di aprire issue o pull request su quel repository se hai domande, commenti o suggerimenti.
Versioni testate
- Milvus v2.2.3 | data di rilascio: 10 febbraio 2023
- Milvus v2.2.2 | data di rilascio: 18 novembre 2022
- Milvus v2.0.0 | data di rilascio: 25 gennaio 2022
Abbiamo identificato le caratteristiche più comunemente valutate per lavorare con gli embedding nella creazione di una suite di benchmark rappresentativa. Abbiamo esaminato le prestazioni su:
- Latenza delle query – misurata in millisecondi
- QOS – query al secondo
- Latenza vs. Throughput
- Scalabilità su scala di miliardi
- Scalabilità su Multi-replica
Informazioni sul dataset
Inoltre, ci sono sei dataset utilizzati per i benchmark:
- Quattro (4) dataset da ann-benchmarks sono stati utilizzati per valutare le prestazioni di ricerca delle diverse versioni di Milvus.
- Due (2) dataset su scala di miliardi (BIGANN e LAION-5B di LAION) sono stati utilizzati per valutare la scalabilità di Milvus 2.2.3.
Risultati
Latenza di ricerca ANN
Con Milvus 2.2.3 abbiamo ottenuto una riduzione di 2,5 volte della latenza di ricerca rispetto alla versione originale Milvus 2.0.0.
Latenza di ricerca di Milvus 2.0.0, 2.2.0 e 2.2.3.png
Throughput di ricerca ANN
Abbiamo osservato un aumento di 4,5 volte del QPS con Milvus 2.2.3 rispetto alla 2.0.0.
QPS di Milvus 2.0.0, 2.2.9 e 2.2.3.png
Scala di miliardi
Un cluster Milvus 2.2.3 scalato orizzontalmente ha mostrato un degrado delle prestazioni minimo sia nella latenza di ricerca sia nel QPS.
Latenza e QPS di diverse dimensioni di cluster | Milvus.png
Multi-replica (Scalabilità lineare)
Milvus 2.2.3 ha mostrato una scalabilità lineare quando si utilizzano più repliche.
Latenza e QPS al raddoppio del numero di repliche | Milvus.png
Riepilogo
Incoraggiamo vivamente gli sviluppatori a eseguire questi benchmark per verificare in modo indipendente i risultati sull'ambiente e sui set di dati di loro scelta.
Cosa c'è dopo?
- Scarica il documento tecnico dettagliato: "Valutazione delle prestazioni di Milvus 2023."
- Iscriviti e inizia con Zilliz Cloud.
- Unisciti a noi nella Community Slack!
Continua a leggere
Zilliz Cloud On-Demand Compute: Pay Only for What You Use
The customer case behind Zilliz Cloud On-Demand: how a $10K vector search bill came down to under $500, and the engineering changes that made it possible.
Expanding Our Global Reach: Zilliz Cloud Launches in Azure Central India
Zilliz Cloud expands to Azure Central India. This new region helps customers meet compliance, reduce latency, and optimize cloud costs when building AI applications.
Multimodal Pipelines for AI Applications
Learn how to build scalable multimodal AI pipelines using DataVolo and Milvus. Discover best practices for handling unstructured data and implementing RAG systems.