Milvus-Leistungsbewertung 2023
Bei Zilliz fragen uns Entwickler häufig: "Wie schneidet Milvus im Vergleich zu früheren Versionen für Embedding-Workloads ab?" Dafür gibt es zwei Hauptgründe. Erstens möchten Entwickler, die ein neues Projekt starten, gerne die neuesten Softwareversionen nutzen, um auf die neuesten Funktionen zugreifen zu können, zögern aber möglicherweise aufgrund von Bedenken hinsichtlich einer Leistungsverschlechterung. Zweitens können auch aktuelle Nutzer Leistungsbedenken haben und werden nur dann ein Upgrade durchführen, wenn die neuen Funktionen attraktiv sind.
Um diese Bedenken auszuräumen, möchten wir die neuesten Benchmarks teilen, die mit Milvus v2.2.3 im Vergleich zu Milvus 2.2.0 und Milvus v2.0.0 durchgeführt wurden und die Suchlatenzen sowie den Durchsatz über vier bekannte Datensätze (DEPP, GIST, GloVe und SIFT) hinweg vergleichen. Die Benchmarks zeigten, dass Milvus v2.2.3 v2.2.0 und v2.0.0 übertrifft und die Such- und Indexierungsgeschwindigkeiten deutlich verbessert. Konkret haben wir in Milvus 2.2.3 eine 2,5-fache Reduzierung der Suchlatenz im Vergleich zur ursprünglichen Veröffentlichung von Milvus 2.0.0 erreicht. Darüber hinaus zeigte unser Test in einer identischen Umgebung eine 4,5-fache Steigerung der QPS mit Milvus 2.2.3 im Vergleich zu 2.0.0.
Wir waren der Ansicht, dass diese Daten für Ingenieure wertvoll sein würden, die die Eignung der neuesten Version von Milvus für ihre Anwendungsfälle der Ähnlichkeitssuche bewerten; Laden Sie das technische Whitepaper "Milvus Performance Evaluation 2023" herunter, um die Methodik und die Bewertungsergebnisse zu lesen.
Unser übergeordnetes Ziel war es, einen konsistenten, aktuellen Vergleich zu erstellen, der die neuesten Entwicklungen von Milvus widerspiegelt. Wir werden diese und andere Vektordatenbank-Benchmarks regelmäßig erneut durchführen und unser ausführliches technisches Whitepaper mit unseren Erkenntnissen aktualisieren. Der gesamte Code für diese Benchmarks ist auf Github verfügbar. Öffnen Sie gerne Issues oder Pull Requests in diesem Repository, wenn Sie Fragen, Kommentare oder Vorschläge haben.
Getestete Versionen
- Milvus v2.2.3 | Veröffentlichungsdatum: 10. Februar 2023
- Milvus v2.2.2 | Veröffentlichungsdatum: 18. November 2022
- Milvus v2.0.0 | Veröffentlichungsdatum: 25. Januar 2022
Wir haben die am häufigsten bewerteten Merkmale für die Arbeit mit Embeddings identifiziert, um eine repräsentative Benchmark-Suite aufzubauen. Wir betrachteten die Leistung in Bezug auf:
- Abfragelatenz – gemessen in Millisekunden
- QOS – Abfragen pro Sekunde
- Latenz vs. Durchsatz
- Skalierbarkeit im Milliardenmaßstab
- Skalierbarkeit mit mehreren Replikaten
Über den Datensatz
Darüber hinaus werden sechs Datensätze für die Benchmarks verwendet:
- Vier (4) Datensätze aus ann-benchmarks wurden verwendet, um die Suchleistung der verschiedenen Milvus-Versionen zu bewerten.
- Zwei (2) Datensätze im Milliardenmaßstab (BIGANN und LAIONs LAION-5B) wurden verwendet, um die Skalierbarkeit von Milvus 2.2.3 zu bewerten.
Ergebnisse
ANN-Suchlatenz
Mit Milvus 2.2.3 haben wir eine 2,5-fache Reduzierung der Suchlatenz im Vergleich zur ursprünglichen Veröffentlichung von Milvus 2.0.0 erreicht.
Suchlatenz von Milvus 2.0.0, 2.2.0 und 2.2.3.png
ANN-Suchdurchsatz
Wir sahen eine 4,5-fache Steigerung der QPS mit Milvus 2.2.3 im Vergleich zu 2.0.0.
QPS von Milvus 2.0.0, 2.2.9 und 2.2.3.png
Milliardenmaßstab
Ein skalierter Milvus-2.2.3-Cluster zeigte nur eine geringe Leistungsverschlechterung sowohl bei der Suchlatenz als auch bei QPS.
Latenz und QPS verschiedener Clustergrößen | Milvus.png
Multi-Replikat (Lineare Skalierbarkeit)
Milvus 2.2.3 zeigte lineare Skalierbarkeit bei der Verwendung mehrerer Replikate.
Latenz und QPS bei Verdopplung der Replikatanzahl | Milvus.png
Zusammenfassung
Wir empfehlen Entwicklern ausdrücklich, diese Benchmarks auszuführen, um die Ergebnisse unabhängig in der Umgebung und mit den Datensätzen ihrer Wahl zu überprüfen.
Was kommt als Nächstes?
- Laden Sie das ausführliche technische Paper herunter: "Milvus Performance Evaluation 2023."
- Registrieren Sie sich und legen Sie los mit Zilliz Cloud.
- Treten Sie unserer Slack Community bei!
Weiterlesen
Zilliz Cloud Now Available in Azure North Europe: Bringing AI-Powered Vector Search Closer to European Customers
The addition of the Azure North Europe (Ireland) region further expands our global footprint to better serve our European customers.
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.