Milvus-Leistungsbewertung 2023
Bei Zilliz fragen uns Entwickler häufig: "Wie schneidet Milvus im Vergleich zu früheren Versionen für Embedding-Workloads ab?" Dafür gibt es zwei Hauptgründe. Erstens möchten Entwickler, die ein neues Projekt starten, gerne die neuesten Softwareversionen nutzen, um auf die neuesten Funktionen zugreifen zu können, zögern aber möglicherweise aufgrund von Bedenken hinsichtlich einer Leistungsverschlechterung. Zweitens können auch aktuelle Nutzer Leistungsbedenken haben und werden nur dann ein Upgrade durchführen, wenn die neuen Funktionen attraktiv sind.
Um diese Bedenken auszuräumen, möchten wir die neuesten Benchmarks teilen, die mit Milvus v2.2.3 im Vergleich zu Milvus 2.2.0 und Milvus v2.0.0 durchgeführt wurden und die Suchlatenzen sowie den Durchsatz über vier bekannte Datensätze (DEPP, GIST, GloVe und SIFT) hinweg vergleichen. Die Benchmarks zeigten, dass Milvus v2.2.3 v2.2.0 und v2.0.0 übertrifft und die Such- und Indexierungsgeschwindigkeiten deutlich verbessert. Konkret haben wir in Milvus 2.2.3 eine 2,5-fache Reduzierung der Suchlatenz im Vergleich zur ursprünglichen Veröffentlichung von Milvus 2.0.0 erreicht. Darüber hinaus zeigte unser Test in einer identischen Umgebung eine 4,5-fache Steigerung der QPS mit Milvus 2.2.3 im Vergleich zu 2.0.0.
Wir waren der Ansicht, dass diese Daten für Ingenieure wertvoll sein würden, die die Eignung der neuesten Version von Milvus für ihre Anwendungsfälle der Ähnlichkeitssuche bewerten; Laden Sie das technische Whitepaper "Milvus Performance Evaluation 2023" herunter, um die Methodik und die Bewertungsergebnisse zu lesen.
Unser übergeordnetes Ziel war es, einen konsistenten, aktuellen Vergleich zu erstellen, der die neuesten Entwicklungen von Milvus widerspiegelt. Wir werden diese und andere Vektordatenbank-Benchmarks regelmäßig erneut durchführen und unser ausführliches technisches Whitepaper mit unseren Erkenntnissen aktualisieren. Der gesamte Code für diese Benchmarks ist auf Github verfügbar. Öffnen Sie gerne Issues oder Pull Requests in diesem Repository, wenn Sie Fragen, Kommentare oder Vorschläge haben.
Getestete Versionen
- Milvus v2.2.3 | Veröffentlichungsdatum: 10. Februar 2023
- Milvus v2.2.2 | Veröffentlichungsdatum: 18. November 2022
- Milvus v2.0.0 | Veröffentlichungsdatum: 25. Januar 2022
Wir haben die am häufigsten bewerteten Merkmale für die Arbeit mit Embeddings identifiziert, um eine repräsentative Benchmark-Suite aufzubauen. Wir betrachteten die Leistung in Bezug auf:
- Abfragelatenz – gemessen in Millisekunden
- QOS – Abfragen pro Sekunde
- Latenz vs. Durchsatz
- Skalierbarkeit im Milliardenmaßstab
- Skalierbarkeit mit mehreren Replikaten
Über den Datensatz
Darüber hinaus werden sechs Datensätze für die Benchmarks verwendet:
- Vier (4) Datensätze aus ann-benchmarks wurden verwendet, um die Suchleistung der verschiedenen Milvus-Versionen zu bewerten.
- Zwei (2) Datensätze im Milliardenmaßstab (BIGANN und LAIONs LAION-5B) wurden verwendet, um die Skalierbarkeit von Milvus 2.2.3 zu bewerten.
Ergebnisse
ANN-Suchlatenz
Mit Milvus 2.2.3 haben wir eine 2,5-fache Reduzierung der Suchlatenz im Vergleich zur ursprünglichen Veröffentlichung von Milvus 2.0.0 erreicht.
Suchlatenz von Milvus 2.0.0, 2.2.0 und 2.2.3.png
ANN-Suchdurchsatz
Wir sahen eine 4,5-fache Steigerung der QPS mit Milvus 2.2.3 im Vergleich zu 2.0.0.
QPS von Milvus 2.0.0, 2.2.9 und 2.2.3.png
Milliardenmaßstab
Ein skalierter Milvus-2.2.3-Cluster zeigte nur eine geringe Leistungsverschlechterung sowohl bei der Suchlatenz als auch bei QPS.
Latenz und QPS verschiedener Clustergrößen | Milvus.png
Multi-Replikat (Lineare Skalierbarkeit)
Milvus 2.2.3 zeigte lineare Skalierbarkeit bei der Verwendung mehrerer Replikate.
Latenz und QPS bei Verdopplung der Replikatanzahl | Milvus.png
Zusammenfassung
Wir empfehlen Entwicklern ausdrücklich, diese Benchmarks auszuführen, um die Ergebnisse unabhängig in der Umgebung und mit den Datensätzen ihrer Wahl zu überprüfen.
Was kommt als Nächstes?
- Laden Sie das ausführliche technische Paper herunter: "Milvus Performance Evaluation 2023."
- Registrieren Sie sich und legen Sie los mit Zilliz Cloud.
- Treten Sie unserer Slack Community bei!
Weiterlesen
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Context Engineering Strategies for AI Agents: A Developer’s Guide
Learn practical context engineering strategies for AI agents. Explore frameworks, tools, and techniques to improve reliability, efficiency, and cost.
Vector Databases vs. Time Series Databases
Use a vector database for similarity search and semantic relationships; use a time series database for tracking value changes over time.