Milvus-Leistungsbewertung 2023
Bei Zilliz fragen uns Entwickler häufig: "Wie schneidet Milvus im Vergleich zu früheren Versionen für Embedding-Workloads ab?" Dafür gibt es zwei Hauptgründe. Erstens möchten Entwickler, die ein neues Projekt starten, gerne die neuesten Softwareversionen nutzen, um auf die neuesten Funktionen zugreifen zu können, zögern aber möglicherweise aufgrund von Bedenken hinsichtlich einer Leistungsverschlechterung. Zweitens können auch aktuelle Nutzer Leistungsbedenken haben und werden nur dann ein Upgrade durchführen, wenn die neuen Funktionen attraktiv sind.
Um diese Bedenken auszuräumen, möchten wir die neuesten Benchmarks teilen, die mit Milvus v2.2.3 im Vergleich zu Milvus 2.2.0 und Milvus v2.0.0 durchgeführt wurden und die Suchlatenzen sowie den Durchsatz über vier bekannte Datensätze (DEPP, GIST, GloVe und SIFT) hinweg vergleichen. Die Benchmarks zeigten, dass Milvus v2.2.3 v2.2.0 und v2.0.0 übertrifft und die Such- und Indexierungsgeschwindigkeiten deutlich verbessert. Konkret haben wir in Milvus 2.2.3 eine 2,5-fache Reduzierung der Suchlatenz im Vergleich zur ursprünglichen Veröffentlichung von Milvus 2.0.0 erreicht. Darüber hinaus zeigte unser Test in einer identischen Umgebung eine 4,5-fache Steigerung der QPS mit Milvus 2.2.3 im Vergleich zu 2.0.0.
Wir waren der Ansicht, dass diese Daten für Ingenieure wertvoll sein würden, die die Eignung der neuesten Version von Milvus für ihre Anwendungsfälle der Ähnlichkeitssuche bewerten; Laden Sie das technische Whitepaper "Milvus Performance Evaluation 2023" herunter, um die Methodik und die Bewertungsergebnisse zu lesen.
Unser übergeordnetes Ziel war es, einen konsistenten, aktuellen Vergleich zu erstellen, der die neuesten Entwicklungen von Milvus widerspiegelt. Wir werden diese und andere Vektordatenbank-Benchmarks regelmäßig erneut durchführen und unser ausführliches technisches Whitepaper mit unseren Erkenntnissen aktualisieren. Der gesamte Code für diese Benchmarks ist auf Github verfügbar. Öffnen Sie gerne Issues oder Pull Requests in diesem Repository, wenn Sie Fragen, Kommentare oder Vorschläge haben.
Getestete Versionen
- Milvus v2.2.3 | Veröffentlichungsdatum: 10. Februar 2023
- Milvus v2.2.2 | Veröffentlichungsdatum: 18. November 2022
- Milvus v2.0.0 | Veröffentlichungsdatum: 25. Januar 2022
Wir haben die am häufigsten bewerteten Merkmale für die Arbeit mit Embeddings identifiziert, um eine repräsentative Benchmark-Suite aufzubauen. Wir betrachteten die Leistung in Bezug auf:
- Abfragelatenz – gemessen in Millisekunden
- QOS – Abfragen pro Sekunde
- Latenz vs. Durchsatz
- Skalierbarkeit im Milliardenmaßstab
- Skalierbarkeit mit mehreren Replikaten
Über den Datensatz
Darüber hinaus werden sechs Datensätze für die Benchmarks verwendet:
- Vier (4) Datensätze aus ann-benchmarks wurden verwendet, um die Suchleistung der verschiedenen Milvus-Versionen zu bewerten.
- Zwei (2) Datensätze im Milliardenmaßstab (BIGANN und LAIONs LAION-5B) wurden verwendet, um die Skalierbarkeit von Milvus 2.2.3 zu bewerten.
Ergebnisse
ANN-Suchlatenz
Mit Milvus 2.2.3 haben wir eine 2,5-fache Reduzierung der Suchlatenz im Vergleich zur ursprünglichen Veröffentlichung von Milvus 2.0.0 erreicht.
Suchlatenz von Milvus 2.0.0, 2.2.0 und 2.2.3.png
ANN-Suchdurchsatz
Wir sahen eine 4,5-fache Steigerung der QPS mit Milvus 2.2.3 im Vergleich zu 2.0.0.
QPS von Milvus 2.0.0, 2.2.9 und 2.2.3.png
Milliardenmaßstab
Ein skalierter Milvus-2.2.3-Cluster zeigte nur eine geringe Leistungsverschlechterung sowohl bei der Suchlatenz als auch bei QPS.
Latenz und QPS verschiedener Clustergrößen | Milvus.png
Multi-Replikat (Lineare Skalierbarkeit)
Milvus 2.2.3 zeigte lineare Skalierbarkeit bei der Verwendung mehrerer Replikate.
Latenz und QPS bei Verdopplung der Replikatanzahl | Milvus.png
Zusammenfassung
Wir empfehlen Entwicklern ausdrücklich, diese Benchmarks auszuführen, um die Ergebnisse unabhängig in der Umgebung und mit den Datensätzen ihrer Wahl zu überprüfen.
Was kommt als Nächstes?
- Laden Sie das ausführliche technische Paper herunter: "Milvus Performance Evaluation 2023."
- Registrieren Sie sich und legen Sie los mit Zilliz Cloud.
- Treten Sie unserer Slack Community bei!
Weiterlesen
Milvus 2.6.x Now Generally Available on Zilliz Cloud, Making Vector Search Faster, Smarter, and More Cost-Efficient for Production AI
Milvus 2.6.x is now GA on Zilliz Cloud, delivering faster vector search, smarter hybrid queries, and lower costs for production RAG and AI applications.
Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes
This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.
Legal Document Analysis: Harnessing Zilliz Cloud's Semantic Search and RAG for Legal Insights
Enhance legal document analysis with Zilliz Cloud’s Semantic Search and RAG. Improve accuracy, efficiency, and scalability for contracts, case law, and compliance.