Milvus-Leistungsbewertung 2023

Mar 18, 20232 min read

Bei Zilliz fragen uns Entwickler häufig: "Wie schneidet Milvus im Vergleich zu früheren Versionen für Embedding-Workloads ab?" Dafür gibt es zwei Hauptgründe. Erstens möchten Entwickler, die ein neues Projekt starten, gerne die neuesten Softwareversionen nutzen, um auf die neuesten Funktionen zugreifen zu können, zögern aber möglicherweise aufgrund von Bedenken hinsichtlich einer Leistungsverschlechterung. Zweitens können auch aktuelle Nutzer Leistungsbedenken haben und werden nur dann ein Upgrade durchführen, wenn die neuen Funktionen attraktiv sind.

Um diese Bedenken auszuräumen, möchten wir die neuesten Benchmarks teilen, die mit Milvus v2.2.3 im Vergleich zu Milvus 2.2.0 und Milvus v2.0.0 durchgeführt wurden und die Suchlatenzen sowie den Durchsatz über vier bekannte Datensätze (DEPP, GIST, GloVe und SIFT) hinweg vergleichen. Die Benchmarks zeigten, dass Milvus v2.2.3 v2.2.0 und v2.0.0 übertrifft und die Such- und Indexierungsgeschwindigkeiten deutlich verbessert. Konkret haben wir in Milvus 2.2.3 eine 2,5-fache Reduzierung der Suchlatenz im Vergleich zur ursprünglichen Veröffentlichung von Milvus 2.0.0 erreicht. Darüber hinaus zeigte unser Test in einer identischen Umgebung eine 4,5-fache Steigerung der QPS mit Milvus 2.2.3 im Vergleich zu 2.0.0.

Wir waren der Ansicht, dass diese Daten für Ingenieure wertvoll sein würden, die die Eignung der neuesten Version von Milvus für ihre Anwendungsfälle der Ähnlichkeitssuche bewerten; Laden Sie das technische Whitepaper "Milvus Performance Evaluation 2023" herunter, um die Methodik und die Bewertungsergebnisse zu lesen.

Unser übergeordnetes Ziel war es, einen konsistenten, aktuellen Vergleich zu erstellen, der die neuesten Entwicklungen von Milvus widerspiegelt. Wir werden diese und andere Vektordatenbank-Benchmarks regelmäßig erneut durchführen und unser ausführliches technisches Whitepaper mit unseren Erkenntnissen aktualisieren. Der gesamte Code für diese Benchmarks ist auf Github verfügbar. Öffnen Sie gerne Issues oder Pull Requests in diesem Repository, wenn Sie Fragen, Kommentare oder Vorschläge haben.

Getestete Versionen

Wir haben die am häufigsten bewerteten Merkmale für die Arbeit mit Embeddings identifiziert, um eine repräsentative Benchmark-Suite aufzubauen. Wir betrachteten die Leistung in Bezug auf:

  • Abfragelatenz – gemessen in Millisekunden
  • QOS – Abfragen pro Sekunde
  • Latenz vs. Durchsatz
  • Skalierbarkeit im Milliardenmaßstab
  • Skalierbarkeit mit mehreren Replikaten

Über den Datensatz

Darüber hinaus werden sechs Datensätze für die Benchmarks verwendet:

  • Vier (4) Datensätze aus ann-benchmarks wurden verwendet, um die Suchleistung der verschiedenen Milvus-Versionen zu bewerten.
  • Zwei (2) Datensätze im Milliardenmaßstab (BIGANN und LAIONs LAION-5B) wurden verwendet, um die Skalierbarkeit von Milvus 2.2.3 zu bewerten.

Ergebnisse

ANN-Suchlatenz

Mit Milvus 2.2.3 haben wir eine 2,5-fache Reduzierung der Suchlatenz im Vergleich zur ursprünglichen Veröffentlichung von Milvus 2.0.0 erreicht. Suchlatenz von Milvus 2.0.0, 2.2.0 und 2.2.3.png Suchlatenz von Milvus 2.0.0, 2.2.0 und 2.2.3.png

ANN-Suchdurchsatz

Wir sahen eine 4,5-fache Steigerung der QPS mit Milvus 2.2.3 im Vergleich zu 2.0.0. QPS von Milvus 2.0.0, 2.2.9 und 2.2.3.png QPS von Milvus 2.0.0, 2.2.9 und 2.2.3.png

Milliardenmaßstab

Ein skalierter Milvus-2.2.3-Cluster zeigte nur eine geringe Leistungsverschlechterung sowohl bei der Suchlatenz als auch bei QPS. Latenz und QPS verschiedener Clustergrößen | Milvus.png Latenz und QPS verschiedener Clustergrößen | Milvus.png

Multi-Replikat (Lineare Skalierbarkeit)

Milvus 2.2.3 zeigte lineare Skalierbarkeit bei der Verwendung mehrerer Replikate. Latenz und QPS bei Verdopplung der Replikatanzahl | Milvus.png Latenz und QPS bei Verdopplung der Replikatanzahl | Milvus.png

Zusammenfassung

Wir empfehlen Entwicklern ausdrücklich, diese Benchmarks auszuführen, um die Ergebnisse unabhängig in der Umgebung und mit den Datensätzen ihrer Wahl zu überprüfen.

Was kommt als Nächstes?

Aktualisiert am Jul 09, 2026