Évaluation des performances de Milvus 2023

Mar 18, 20232 min read

Chez Zilliz, les développeurs nous demandent souvent : "Comment Milvus se compare-t-il aux versions précédentes pour les charges de travail d'embedding ?" Il y a deux raisons principales à cela. Premièrement, les développeurs qui démarrent un nouveau projet sont désireux d'utiliser les dernières versions logicielles pour accéder aux dernières fonctionnalités, mais peuvent hésiter en raison de préoccupations liées à une dégradation des performances. Deuxièmement, les utilisateurs actuels peuvent également avoir des préoccupations concernant les performances et ne procéderont à une mise à niveau que si les nouvelles capacités sont attrayantes.

Pour apaiser ces préoccupations, nous souhaitons partager les derniers benchmarks réalisés sur Milvus v2.2.3 vs. Milvus 2.2.0 et Milvus v2.0.0, comparant les latences de recherche et le débit sur quatre jeux de données bien connus (DEPP, GIST, GloVe et SIFT). Les benchmarks ont montré que Milvus v2.2.3 surpasse v2.2.0 et v2.0.0, améliorant considérablement les vitesses de recherche et d'indexation. Plus précisément, dans Milvus 2.2.3, nous avons obtenu une réduction de 2,5x de la latence de recherche par rapport à la version initiale Milvus 2.0.0. De plus, nos tests dans un environnement identique ont montré une augmentation de 4,5x du QPS avec Milvus 2.2.3 par rapport à 2.0.0.

Nous avons estimé que ces données seraient précieuses pour les ingénieurs évaluant l'adéquation de la dernière version de Milvus à leurs cas d'utilisation de recherche de similarité ; téléchargez le livre blanc technique "Milvus Performance Evaluation 2023" pour lire la Méthodologie et les Résultats d'évaluation.

Notre objectif principal était de créer une comparaison cohérente et à jour qui reflète les derniers développements de Milvus. Nous relancerons périodiquement ces benchmarks et d'autres benchmarks de bases de données vectorielles et mettrons à jour notre livre blanc technique détaillé avec nos conclusions. Tout le code de ces benchmarks est disponible sur Github. N'hésitez pas à ouvrir des issues ou des pull requests sur ce référentiel si vous avez des questions, des commentaires ou des suggestions.

Versions testées

Nous avons identifié les caractéristiques les plus couramment évaluées pour travailler avec des embeddings afin de constituer une suite de benchmarks représentative. Nous avons examiné les performances selon :

  • Latence des requêtes – mesurée en millisecondes
  • QOS – requêtes par seconde
  • Latence vs. Débit
  • Scalabilité à l'échelle du milliard
  • Scalabilité sur plusieurs réplicas

À propos du jeu de données

De plus, six jeux de données sont utilisés pour les benchmarks :

  • Quatre (4) jeux de données provenant de ann-benchmarks ont été utilisés pour évaluer les performances de recherche des différentes versions de Milvus.
  • Deux (2) jeux de données à l'échelle du milliard (BIGANN et LAION-5B de LAION) ont été utilisés pour évaluer la scalabilité de Milvus 2.2.3.

Résultats

Latence de recherche ANN

Avec Milvus 2.2.3, nous avons obtenu une réduction de 2,5x de la latence de recherche par rapport à la version initiale Milvus 2.0.0. Latence de recherche de Milvus 2.0.0, 2.2.0 et 2.2.3.png Latence de recherche de Milvus 2.0.0, 2.2.0 et 2.2.3.png

Débit de recherche ANN

Nous avons constaté une augmentation de 4,5x du QPS avec Milvus 2.2.3 par rapport à 2.0.0. QPS de Milvus 2.0.0, 2.2.9 et 2.2.3.png QPS de Milvus 2.0.0, 2.2.9 et 2.2.3.png

Échelle du milliard

Un cluster Milvus 2.2.3 mis à l'échelle horizontalement a montré peu de dégradation des performances, tant en latence de recherche qu'en QPS. Latence et QPS de différentes tailles de cluster | Milvus.png Latence et QPS de différentes tailles de cluster | Milvus.png

Multi-réplicat (Évolutivité linéaire)

Milvus 2.2.3 a montré une évolutivité linéaire lors de l’utilisation de plusieurs réplicas. Latence et QPS lorsque le nombre de réplicas double | Milvus.png Latence et QPS lorsque le nombre de réplicas double | Milvus.png

Résumé

Nous encourageons vivement les développeurs à exécuter ces benchmarks afin de vérifier indépendamment les résultats dans l’environnement et avec les jeux de données de leur choix.

Et ensuite ?

Mis à jour le Jul 09, 2026