Evaluación de rendimiento de Milvus 2023

Mar 18, 20232 min read

En Zilliz, los desarrolladores a menudo nos preguntan: "¿Cómo se compara Milvus con versiones anteriores para cargas de trabajo de embeddings?" Hay dos razones principales para esto. En primer lugar, los desarrolladores que comienzan un nuevo proyecto están ansiosos por usar las versiones de software más recientes para acceder a las últimas funcionalidades, pero pueden dudar debido a preocupaciones sobre la degradación del rendimiento. En segundo lugar, los usuarios actuales también pueden tener preocupaciones sobre el rendimiento y solo actualizarán si las nuevas capacidades son atractivas.

Para aliviar estas preocupaciones, nos gustaría compartir los benchmarks más recientes realizados en Milvus v2.2.3 frente a Milvus 2.2.0 y Milvus v2.0.0, comparando las latencias de búsqueda y el throughput en cuatro conjuntos de datos conocidos (DEPP, GIST, GloVe y SIFT). Los benchmarks mostraron que Milvus v2.2.3 supera a v2.2.0 y v2.0.0, mejorando significativamente las velocidades de búsqueda e indexación. Específicamente, en Milvus 2.2.3, logramos una reducción de 2.5x en la latencia de búsqueda en comparación con la versión original de Milvus 2.0.0. Además, nuestras pruebas en un entorno idéntico mostraron un aumento de 4.5x en QPS con Milvus 2.2.3 en comparación con 2.0.0.

Consideramos que estos datos resultarían valiosos para los ingenieros que evalúan la idoneidad de la última versión de Milvus para sus casos de uso de búsqueda por similitud; descarga el documento técnico "Evaluación de rendimiento de Milvus 2023" para leer la Metodología y los Resultados de la evaluación.

Nuestro objetivo principal fue crear una comparación coherente y actualizada que refleje los últimos desarrollos de Milvus. Volveremos a ejecutar periódicamente estos y otros benchmarks de bases de datos vectoriales y actualizaremos nuestro documento técnico detallado con nuestros hallazgos. Todo el código de estos benchmarks está disponible en Github. No dudes en abrir issues o pull requests en ese repositorio si tienes alguna pregunta, comentario o sugerencia.

Versiones probadas

Identificamos las características evaluadas con mayor frecuencia al trabajar con embeddings para crear un conjunto de benchmarks representativo. Analizamos el rendimiento en:

  • Latencia de consulta – medida en milisegundos
  • QOS – consultas por segundo
  • Latencia vs. Throughput
  • Escalabilidad a escala de miles de millones
  • Escalabilidad en múltiples réplicas

Acerca del conjunto de datos

Además, hay seis conjuntos de datos utilizados para los benchmarks:

  • Se utilizaron cuatro (4) conjuntos de datos de ann-benchmarks para evaluar el rendimiento de búsqueda de las diferentes versiones de Milvus.
  • Se utilizaron dos (2) conjuntos de datos a escala de miles de millones (BIGANN y LAION-5B de LAION) para evaluar la escalabilidad de Milvus 2.2.3.

Resultados

Latencia de búsqueda ANN

Con Milvus 2.2.3 logramos una reducción de 2.5x en la latencia de búsqueda en comparación con la versión original de Milvus 2.0.0. Latencia de búsqueda de Milvus 2.0.0, 2.2.0 y 2.2.3.png Latencia de búsqueda de Milvus 2.0.0, 2.2.0 y 2.2.3.png

Throughput de búsqueda ANN

Vimos un aumento de 4.5x en QPS con Milvus 2.2.3 en comparación con 2.0.0. QPS de Milvus 2.0.0, 2.2.9 y 2.2.3.png QPS de Milvus 2.0.0, 2.2.9 y 2.2.3.png

Escala de miles de millones

Un clúster Milvus 2.2.3 escalado horizontalmente mostró poca degradación del rendimiento tanto en la latencia de búsqueda como en QPS. Latencia y QPS de diferentes tamaños de clúster | Milvus.png Latencia y QPS de diferentes tamaños de clúster | Milvus.png

Multirréplica (escalabilidad lineal)

Milvus 2.2.3 mostró escalabilidad lineal al usar múltiples réplicas. Latencia y QPS al duplicarse el número de réplicas | Milvus.png Latencia y QPS al duplicarse el número de réplicas | Milvus.png

Resumen

Recomendamos encarecidamente a los desarrolladores ejecutar estos benchmarks para verificar de forma independiente los resultados en el entorno y los conjuntos de datos de su elección.

¿Qué sigue?

Actualizado el Jul 09, 2026