Evaluación de rendimiento de Milvus 2023
En Zilliz, los desarrolladores a menudo nos preguntan: "¿Cómo se compara Milvus con versiones anteriores para cargas de trabajo de embeddings?" Hay dos razones principales para esto. En primer lugar, los desarrolladores que comienzan un nuevo proyecto están ansiosos por usar las versiones de software más recientes para acceder a las últimas funcionalidades, pero pueden dudar debido a preocupaciones sobre la degradación del rendimiento. En segundo lugar, los usuarios actuales también pueden tener preocupaciones sobre el rendimiento y solo actualizarán si las nuevas capacidades son atractivas.
Para aliviar estas preocupaciones, nos gustaría compartir los benchmarks más recientes realizados en Milvus v2.2.3 frente a Milvus 2.2.0 y Milvus v2.0.0, comparando las latencias de búsqueda y el throughput en cuatro conjuntos de datos conocidos (DEPP, GIST, GloVe y SIFT). Los benchmarks mostraron que Milvus v2.2.3 supera a v2.2.0 y v2.0.0, mejorando significativamente las velocidades de búsqueda e indexación. Específicamente, en Milvus 2.2.3, logramos una reducción de 2.5x en la latencia de búsqueda en comparación con la versión original de Milvus 2.0.0. Además, nuestras pruebas en un entorno idéntico mostraron un aumento de 4.5x en QPS con Milvus 2.2.3 en comparación con 2.0.0.
Consideramos que estos datos resultarían valiosos para los ingenieros que evalúan la idoneidad de la última versión de Milvus para sus casos de uso de búsqueda por similitud; descarga el documento técnico "Evaluación de rendimiento de Milvus 2023" para leer la Metodología y los Resultados de la evaluación.
Nuestro objetivo principal fue crear una comparación coherente y actualizada que refleje los últimos desarrollos de Milvus. Volveremos a ejecutar periódicamente estos y otros benchmarks de bases de datos vectoriales y actualizaremos nuestro documento técnico detallado con nuestros hallazgos. Todo el código de estos benchmarks está disponible en Github. No dudes en abrir issues o pull requests en ese repositorio si tienes alguna pregunta, comentario o sugerencia.
Versiones probadas
- Milvus v2.2.3 | fecha de lanzamiento: 10 de febrero de 2023
- Milvus v2.2.2 | fecha de lanzamiento: 18 de noviembre de 2022
- Milvus v2.0.0 | fecha de lanzamiento: 25 de enero de 2022
Identificamos las características evaluadas con mayor frecuencia al trabajar con embeddings para crear un conjunto de benchmarks representativo. Analizamos el rendimiento en:
- Latencia de consulta – medida en milisegundos
- QOS – consultas por segundo
- Latencia vs. Throughput
- Escalabilidad a escala de miles de millones
- Escalabilidad en múltiples réplicas
Acerca del conjunto de datos
Además, hay seis conjuntos de datos utilizados para los benchmarks:
- Se utilizaron cuatro (4) conjuntos de datos de ann-benchmarks para evaluar el rendimiento de búsqueda de las diferentes versiones de Milvus.
- Se utilizaron dos (2) conjuntos de datos a escala de miles de millones (BIGANN y LAION-5B de LAION) para evaluar la escalabilidad de Milvus 2.2.3.
Resultados
Latencia de búsqueda ANN
Con Milvus 2.2.3 logramos una reducción de 2.5x en la latencia de búsqueda en comparación con la versión original de Milvus 2.0.0.
Latencia de búsqueda de Milvus 2.0.0, 2.2.0 y 2.2.3.png
Throughput de búsqueda ANN
Vimos un aumento de 4.5x en QPS con Milvus 2.2.3 en comparación con 2.0.0.
QPS de Milvus 2.0.0, 2.2.9 y 2.2.3.png
Escala de miles de millones
Un clúster Milvus 2.2.3 escalado horizontalmente mostró poca degradación del rendimiento tanto en la latencia de búsqueda como en QPS.
Latencia y QPS de diferentes tamaños de clúster | Milvus.png
Multirréplica (escalabilidad lineal)
Milvus 2.2.3 mostró escalabilidad lineal al usar múltiples réplicas.
Latencia y QPS al duplicarse el número de réplicas | Milvus.png
Resumen
Recomendamos encarecidamente a los desarrolladores ejecutar estos benchmarks para verificar de forma independiente los resultados en el entorno y los conjuntos de datos de su elección.
¿Qué sigue?
- Descarga el documento técnico detallado: "Evaluación del rendimiento de Milvus 2023."
- Regístrate y empieza con Zilliz Cloud.
- ¡Únete a nosotros en la comunidad de Slack!
Sigue leyendo
Vector Lakebase: End the AI Data Silo
Learn how Vector Lakebase unifies vector search, data lakes, and AI data operations so teams can serve RAG and agents without copy-and-sync pipelines.
How Zilliz Saw the Future of Vector Databases—and Built for Production
An inside look at how Zilliz built vector databases for real-world use, focusing on scalability, stability, and running them reliably at scale.
1 Table = 1000 Words? Foundation Models for Tabular Data
TableGPT2 automates tabular data insights, overcoming schema variability, while Milvus accelerates vector search for efficient, scalable decision-making.