Evaluación de rendimiento de Milvus 2023
En Zilliz, los desarrolladores a menudo nos preguntan: "¿Cómo se compara Milvus con versiones anteriores para cargas de trabajo de embeddings?" Hay dos razones principales para esto. En primer lugar, los desarrolladores que comienzan un nuevo proyecto están ansiosos por usar las versiones de software más recientes para acceder a las últimas funcionalidades, pero pueden dudar debido a preocupaciones sobre la degradación del rendimiento. En segundo lugar, los usuarios actuales también pueden tener preocupaciones sobre el rendimiento y solo actualizarán si las nuevas capacidades son atractivas.
Para aliviar estas preocupaciones, nos gustaría compartir los benchmarks más recientes realizados en Milvus v2.2.3 frente a Milvus 2.2.0 y Milvus v2.0.0, comparando las latencias de búsqueda y el throughput en cuatro conjuntos de datos conocidos (DEPP, GIST, GloVe y SIFT). Los benchmarks mostraron que Milvus v2.2.3 supera a v2.2.0 y v2.0.0, mejorando significativamente las velocidades de búsqueda e indexación. Específicamente, en Milvus 2.2.3, logramos una reducción de 2.5x en la latencia de búsqueda en comparación con la versión original de Milvus 2.0.0. Además, nuestras pruebas en un entorno idéntico mostraron un aumento de 4.5x en QPS con Milvus 2.2.3 en comparación con 2.0.0.
Consideramos que estos datos resultarían valiosos para los ingenieros que evalúan la idoneidad de la última versión de Milvus para sus casos de uso de búsqueda por similitud; descarga el documento técnico "Evaluación de rendimiento de Milvus 2023" para leer la Metodología y los Resultados de la evaluación.
Nuestro objetivo principal fue crear una comparación coherente y actualizada que refleje los últimos desarrollos de Milvus. Volveremos a ejecutar periódicamente estos y otros benchmarks de bases de datos vectoriales y actualizaremos nuestro documento técnico detallado con nuestros hallazgos. Todo el código de estos benchmarks está disponible en Github. No dudes en abrir issues o pull requests en ese repositorio si tienes alguna pregunta, comentario o sugerencia.
Versiones probadas
- Milvus v2.2.3 | fecha de lanzamiento: 10 de febrero de 2023
- Milvus v2.2.2 | fecha de lanzamiento: 18 de noviembre de 2022
- Milvus v2.0.0 | fecha de lanzamiento: 25 de enero de 2022
Identificamos las características evaluadas con mayor frecuencia al trabajar con embeddings para crear un conjunto de benchmarks representativo. Analizamos el rendimiento en:
- Latencia de consulta – medida en milisegundos
- QOS – consultas por segundo
- Latencia vs. Throughput
- Escalabilidad a escala de miles de millones
- Escalabilidad en múltiples réplicas
Acerca del conjunto de datos
Además, hay seis conjuntos de datos utilizados para los benchmarks:
- Se utilizaron cuatro (4) conjuntos de datos de ann-benchmarks para evaluar el rendimiento de búsqueda de las diferentes versiones de Milvus.
- Se utilizaron dos (2) conjuntos de datos a escala de miles de millones (BIGANN y LAION-5B de LAION) para evaluar la escalabilidad de Milvus 2.2.3.
Resultados
Latencia de búsqueda ANN
Con Milvus 2.2.3 logramos una reducción de 2.5x en la latencia de búsqueda en comparación con la versión original de Milvus 2.0.0.
Latencia de búsqueda de Milvus 2.0.0, 2.2.0 y 2.2.3.png
Throughput de búsqueda ANN
Vimos un aumento de 4.5x en QPS con Milvus 2.2.3 en comparación con 2.0.0.
QPS de Milvus 2.0.0, 2.2.9 y 2.2.3.png
Escala de miles de millones
Un clúster Milvus 2.2.3 escalado horizontalmente mostró poca degradación del rendimiento tanto en la latencia de búsqueda como en QPS.
Latencia y QPS de diferentes tamaños de clúster | Milvus.png
Multirréplica (escalabilidad lineal)
Milvus 2.2.3 mostró escalabilidad lineal al usar múltiples réplicas.
Latencia y QPS al duplicarse el número de réplicas | Milvus.png
Resumen
Recomendamos encarecidamente a los desarrolladores ejecutar estos benchmarks para verificar de forma independiente los resultados en el entorno y los conjuntos de datos de su elección.
¿Qué sigue?
- Descarga el documento técnico detallado: "Evaluación del rendimiento de Milvus 2023."
- Regístrate y empieza con Zilliz Cloud.
- ¡Únete a nosotros en la comunidad de Slack!
Sigue leyendo
Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models
Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.
Milvus/Zilliz + Surveillance: How Vector Databases Transform Multi-Camera Tracking
See how Milvus vector database enhances multi-camera tracking with similarity-based matching for better surveillance in retail, warehouses and transport hubs.