Evaluación de rendimiento de Milvus 2023
En Zilliz, los desarrolladores a menudo nos preguntan: "¿Cómo se compara Milvus con versiones anteriores para cargas de trabajo de embeddings?" Hay dos razones principales para esto. En primer lugar, los desarrolladores que comienzan un nuevo proyecto están ansiosos por usar las versiones de software más recientes para acceder a las últimas funcionalidades, pero pueden dudar debido a preocupaciones sobre la degradación del rendimiento. En segundo lugar, los usuarios actuales también pueden tener preocupaciones sobre el rendimiento y solo actualizarán si las nuevas capacidades son atractivas.
Para aliviar estas preocupaciones, nos gustaría compartir los benchmarks más recientes realizados en Milvus v2.2.3 frente a Milvus 2.2.0 y Milvus v2.0.0, comparando las latencias de búsqueda y el throughput en cuatro conjuntos de datos conocidos (DEPP, GIST, GloVe y SIFT). Los benchmarks mostraron que Milvus v2.2.3 supera a v2.2.0 y v2.0.0, mejorando significativamente las velocidades de búsqueda e indexación. Específicamente, en Milvus 2.2.3, logramos una reducción de 2.5x en la latencia de búsqueda en comparación con la versión original de Milvus 2.0.0. Además, nuestras pruebas en un entorno idéntico mostraron un aumento de 4.5x en QPS con Milvus 2.2.3 en comparación con 2.0.0.
Consideramos que estos datos resultarían valiosos para los ingenieros que evalúan la idoneidad de la última versión de Milvus para sus casos de uso de búsqueda por similitud; descarga el documento técnico "Evaluación de rendimiento de Milvus 2023" para leer la Metodología y los Resultados de la evaluación.
Nuestro objetivo principal fue crear una comparación coherente y actualizada que refleje los últimos desarrollos de Milvus. Volveremos a ejecutar periódicamente estos y otros benchmarks de bases de datos vectoriales y actualizaremos nuestro documento técnico detallado con nuestros hallazgos. Todo el código de estos benchmarks está disponible en Github. No dudes en abrir issues o pull requests en ese repositorio si tienes alguna pregunta, comentario o sugerencia.
Versiones probadas
- Milvus v2.2.3 | fecha de lanzamiento: 10 de febrero de 2023
- Milvus v2.2.2 | fecha de lanzamiento: 18 de noviembre de 2022
- Milvus v2.0.0 | fecha de lanzamiento: 25 de enero de 2022
Identificamos las características evaluadas con mayor frecuencia al trabajar con embeddings para crear un conjunto de benchmarks representativo. Analizamos el rendimiento en:
- Latencia de consulta – medida en milisegundos
- QOS – consultas por segundo
- Latencia vs. Throughput
- Escalabilidad a escala de miles de millones
- Escalabilidad en múltiples réplicas
Acerca del conjunto de datos
Además, hay seis conjuntos de datos utilizados para los benchmarks:
- Se utilizaron cuatro (4) conjuntos de datos de ann-benchmarks para evaluar el rendimiento de búsqueda de las diferentes versiones de Milvus.
- Se utilizaron dos (2) conjuntos de datos a escala de miles de millones (BIGANN y LAION-5B de LAION) para evaluar la escalabilidad de Milvus 2.2.3.
Resultados
Latencia de búsqueda ANN
Con Milvus 2.2.3 logramos una reducción de 2.5x en la latencia de búsqueda en comparación con la versión original de Milvus 2.0.0.
Latencia de búsqueda de Milvus 2.0.0, 2.2.0 y 2.2.3.png
Throughput de búsqueda ANN
Vimos un aumento de 4.5x en QPS con Milvus 2.2.3 en comparación con 2.0.0.
QPS de Milvus 2.0.0, 2.2.9 y 2.2.3.png
Escala de miles de millones
Un clúster Milvus 2.2.3 escalado horizontalmente mostró poca degradación del rendimiento tanto en la latencia de búsqueda como en QPS.
Latencia y QPS de diferentes tamaños de clúster | Milvus.png
Multirréplica (escalabilidad lineal)
Milvus 2.2.3 mostró escalabilidad lineal al usar múltiples réplicas.
Latencia y QPS al duplicarse el número de réplicas | Milvus.png
Resumen
Recomendamos encarecidamente a los desarrolladores ejecutar estos benchmarks para verificar de forma independiente los resultados en el entorno y los conjuntos de datos de su elección.
¿Qué sigue?
- Descarga el documento técnico detallado: "Evaluación del rendimiento de Milvus 2023."
- Regístrate y empieza con Zilliz Cloud.
- ¡Únete a nosotros en la comunidad de Slack!
Sigue leyendo
Similarity Metrics for Vector Search
Exploring five similarity metrics for vector search: L2 or Euclidean distance, cosine distance, inner product, and hamming distance.
Building RAG Pipelines for Real-Time Data with Cloudera and Milvus
explore how Cloudera can be integrated with Milvus to effectively implement some of the key functionalities of RAG pipelines.
DeepRAG: Thinking to Retrieval Step by Step for Large Language Models
Discover DeepRAG, an advanced retrieval-augmented generation (RAG) model that improves LLM accuracy by retrieving only essential data through step-by-step reasoning.