Novedades en Milvus 2.3 Beta: 10 veces más rápido con GPU
Nos enorgullece anunciar el lanzamiento Beta de Milvus 2.3 en nombre de la comunidad de Milvus. Este lanzamiento Beta contiene nuevas funciones y mejoras que estamos seguros de que impulsarán el rendimiento de sus aplicaciones impulsadas por IA. ¡Agradecemos su ayuda para probar algunas de estas capacidades para llegar rápidamente al lanzamiento general! Esta publicación de blog destacará algunas de las funciones más destacadas. Para obtener una lista completa de cambios, consulte las notas de la versión.
- 📦 PyPI: https://pypi.org/project/milvus/
- 📚 Docs: https://milvus.io/docs
- 🛠️ Notas de la versión: https://github.com/milvus-io/milvus/releases
- 🐳 Imagen de Docker: docker pull milvusdb/milvus
- 🚀 Lanzamiento: https://github.com/milvus-io/milvus/releases/tag/v2.3.0-beta
Una de las funciones de Milvus 2.3 Beta es su compatibilidad con la aceleración por GPU y la integración basada en RAFT, lo que permite a Milvus aprovechar al máximo la potencia de las unidades de procesamiento gráfico modernas. Milvus acelerado por GPU ofrece un rendimiento 10 veces más rápido que la versión solo con CPU. Esto puede mejorar significativamente la velocidad y la capacidad de respuesta de sus aplicaciones impulsadas por IA y aprendizaje automático, lo que permite un procesamiento de datos más rápido y preciso.
Otra función fundamental de Milvus 2.3 Beta es su compatibilidad con la búsqueda por rango, que permite a los usuarios buscar datos dentro de un rango especificado. Esto puede ser especialmente útil para aplicaciones que requieren consultas de datos complejas, ya que permite búsquedas más precisas y exactas. Además, Milvus 2.3 Beta también admite mmap y copias de seguridad incrementales, todo lo cual puede ayudar aún más a impulsar el rendimiento y la eficiencia de sus aplicaciones de IA. Al permitir una gestión y un almacenamiento de datos más eficientes, estas funciones pueden garantizar que sus sistemas de IA funcionen continuamente a niveles óptimos.
En general, las mejoras de esta versión son esenciales para cualquier desarrollador que cree aplicaciones con capacidades de búsqueda por similitud.
Compatibilidad con GPU Nvidia Esta nueva función aporta la capacidad de admitir computación heterogénea, lo que puede acelerar significativamente las cargas de trabajo especializadas. Esta nueva incorporación permite a los usuarios esperar búsquedas de datos vectoriales más rápidas y eficientes, lo que en última instancia mejora la productividad y el rendimiento. Comparamos RAFT-IVF-Flat (GPU) con IVF-Flat (CPU) y HNSW (CPU) en cuatro conjuntos de datos con una recuperación del 95 %. El índice GPU logró un rendimiento promedio 32x y 8x superior al de IVF-Flat y HNSW. Los resultados de la evaluación se muestran en la Tabla 1. (Estos puntos de referencia se ejecutaron contra Knowhere en un host con una CPU de 8 núcleos, 32 GB de RAM y una GPU Nvidia A100)
Tabla 1. Las QPS de IVF-Flat, HNSW, RAFT-IVF-Flat en cuatro conjuntos de datos con una recuperación del 95 %
| SIFT | GIST | GLOVE | DEEP | |
|---|---|---|---|---|
| IVF-Flat (CPU) | 3097 | 142 | 791 | 723 |
| HNSW (CPU) | 14,537 | 791 | 1,516 | 5,761 |
| RAFT-IVF-Flat (GPU) | 121,568 | 5,737 | 20,163 | 16,557 |
Un agradecimiento especial a @wphicks y @cjnolet de Nvidia por sus valiosas contribuciones al código de RAFT.
Búsqueda por rango La búsqueda por rango es un método de búsqueda diferente de la consulta k-NN. Las consultas k-NN devuelven un número fijo de vecinos más cercanos. Para la búsqueda por rango, dada una consulta q y un umbral de distancia R, devuelve todas las entidades dentro de la distancia R de q. La búsqueda por rango se utiliza comúnmente para encontrar todos los resultados relevantes dentro de un rango especificado. Por ejemplo, puede ayudar con (pero no se limita a) la deduplicación de datos o la detección de infracciones de derechos de autor sin omitir candidatos similares.
Upsert Upsert es una operación que actualizará el valor de una entidad si ya existe en una colección o insertará una nueva si no existe. Milvus ofrece una gran flexibilidad para añadir datos a tus colecciones. Por ahora, hay tres opciones en total:
- Inserción masiva para un alto rendimiento en casos sin conexión.
- Inserción para baja latencia en casos de streaming en línea.
- Upsert para los casos en los que no estás seguro de si actualizar o insertar nuevas entidades.
Captura de datos de cambios (CDC) La captura de datos de cambios (CDC) es el proceso de identificar y capturar cambios en los datos de una base de datos vectorial en tiempo real y entregar esos cambios a sistemas posteriores. Milvus ahora ofrece copias de seguridad y sincronización sin tiempo de inactividad basadas en este mecanismo. Los desarrolladores también pueden usar CDC para capturar y proporcionar un flujo continuo de cambios a sus cargas de trabajo posteriores, como análisis de datos o auditorías personalizadas.
E/S de archivos mapeados en memoria (mmap) En escenarios de memoria insuficiente en grandes conjuntos de datos y cuando el rendimiento de las consultas no es crítico, Milvus usa mmap para permitir que el sistema trate partes de un archivo como si estuvieran en memoria, reduciendo el uso de memoria y mejorando el rendimiento si todos los datos están en la caché de páginas del sistema.
Resumen
Además de todas las características enumeradas anteriormente, Milvus 2.3 Beta incluye varias correcciones de errores y mejoras. Para obtener más información:
- Consulta las notas de la versión de la versión 2.3 Beta para ver la lista completa de cambios
- Descarga Milvus y comienza
- Consulta los benchmarks de Milvus en este documento
Sigue leyendo
AI Agents Are Quietly Transforming E-Commerce — Here’s How
Discover how AI agents transform e-commerce with autonomous decision-making, enhanced product discovery, and vector search capabilities for today's retailers.
Vector Databases vs. Object-Relational Databases
Use a vector database for AI-powered similarity search; use an object-relational database for complex data modeling with both relational integrity and object-oriented features.
Selecting the Right ETL Tools for Unstructured Data to Prepare for AI
Learn the right ETL tools for unstructured data to power AI. Explore key challenges, tool comparisons, and integrations with Milvus for vector search.