Milvus introdujo MMap para una gestión de datos redefinida y una mayor capacidad de almacenamiento
Milvus es la solución más rápida entre las bases de datos vectoriales de código abierto, orientada a usuarios con requisitos de rendimiento intensivos. Sin embargo, la diversidad de necesidades de los usuarios refleja los datos con los que trabajan. Algunos priorizan soluciones económicas y almacenamiento expansivo por encima de la velocidad pura. Al comprender este espectro de demandas, Milvus presenta la función MMap, redefiniendo cómo gestionamos grandes volúmenes de datos y prometiendo eficiencia de costos sin sacrificar funcionalidad.
¿Qué es MMap?
MMap, abreviatura de archivos mapeados en memoria, cierra la brecha entre los archivos y la memoria dentro de los sistemas operativos. Esta tecnología permite a Milvus mapear archivos grandes directamente en el espacio de memoria del sistema, transformando los archivos en bloques de memoria contiguos. Esta integración elimina la necesidad de operaciones explícitas de lectura o escritura, cambiando fundamentalmente la forma en que Milvus gestiona los datos. Garantiza un acceso fluido y un almacenamiento eficiente para archivos grandes o situaciones en las que los usuarios necesitan acceder a archivos de forma aleatoria.
¿Quién se beneficia de MMap?
Las bases de datos vectoriales exigen una capacidad de memoria sustancial debido a los requisitos de almacenamiento de los datos vectoriales. Con la función MMap, procesar más datos dentro de una memoria limitada se convierte en una realidad. Sin embargo, esta mayor capacidad tiene un costo de rendimiento. El sistema gestiona la memoria de forma inteligente, desalojando algunos datos según la carga y el uso. Este desalojo permite a Milvus procesar más datos dentro de la misma capacidad de memoria.
Durante nuestras pruebas, observamos que, con memoria suficiente, todos los datos residen en memoria después de un período de calentamiento, preservando el rendimiento del sistema. Sin embargo, a medida que crece el volumen de datos, el rendimiento disminuye gradualmente. Por lo tanto, recomendamos la función MMap para usuarios menos sensibles a las fluctuaciones de rendimiento.
Habilitar MMap en Milvus: una configuración sencilla
Habilitar MMap en Milvus es notablemente sencillo. Todo lo que necesita hacer es modificar el archivo milvus.yaml: agregue el elemento mmapDirPath bajo la configuración queryNode y establezca una ruta válida como su valor.
Lograr el equilibrio: rendimiento, almacenamiento y límites del sistema
Los patrones de acceso a los datos afectan significativamente al rendimiento. La función MMap de Milvus optimiza el acceso a los datos según la localidad. MMap permite a Milvus escribir datos escalares directamente en el disco para segmentos de datos a los que se accede secuencialmente. Los datos de longitud variable, como las cadenas, se aplanan y se indexan mediante un arreglo de desplazamientos en memoria. Este enfoque garantiza la localidad del acceso a los datos y elimina la sobrecarga de almacenar cada dato de longitud variable por separado. Las optimizaciones para índices vectoriales son meticulosas. MMap se emplea selectivamente para datos vectoriales mientras se conservan las listas de adyacencia en memoria, ahorrando una cantidad significativa de memoria sin comprometer el rendimiento.
Además, MMap maximiza el procesamiento de datos al minimizar el uso de memoria. A diferencia de versiones anteriores de Milvus, en las que QueryNode copiaba conjuntos de datos completos, MMap adopta un proceso de streaming simplificado y sin copias durante el desarrollo. Esta optimización reduce drásticamente la sobrecarga de memoria.
Nuestros resultados de pruebas internas muestran que Milvus puede gestionar eficientemente el doble del volumen de datos al habilitar MMap.
El camino por delante: innovación continua y mejoras centradas en el usuario
Aunque la función MMap está en su fase beta, el equipo de Milvus está comprometido con la mejora continua. Las futuras actualizaciones refinarán el uso de memoria del sistema, permitiendo que Milvus admita volúmenes de datos aún más extensos en un solo nodo. Los usuarios pueden esperar un control más granular sobre la función MMap, lo que permitirá cambios dinámicos en las colecciones y modos avanzados de carga de campos. Estas mejoras proporcionan una flexibilidad sin precedentes, permitiendo a los usuarios adaptar sus estrategias de procesamiento de datos a requisitos específicos.
Conclusión: redefinir la excelencia en el procesamiento de datos con Milvus MMap
La función MMap de Milvus 2.3 marca un salto significativo en la tecnología de procesamiento de datos. Al lograr un delicado equilibrio entre rendimiento, costo y límites del sistema, Milvus permite a los usuarios gestionar enormes cantidades de datos de manera eficiente y rentable. A medida que Milvus continúa evolucionando, se mantiene a la vanguardia de las soluciones innovadoras, redefiniendo los límites de lo que se puede lograr en la gestión de datos.
Mantente atento a más avances revolucionarios mientras Milvus continúa su camino hacia una excelencia sin igual en el procesamiento de datos.
Sigue leyendo
How Zilliz Ended Up at the Center of NVIDIA’s Unstructured Data Story at GTC 2026
If unstructured data is the context of AI, then the ceiling of AI applications will be set not just by models, but by how mature the infrastructure for unstructured data becomes.
Announcing the General Availability of Single Sign-On (SSO) on Zilliz Cloud
SSO is GA on Zilliz Cloud, delivering the enterprise-grade identity management capabilities your teams need to deploy vectorDB with confidence.
Vector Databases vs. Hierarchical Databases
Use a vector database for AI-powered similarity search; use a hierarchical database for organizing data in parent-child relationships with efficient top-down access patterns.