Cómo elegir el modo de despliegue de Milvus adecuado para sus aplicaciones de IA
Milvus es una base de datos vectorial de código abierto que almacena, indexa y recupera incrustaciones vectoriales a escala de miles de millones. También es un componente indispensable de la generación aumentada de recuperación (RAG), una técnica popular y eficaz para mitigar los problemas de alucinación en grandes modelos lingüísticos (LLMs).
A diferencia de otros proyectos de búsqueda vectorial de código abierto como Qdrant, Weaviate y Chroma, Milvus ofrece a los desarrolladores tres opciones principales de despliegue adaptadas a diferentes tamaños de conjuntos de datos, casos de uso y requisitos empresariales. Aunque disponer de múltiples opciones es una ventaja, también puede resultar un poco abrumador. Muchos desarrolladores no están seguros de cómo seleccionar el mejor modo de despliegue para sus aplicaciones de IA específicas. En esta entrada de blog, proporcionaremos una guía clara y detallada para ayudarle a elegir la versión correcta de Milvus para sus proyectos.
Milvus Lite vs. Independiente vs. Distribuido
Milvus ofrece tres opciones de despliegue: Milvus Lite, Independiente y Distribuido**.
Milvus Lite
Milvus Lite es una biblioteca Python y una versión ultraligera de Milvus. Es perfecta para la creación rápida de prototipos en Python o en entornos de cuaderno y para experimentos locales a pequeña escala. Puedes instalarlo directamente a través del paquete pymilvus con una simple línea de pip install pymilvus. No hay necesidad de ejecutar un servidor independiente, y maneja la persistencia de datos utilizando archivos locales, por lo que es fácil de configurar y utilizar.
Milvus Standalone
Milvus Standalone es la opción de despliegue de nodo único para Milvus, utilizando un modelo cliente-servidor. Puede pensar en él como el equivalente Milvus de MySQL, mientras que Milvus Lite es como SQLite. Todos los componentes de Milvus Standalone vienen empaquetados en una imagen Docker, lo que facilita el despliegue del servidor. Ejecutar una única instancia de Milvus Standalone en una máquina con suficiente memoria funcionará bien para la mayoría de los proyectos que no requieran un gran escalado. Además, Milvus Standalone ofrece alta disponibilidad con un modo de copia de seguridad primaria, lo que lo convierte en una opción fiable para entornos de producción.
Milvus Distribuido
Milvus Distributed es el modo distribuido de Milvus, ideal para usuarios empresariales que construyen sistemas de bases de datos vectoriales a gran escala o plataformas de datos vectoriales. Adopta una arquitectura nativa de la nube con separación de lectura-escritura para optimizar el rendimiento. Los componentes clave de Milvus Distributed están equipados con copias de seguridad integradas e instancias adicionales, de modo que si una parte falla, otras pueden tomar el relevo sin problemas, garantizando que el sistema permanezca ininterrumpido. Este nivel de redundancia aumenta la fiabilidad y garantiza la disponibilidad continua. De las tres opciones de despliegue, Milvus Distributed ofrece la mayor escalabilidad y disponibilidad. También proporciona elasticidad a nivel de componentes, lo que le permite escalar de forma independiente el proxy, los nodos de consulta y los nodos de índice en función de sus requisitos específicos de carga empresarial.
La tabla siguiente resume y compara las capacidades clave de Milvus Lite, Milvus Standalone y Milvus Distributed.
| Capacidades de Milvus Lite, Milvus Standalone, Milvus Distributed. |
SDK Python Python, Go, Java, Node.js, C#, RESTful Python (https://zilliz.com/product/integrations/python), Go (https://zilliz.com/product/integrations/Go), Java, Node.js, C#, RESTful | Tipos de datos** Vectores densos Vectores dispersos Vectores binarios Escalares booleanos Escalares enteros Escalares flotantes Strings Arrays JSON Vectores densos Vectores dispersos Vectores binarios Escalares booleanos Escalares enteros Escalares flotantes Strings Arrays JSON Vectores densos Vectores dispersos Vectores binarios Escalares booleanos Escalares enteros Escalares flotantes Strings Arrays JSON Vectores densos Vectores dispersos Vectores binarios Vectores booleanos Escalares enteros Escalares flotantes Strings Arrays JSON | Búsqueda | Búsqueda vectorial (búsqueda RNA)Búsqueda vectorial filtrada Búsqueda por rangosBúsqueda híbrida Consulta de expresión escalar Consulta de clave primaria (get) | Búsqueda vectorial (búsqueda RNA)Búsqueda vectorial filtrada Consulta por rangosBúsqueda híbrida Consulta de expresión escalar Consulta de clave primaria (get) | Búsqueda vectorial (búsqueda RNA)Búsqueda vectorial filtrada Consulta por rangosBúsqueda híbrida Consulta de expresión escalar Consulta de clave primaria (get) | Búsqueda vectorial (búsqueda RNA)Búsqueda por rangosBúsqueda híbrida Consulta de expresión escalar Consulta de clave primaria (get) | Búsqueda vectorial (búsqueda RNA)Búsqueda vectorial filtrada Consulta de clave primaria (get) | Capacidades CRUD básicas** ✔️ ✔️ ✔️ | Capacidades avanzadas | - | RBAC (control de acceso basado en roles) | RBAC (control de acceso basado en roles) Partición Partición Clave Agrupación de recursos físicos |
Tabla: Comparación de Milvus Lite, Milvus Standalone y Milvus Distributed_
Cómo seleccionar la implementación correcta de Milvus para cada etapa de desarrollo
Elegir la opción de despliegue de Milvus adecuada depende de la etapa de desarrollo de su aplicación. Estas etapas incluyen Prototipos rápidos, Despliegue de producción temprana y Despliegue de producción a gran escala. Exploremos cada etapa en detalle.
Milvus Lite para la creación rápida de prototipos de aplicaciones de IA
Al desarrollar y crear prototipos de aplicaciones de IA como un asistente personal, un motor de búsqueda semántica o un RAG de extremo a extremo, la velocidad y la flexibilidad de la aplicación suelen priorizarse sobre el rendimiento y la estabilidad. Por lo tanto, Milvus Lite es una opción ideal en esta etapa. Le permite construir rápidamente una funcionalidad de extremo a extremo dentro de un entorno de cuaderno y realizar experimentos ligeros centrados en probar la eficacia.
Transición a Milvus Standalone para la validación en grandes conjuntos de datos
Milvus Standalone es el siguiente paso lógico si necesita validar sus resultados en un gran conjunto de datos. Milvus Lite y Standalone están diseñados para trabajar juntos sin problemas, ofreciendo una transición fácil desde la creación de prototipos locales a la validación basada en servidor. Dado que Milvus Lite, Standalone y Distributed comparten la misma interfaz de cliente, puede reutilizar la misma lógica empresarial tanto para validaciones de datos locales como a gran escala. Además, Milvus Standalone admite múltiples usuarios, lo que facilita a los equipos de desarrollo ágil colaborar o compartir datos utilizando una única instancia.
Milvus Standalone para el despliegue temprano de producción
En las primeras etapas de la producción de aplicaciones, cuando su proyecto se acaba de lanzar y aún está buscando su ajuste producto-mercado, las solicitudes empresariales y los volúmenes de datos son relativamente bajos. La atención debe centrarse en la eficacia y competitividad del negocio más que en la infraestructura. Milvus Standalone es adecuado para esta fase. Para los servicios en línea, el despliegue de Milvus en un modo de copia de seguridad primaria de alta disponibilidad garantiza la fiabilidad. Para los entornos de prueba, suele bastar con un despliegue de un solo nodo.
Nota: Milvus Standalone no ofrece aislamiento de recursos físicos entre tablas. Si tiene dos aplicaciones críticas y sensibles al rendimiento, es mejor aislar sus datos utilizando instancias separadas de Milvus Standalone. Aunque esto puede llevar a cierta ineficiencia de recursos, sigue siendo más rentable que gestionar una configuración Milvus Distributed en esta fase.
Puede seguir utilizando Milvus Lite para tareas específicas de depuración, pero evite hacerlo en el entorno de producción donde está desplegado Milvus Standalone, ya que podría introducir riesgos de rendimiento y estabilidad.
Milvus Distributed para el despliegue de producción a gran escala
Cuando sus datos superan la capacidad de un único servidor o se expanden rápidamente, es hora de prepararse para la escalabilidad futura. Milvus Distributed se vuelve esencial en esta etapa.
Esta mejor práctica implica ejecutar instancias de Milvus Standalone y Milvus Distributed simultáneamente al principio y cambiar gradualmente el tráfico de datos de Standalone a Distributed. Asegúrese de supervisar el sistema durante al menos un mes hasta que Milvus Distributed funcione de forma estable.
Durante esta fase, también necesitará mejorar su gestión de operaciones. Milvus Distributed es compatible de forma nativa con Prometheus y ofrece herramientas de gestión como Attu. Aunque Milvus proporciona una amplia gama de herramientas operativas dedicadas y integraciones de ecosistemas, gestionar un gran sistema distribuido puede ser un reto. Le animamos a unirse a la abierta y activa comunidad Milvus para solicitar apoyo, contribuir con código, asistir a eventos y realizar muchas otras valiosas contribuciones.
Cómo elegir el despliegue adecuado para sus conjuntos de datos vectoriales
Milvus está diseñado para escalar con su proyecto, ofreciendo diferentes modos de despliegue para adaptarse a las demandas cambiantes de su conjunto de datos. Para aclarar sus diferencias, desglosaremos cómo Milvus Lite, Standalone y Distributed se comparan entre sí y, lo que es más importante, con otras bases de datos vectoriales de código abierto del mercado, como Chroma, Weaviate y Qdrant.
Chroma** ha ganado adeptos entre los desarrolladores desde el año pasado, sobre todo para proyectos a pequeña escala. Al igual que Milvus Lite, Chroma es una base de datos vectorial ligera. Es la más adecuada para aplicaciones que manejen menos de cientos de miles de vectores. Chroma ofrece funcionalidades básicas como la inserción de datos vectoriales y la búsqueda de similitudes, lo que la convierte en una opción ligera para la creación rápida de prototipos. Sin embargo, su conjunto de características limitadas y la falta de preparación para la producción significan que incluso Milvus Lite proporciona capacidades más robustas.
Para soluciones listas para producción, Milvus Standalone y Distributed, junto con Weaviate y Qdrant, son opciones más fuertes. Weaviate es bien conocido por su integración con aplicaciones de inteligencia artificial, ya que ofrece compatibilidad nativa con varios modelos ascendentes. Por su parte, Qdrant se centra en las funcionalidades básicas de las bases de datos vectoriales, haciendo hincapié en el rendimiento de la búsqueda vectorial. Sin embargo, según VectorDBBench, una herramienta de evaluación comparativa de bases de datos vectoriales de código abierto, Milvus sigue superando a Qdrant en rendimiento de búsqueda, lo que lo convierte en uno de los principales contendientes en este ámbito.
He aquí un desglose de las escalas de datos adecuadas para cada base de datos vectorial:
Figura 2- Milvus vs. Chroma vs. Qdrant vs. Weaviate para almacenamiento y recuperación de vectores](https://assets.zilliz.com/Figure_2_Milvus_vs_Chroma_vs_Qdrant_vs_Weaviate_for_vector_storage_and_retrieval_5877bdd81a.png)
Milvus Lite y Chroma son ideales para escalar datos hasta un millón de vectores. Están diseñados para facilitar su uso, sacrificando algunas capacidades del sistema en aras de la simplicidad.
Milvus Standalone, Weaviate y Qdrant: Las mejores para escalas de datos que van de un millón a decenas de millones de vectores. Estas bases de datos logran un equilibrio entre las potentes capacidades del sistema y la facilidad de uso, lo que las hace adecuadas para las primeras fases de producción.
Milvus Distributed**: Diseñada para manejar escalas de datos de decenas de millones y más. La comunidad Milvus ha validado su compatibilidad con casos de uso a escala de miles de millones, y ahora se está implementando para situaciones que implican decenas de miles de millones de vectores.
Aunque otras bases de datos vectoriales como Chroma, Weaviate y Qdrant tienen sus puntos fuertes, a menudo se quedan cortas a la hora de ofrecer el mismo nivel de flexibilidad, escalabilidad y soporte a largo plazo que proporciona Milvus. A medida que su proyecto crece, el cambio de bases de datos vectoriales puede resultar costoso y complejo. Milvus, con sus versátiles opciones de despliegue, admite flujos de trabajo mixtos en varias escalas de datos, garantizando que su solución de base de datos no se quede pequeña.
Componentes subyacentes de Milvus Lite, autónomo y distribuido
Milvus proporciona una experiencia de usuario coherente y una evolución uniforme en sus tres modos de despliegue gracias a los componentes subyacentes compartidos. Este diseño garantiza que se beneficie de la misma funcionalidad básica, tanto si utiliza Milvus Lite para tareas ligeras como Milvus Distributed para operaciones a gran escala.
El diagrama siguiente ilustra los componentes funcionales cubiertos por cada uno de estos modos de despliegue de Milvus:
Figura 2- Milvus Lite vs. Independiente vs. Distribuido en componentes subyacentes](https://assets.zilliz.com/Figure_2_Milvus_Lite_vs_Standalone_vs_Distributed_on_underlying_components_bb98880a4f.png)
Milvus Lite encapsula principalmente el motor de búsqueda al tiempo que ofrece implementaciones locales para tareas esenciales como la inserción de datos, la persistencia, la creación de índices y la gestión de metadatos. Piense en Milvus Lite como una potente biblioteca más que como una simple herramienta. En comparación con bibliotecas más básicas como Chroma, el motor de búsqueda de Milvus Lite ofrece un rendimiento y unas capacidades de consulta superiores, lo que lo hace ideal para las incrustaciones vectoriales. Si está buscando una alternativa a FAISS o HNSWLib, Milvus Lite es un buen candidato, ya que integra de forma nativa las principales bibliotecas de algoritmos vector search y ha sido objeto de una amplia optimización tanto en rendimiento como en funcionalidad.
Milvus Standalone incluye todos los componentes funcionales del sistema Milvus excepto el equilibrio de carga y la gestión multinodo (coordinadores). Estos componentes operan dentro del mismo entorno Docker, facilitando una comunicación local eficiente y minimizando la latencia del servidor.
Milvus Distributed cuenta con una gama completa de componentes funcionales. Mientras que los modos Standalone y Distributed contienen un Proxy, un Nodo de Consulta, un Nodo de Datos y un Nodo de Índice con funcionalidades idénticas, Milvus Distributed ofrece una mayor flexibilidad de despliegue. Cada componente funcional puede desplegarse varias veces para gestionar cargas más elevadas, y pueden desplegarse varios componentes en el mismo nodo físico para compartir recursos o en nodos diferentes para garantizar el aislamiento de los recursos. Además, el modo Distribuido permite el escalado independiente de cada componente, lo que le permite adaptarse a las características variables de la carga y mejorar la utilización de los recursos de forma eficaz.
Resumen
En este post, hemos explorado las tres opciones de despliegue que ofrece Milvus: Milvus Lite, Independiente y Distribuido. Cada modo de despliegue está adaptado para satisfacer diferentes etapas de desarrollo, tamaños de datos y casos de uso, asegurando que Milvus pueda escalar junto con su proyecto.
Milvus Lite** es ideal para la creación rápida de prototipos y experimentos a pequeña escala en entornos Python. Es fácil de configurar y utilizar, por lo que es perfecto para los desarrolladores que necesitan una solución ligera pero potente para las pruebas y el desarrollo.
Milvus Standalone** es el siguiente paso para aquellos que están listos para pasar de la creación de prototipos a la producción. Esta opción de despliegue en un único nodo proporciona todos los componentes necesarios para los primeros entornos de producción, equilibrando el rendimiento y la eficiencia de recursos. Es adecuada para proyectos con datos de tamaño moderado y demandas crecientes de los usuarios.
Milvus Distributed está diseñado para implantaciones de producción a gran escala que requieren alta disponibilidad, escalabilidad y flexibilidad. Es la mejor opción para empresas y aplicaciones que manejan grandes cantidades de datos, garantizando que su base de datos vectorial pueda crecer con sus necesidades empresariales.
Más recursos
Documentación de Milvus](https://milvus.io/docs)
Qué es la Generación Aumentada de Recuperación (RAG)](https://zilliz.com/learn/Retrieval-Augmented-Generation)
Modelos de IA de alto rendimiento para sus aplicaciones GenAI | Zilliz](https://zilliz.com/ai-models)
Centro de recursos de IA Generativa | Zilliz](https://zilliz.com/learn/generative-ai)
Centro de aprendizaje de bases de datos vectoriales](https://zilliz.com/learn)
Robert GuoRobert Guo is a Partner and Director of Product Management at Zilliz and one of the architects behind Milvus, an open-source vector database revolutionizing AI data analysis. With a Ph.D. in Computer Software and Theory from Huazhong University of Science and Technology, he has presented influential work at prestigious conferences and journals, including SIGMOD, VLDB, USENIX ATC, ICS, DATE, and IEEE TPDS. Previously a key developer for Huawei's ModelArts platform, Robert is skilled at crafting efficient and scalable AI data solutions.
Sigue leyendo
My Wife Wanted Dior. I Spent $600 on Claude Code to Vibe-Code a 2M-Line Database Instead.
Write tests, not code reviews. How a test-first workflow with 6 parallel Claude Code sessions turns a 2M-line C++ codebase into a daily shipping pipeline.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.