Nuestro viaje hacia más de 35K estrellas en GitHub: la verdadera historia de construir Milvus desde cero
Durante los últimos años, nos hemos centrado en una sola cosa: construir una base de datos vectorial lista para empresas para la era de la IA. Lo difícil no es construir una base de datos, sino construir una que sea escalable, fácil de usar y que realmente resuelva problemas reales en producción.
Este junio, alcanzamos un nuevo hito: Milvus llegó a 35.000 estrellas en GitHub (ahora tiene más de 35,5K estrellas al momento de escribir esto). No vamos a fingir que esto es solo otro número: significa mucho para nosotros.
Cada estrella representa a un desarrollador que se tomó el tiempo de mirar lo que hemos construido, lo encontró lo suficientemente útil como para guardarlo en favoritos y, en muchos casos, decidió usarlo. Algunos de ustedes han ido más allá: reportando issues, contribuyendo código, respondiendo preguntas en nuestros foros y ayudando a otros desarrolladores cuando se quedan atascados.
Queríamos tomarnos un momento para compartir nuestra historia: la verdadera, con todas las partes complicadas incluidas.
Empezamos a construir Milvus porque nada más funcionaba
Allá por 2017, comenzamos con una pregunta sencilla: a medida que las aplicaciones de IA empezaban a surgir y los datos no estructurados explotaban, ¿cómo se almacenan y buscan de manera eficiente los embeddings vectoriales que impulsan la comprensión semántica?
Las bases de datos tradicionales no fueron creadas para esto. Están optimizadas para filas y columnas, no para vectores de alta dimensionalidad. Las tecnologías y herramientas existentes eran imposibles de usar o dolorosamente lentas para lo que necesitábamos.
Probamos todo lo disponible. Armamos soluciones improvisadas con Elasticsearch. Construimos índices personalizados sobre MySQL. Incluso experimentamos con FAISS, pero estaba diseñado como una biblioteca de investigación, no como una infraestructura de base de datos de producción. Nada proporcionaba la solución completa que imaginábamos para cargas de trabajo de IA empresariales.
Así que empezamos a construir la nuestra. No porque pensáramos que sería fácil —las bases de datos son notoriamente difíciles de hacer bien—, sino porque podíamos ver hacia dónde se dirigía la IA y sabíamos que necesitaba infraestructura diseñada específicamente para llegar allí.
Para 2018, estábamos metidos de lleno en el desarrollo de lo que se convertiría en Milvus. El término "base de datos vectorial" ni siquiera existía todavía. Básicamente estábamos creando una nueva categoría de software de infraestructura, lo cual era tan emocionante como aterrador.
Hacer Milvus open-source: construir en público
En noviembre de 2019, decidimos hacer open-source la versión 0.10 de Milvus.
Hacer open-source significa exponer todos tus defectos al mundo. Cada hack, cada comentario TODO, cada decisión de diseño de la que no estás completamente seguro. Pero creíamos que si las bases de datos vectoriales iban a convertirse en infraestructura crítica para la IA, debían ser abiertas y accesibles para todos.
La respuesta fue abrumadora. Los desarrolladores no solo usaron Milvus: lo mejoraron. Encontraron bugs que se nos habían pasado, sugirieron funcionalidades que no habíamos considerado e hicieron preguntas que nos llevaron a pensar más profundamente sobre nuestras decisiones de diseño.
En 2020, nos unimos a la LF AI & Data Foundation. Esto no fue solo por credibilidad: nos enseñó cómo mantener un proyecto open-source sostenible. Cómo gestionar la gobernanza, la compatibilidad con versiones anteriores y construir software que dure años, no meses.
Para 2021, lanzamos Milvus 1.0 y nos graduamos de la LF AI & Data Foundation. Ese mismo año, ganamos el desafío global BigANN para búsqueda vectorial a escala de miles de millones. Esa victoria se sintió bien, pero, lo que es más importante, validó que estábamos resolviendo problemas reales de la manera correcta.
La decisión más difícil: empezar de nuevo
Aquí es donde las cosas se complican. Para 2021, Milvus 1.0 funcionaba bien para muchos casos de uso, pero los clientes empresariales seguían pidiendo lo mismo: una mejor arquitectura cloud-native, un escalado horizontal más sencillo y más simplicidad operativa.
Teníamos una opción: seguir adelante a base de parches o reconstruir desde cero. Elegimos reconstruir.
Milvus 2.0 fue esencialmente una reescritura completa. Introdujimos una arquitectura de almacenamiento-cómputo completamente desacoplada con escalabilidad dinámica. Nos llevó dos años y, honestamente, fue uno de los periodos más estresantes en la historia de nuestra empresa. Estábamos desechando un sistema funcional que miles de personas estaban usando para construir algo no probado.
Pero cuando lanzamos Milvus 2.0 en 2022, transformó Milvus de una potente base de datos vectorial en una infraestructura lista para producción que podía escalar a cargas de trabajo empresariales. Ese mismo año, también completamos una ronda de financiación Serie B+—no para quemar dinero, sino para redoblar la apuesta por la calidad del producto y el soporte para clientes globales. Sabíamos que este camino llevaría tiempo, pero cada paso tenía que construirse sobre una base sólida.
Cuando todo se aceleró con la IA
2023 fue el año de RAG (generación aumentada por recuperación). De repente, la búsqueda semántica pasó de ser una técnica de IA interesante a una infraestructura esencial para chatbots, sistemas de preguntas y respuestas sobre documentos y agentes de IA.
Las estrellas de GitHub de Milvus se dispararon. Las solicitudes de soporte se multiplicaron. Desarrolladores que nunca habían oído hablar de bases de datos vectoriales de repente hacían preguntas sofisticadas sobre estrategias de indexación y optimización de consultas.
Este crecimiento fue emocionante, pero también abrumador. Nos dimos cuenta de que necesitábamos escalar no solo nuestra tecnología, sino todo nuestro enfoque de soporte a la comunidad. Contratamos a más defensores de desarrolladores, reescribimos por completo nuestra documentación y empezamos a crear contenido educativo para desarrolladores nuevos en bases de datos vectoriales.
También lanzamos Zilliz Cloud—nuestra versión totalmente gestionada de Milvus. Algunas personas preguntaron por qué estábamos "comercializando" nuestro proyecto de código abierto. La respuesta honesta es que mantener una infraestructura de nivel empresarial es costoso y complejo. Zilliz Cloud nos permite sostener y acelerar el desarrollo de Milvus mientras mantenemos el proyecto central completamente de código abierto.
Luego llegó 2024. Forrester nos nombró líderes en la categoría de bases de datos vectoriales. Milvus superó las 30.000 estrellas en GitHub. Y nos dimos cuenta: el camino que habíamos estado pavimentando durante siete años finalmente se había convertido en la autopista. A medida que más empresas adoptaban bases de datos vectoriales como infraestructura crítica, nuestro crecimiento empresarial se aceleró rápidamente, validando que la base que habíamos construido podía escalar tanto técnica como comercialmente.
El equipo detrás de Milvus: Zilliz
Aquí hay algo interesante: mucha gente conoce Milvus pero no Zilliz. En realidad, estamos bien con eso. Zilliz es el equipo detrás de Milvus: lo construimos, lo mantenemos y le damos soporte.
Lo que más nos importa son las cosas poco glamurosas que marcan la diferencia entre una demo interesante y una infraestructura lista para producción: optimizaciones de rendimiento, parches de seguridad, documentación que realmente ayuda a los principiantes y responder con detenimiento a los issues de GitHub.
Hemos creado un equipo de soporte global 24/7 en EE. UU., Europa y Asia, porque los desarrolladores necesitan ayuda en sus zonas horarias, no en las nuestras. Tenemos colaboradores de la comunidad a quienes llamamos "Milvus Ambassadors", que organizan eventos, responden preguntas en foros y a menudo explican conceptos mejor que nosotros.
También hemos dado la bienvenida a integraciones con AWS, GCP y otros proveedores de nube, incluso cuando ofrecen sus propias versiones gestionadas de Milvus. Más opciones de implementación son buenas para los usuarios. Aunque hemos notado que cuando los equipos se enfrentan a desafíos técnicos complejos, a menudo terminan contactándonos directamente porque entendemos el sistema al nivel más profundo.
Muchas personas piensan que el código abierto es solo una "caja de herramientas", pero en realidad es un "proceso evolutivo": un esfuerzo colectivo de innumerables personas que lo aman y creen en él. Solo quienes realmente comprenden la arquitectura pueden proporcionar el "por qué" detrás de las correcciones de errores, el análisis de cuellos de botella de rendimiento, la integración de sistemas de datos y los ajustes arquitectónicos.
Así que si estás usando Milvus de código abierto, o considerando las bases de datos vectoriales como un componente central de tu sistema de IA, te animamos a ponerte en contacto con nosotros directamente para recibir el soporte más profesional y oportuno.
Impacto real en producción: la confianza de los usuarios
Los casos de uso de Milvus han crecido más allá de lo que imaginamos inicialmente. Estamos impulsando la infraestructura de IA para algunas de las empresas más exigentes del mundo en todos los sectores.
Bosch, el líder mundial en tecnología automotriz y pionero en conducción autónoma, revolucionó su análisis de datos con Milvus, logrando una reducción del 80% en los costos de recopilación de datos y ahorros anuales de $1.4M, mientras busca miles de millones de escenarios de conducción en milisegundos para casos límite críticos.
Read AI, una de las empresas de IA de productividad de más rápido crecimiento que atiende a millones de usuarios activos mensuales, utiliza Milvus para lograr una latencia de recuperación inferior a 20-50 ms en miles de millones de registros y una aceleración de 5× en la búsqueda agéntica. Su CTO afirma: "Milvus sirve como repositorio central e impulsa nuestra recuperación de información entre miles de millones de registros."
Un líder global de fintech, una de las plataformas de pagos digitales más grandes del mundo, que procesa decenas de miles de millones de transacciones en más de 200 países y más de 25 divisas, eligió Milvus por una ingesta por lotes 5-10× más rápida que la de la competencia, completando trabajos en menos de 1 hora que a otros les tomaban más de 8 horas.
Filevine, la plataforma líder de trabajo legal en la que confían miles de bufetes de abogados en todo Estados Unidos, gestiona 3 mil millones de vectores en millones de documentos legales, ahorrando a los abogados entre el 60 y el 80% del tiempo en el análisis de documentos y logrando una "verdadera conciencia de los datos" para la gestión de casos legales.
También damos soporte a NVIDIA, OpenAI, Microsoft, Salesforce, Walmart, y muchos otros en casi todos los sectores. Más de 10,000 organizaciones han elegido Milvus o Zilliz Cloud como su base de datos vectorial preferida.
Estas no son solo historias de éxito técnico: son ejemplos de cómo las bases de datos vectoriales se están convirtiendo discretamente en infraestructura crítica que impulsa las aplicaciones de IA que las personas usan todos los días.
Por qué creamos Zilliz Cloud: base de datos vectorial de nivel empresarial como servicio
Milvus es de código abierto y de uso gratuito. Pero ejecutar Milvus correctamente a escala empresarial requiere experiencia profunda y recursos significativos. La selección de índices, la gestión de memoria, las estrategias de escalado, las configuraciones de seguridad: estas no son decisiones triviales. Muchos equipos quieren la potencia de Milvus sin la complejidad operativa y con soporte empresarial, garantías de SLA, etc.
Por eso creamos Zilliz Cloud: una versión totalmente gestionada de Milvus desplegada en 25 regiones globales y 5 grandes nubes, incluidas AWS, GCP y Azure, diseñada específicamente para cargas de trabajo de IA a escala empresarial que exigen rendimiento, seguridad y fiabilidad.
Esto es lo que hace diferente a Zilliz Cloud:
Escala masiva con alto rendimiento: Nuestro motor AutoIndex patentado e impulsado por IA ofrece velocidades de consulta 3-5× más rápidas que Milvus de código abierto, sin necesidad de ajustar índices. La arquitectura nativa de la nube admite miles de millones de vectores y decenas de miles de consultas concurrentes, manteniendo tiempos de respuesta inferiores a un segundo.
Seguridad y cumplimiento integrados: Cifrado en reposo y en tránsito, RBAC granular, registro de auditoría completo, integración con SAML/OAuth2.0 y despliegues BYOC (bring your own cloud). Cumplimos con GDPR, HIPAA y otros estándares globales que las empresas realmente necesitan.
Optimizado para la rentabilidad: Almacenamiento de datos por niveles caliente/frío, escalado elástico que responde a cargas de trabajo reales y precios de pago por uso pueden reducir el coste total de propiedad en un 50% o más en comparación con despliegues autogestionados.
Verdaderamente agnóstico de la nube sin dependencia de un proveedor: Despliega en AWS, Azure, GCP, Alibaba Cloud o Tencent Cloud sin dependencia de un proveedor. Garantizamos consistencia y escalabilidad globales sin importar dónde lo ejecutes.
Estas capacidades pueden no sonar llamativas, pero resuelven problemas reales y cotidianos que enfrentan los equipos empresariales al crear aplicaciones de IA a escala. Y lo más importante: sigue siendo Milvus bajo el capó, por lo que no hay dependencia propietaria ni problemas de compatibilidad.
Qué sigue: Vector Data Lake
Acuñamos el término "base de datos vectorial" y fuimos los primeros en crear una, pero no nos detenemos ahí. Ahora estamos construyendo la próxima evolución: Vector Data Lake.
Este es el problema que estamos resolviendo: no todas las búsquedas vectoriales necesitan latencia de milisegundos. Muchas empresas tienen conjuntos de datos masivos que se consultan ocasionalmente, incluido el análisis histórico de documentos, los cálculos de similitud por lotes y el análisis de tendencias a largo plazo. Para estos casos de uso, una base de datos vectorial tradicional en tiempo real es excesiva y costosa.
Vector Data Lake utiliza una arquitectura separada de almacenamiento y cómputo específicamente optimizada para vectores de escala masiva y acceso infrecuente, manteniendo los costes drásticamente más bajos que los sistemas en tiempo real.
Las capacidades principales incluyen:
Pila de datos unificada: Conecta sin problemas las capas de datos online y offline con formatos consistentes y almacenamiento eficiente, para que puedas mover datos entre niveles calientes y fríos sin reformatear ni realizar migraciones complejas.
Ecosistema de cómputo compatible: Funciona de forma nativa con frameworks como Spark y Ray, admitiendo desde búsqueda vectorial hasta ETL y analítica tradicionales. Esto significa que tus equipos de datos existentes pueden trabajar con datos vectoriales utilizando herramientas que ya conocen.
Arquitectura optimizada para costes: Los datos calientes permanecen en SSD o NVMe para un acceso rápido; los datos fríos se mueven automáticamente a almacenamiento de objetos como S3. Las estrategias inteligentes de indexación y almacenamiento mantienen la E/S rápida cuando la necesitas, al tiempo que hacen que los costes de almacenamiento sean predecibles y asequibles.
No se trata de reemplazar las bases de datos vectoriales, sino de dar a las empresas la herramienta adecuada para cada carga de trabajo. Búsqueda en tiempo real para aplicaciones orientadas al usuario, y lagos de datos vectoriales rentables para analítica y procesamiento histórico.
Seguimos creyendo en la lógica detrás de la Ley de Moore y la Paradoja de Jevons: a medida que baja el coste unitario de la computación, la adopción escala. Lo mismo se aplica a la infraestructura vectorial.
Al mejorar los índices, las estructuras de almacenamiento, el almacenamiento en caché y los modelos de despliegue —día tras día— esperamos hacer que la infraestructura de IA sea más accesible y asequible para todos, y ayudar a llevar los datos no estructurados al futuro nativo de IA.
¡Muchísimas gracias a todos!
Esas más de 35K estrellas representan algo de lo que estamos genuinamente orgullosos: una comunidad de desarrolladores que encuentran Milvus lo suficientemente útil como para recomendarlo y contribuir a él.
Pero no hemos terminado. Milvus tiene errores que corregir, mejoras de rendimiento que realizar y funciones que nuestra comunidad ha estado pidiendo. Nuestra hoja de ruta es pública, y realmente queremos vuestra opinión sobre qué priorizar.
El número en sí no es lo que importa: es la confianza que esas estrellas representan. La confianza en que seguiremos construyendo de forma abierta, escuchando los comentarios y haciendo que Milvus sea mejor.
A nuestros colaboradores: vuestros PRs, informes de errores y mejoras de documentación hacen que Milvus sea mejor cada día. Muchísimas gracias.
A nuestros usuarios: gracias por confiar en nosotros con sus cargas de trabajo de producción y por los comentarios que nos mantienen honestos.
A nuestra comunidad: gracias por responder preguntas, organizar eventos y ayudar a los recién llegados a empezar.
Si eres nuevo en las bases de datos vectoriales, nos encantaría ayudarte a empezar. Si ya usas Milvus o Zilliz Cloud, nos encantaría conocer tu experiencia. Y si simplemente tienes curiosidad por lo que estamos construyendo, nuestros canales de la comunidad siempre están abiertos.
Sigamos construyendo la infraestructura que hace posibles las aplicaciones de IA—juntos.
Encuéntranos aquí: Milvus en GitHub | Zilliz Cloud | Discord | LinkedIn | X | YouTube
Sigue leyendo
Introducing Zilliz Cloud Global Cluster: Region-Level Resilience for Mission-Critical AI
Zilliz Cloud Global Cluster delivers multi-region resilience, automatic failover, and fast global AI search with built-in security and compliance.
Announcing the General Availability of Single Sign-On (SSO) on Zilliz Cloud
SSO is GA on Zilliz Cloud, delivering the enterprise-grade identity management capabilities your teams need to deploy vectorDB with confidence.
Expanding Our Global Reach: Zilliz Cloud Launches in Azure Central India
Zilliz Cloud expands to Azure Central India. This new region helps customers meet compliance, reduce latency, and optimize cloud costs when building AI applications.