Democratizando las bases de datos vectoriales: potenciando el acceso y la igualdad
Esta publicación se publicó originalmente en TheSequence y se vuelve a publicar aquí con permiso.
El siglo XXI se trata de la democratización de la tecnología. El auge de internet permitió la colaboración a gran escala, lo que llevó a que el código abierto se convirtiera en un patrón típico de adopción de software. A medida que crecen el ritmo y la escala de la innovación tecnológica, debemos trabajar para hacerla más accesible.
Como ingeniero de software, la democratización de la tecnología significa hacerla lo más ampliamente disponible posible. Significa usar lo que sé para facilitar a otros la creación, adopción y comprensión de los avances tecnológicos. Aquí en Zilliz, siempre nos hemos centrado en acelerar la adopción de las bases de datos vectoriales, no solo en aumentar la adopción del proyecto de código abierto Milvus.
En este artículo, voy a cubrir:
Qué significa democratizar las bases de datos vectoriales para los desarrolladores
Pilares de la democratización de la tecnología
Educación sobre bases de datos vectoriales y herramientas relacionadas
Aumentar la accesibilidad a las bases de datos vectoriales
Evangelización tecnológica
Un resumen de la democratización de las bases de datos vectoriales
¿Qué significa democratizar las bases de datos vectoriales para los desarrolladores?
Siempre que escucho “democratizar” en el contexto de “democratizar la tecnología XYZ”, pienso en ampliar el acceso a esa tecnología. Así que cuando se trata de bases de datos vectoriales, pienso en ampliar el acceso a las bases de datos vectoriales. Tradicionalmente, las bases de datos vectoriales solo han estado disponibles para desarrolladores de software en empresas.
Milvus inició el proceso de democratizar las bases de datos vectoriales cuando se convirtió en un proyecto open-source de la Linux Foundation. Fue una de las primeras bases de datos vectoriales disponibles para los desarrolladores al ser un proyecto de código abierto. A medida que el proyecto ha crecido, cada vez más desarrolladores han podido usar, aprender sobre y contribuir a las bases de datos vectoriales.
Pilares de la democratización de la tecnología
La democratización de la tecnología conlleva desafíos específicos, especialmente la democratización de herramientas complejas como las bases de datos vectoriales. Hay tres pilares a considerar cuando se trata de democratizar la tecnología. Son la educación, el aumento de la accesibilidad y la evangelización.
Educación sobre bases de datos vectoriales y herramientas relacionadas
La educación es el tema más crucial que muchas empresas suelen abordar mal. La educación consiste en educar sobre tu producto específico, la tecnología en general y las herramientas relacionadas. Por eso aquí en Zilliz creamos contenido sobre muchas cosas, no solo sobre Milvus.
El contenido que escribimos refleja nuestro deseo de acelerar la adopción de las bases de datos vectoriales mediante la educación. Por lo tanto, tenemos contenido sobre conceptos esenciales como Hierarchical Navigable Small Worlds (HNSW), cuantización escalar y de producto, e índices de archivos invertidos.
Además de proporcionar recursos para comprender los conceptos detrás de las bases de datos vectoriales, debemos proporcionar recursos para herramientas relacionadas. Por ejemplo, la popularidad de los grandes modelos de lenguaje (LLMs) ha dado paso a una variedad de nuevas herramientas.
Algunas herramientas nuevas que han pasado a primer plano incluyen LlamaIndex, Auto-GPT, y LangChain. Además, en consonancia con nuestro objetivo de proporcionar recursos educativos para la comunidad, muchas de nuestras piezas de contenido se publican en terceros, como The Sequence, The New Stack y algunas publicaciones de Medium.
Aumentar la accesibilidad a las bases de datos vectoriales
Aunque proporcionar educación sobre tecnología es excelente, no resulta útil a menos que ofrezcas formas de acceder a ella. En nuestro caso, hacer que Milvus fuera de código abierto fue el primer paso para aumentar el acceso a las bases de datos vectoriales. Más allá de ser simplemente de código abierto, el proyecto Milvus también ha seguido otras vías para aumentar la accesibilidad.
Milvus también está disponible mediante imágenes de Docker con plantillas para Docker Compose y Helm. Además, recientemente lo pusimos a disposición mediante pip install como Milvus Lite. Milvus ha acumulado más de 3,5 millones de descargas de Docker, 18,8 mil estrellas en GitHub y 212 colaboradores.
Además de Milvus, Zilliz también ha trabajado para aumentar la accesibilidad. Inicialmente, Zilliz proporcionaba $400 en créditos gratuitos y ahora ofrece un nivel gratuito que permite hasta medio millón de vectores. Eso es suficiente para prácticamente cualquier desarrollador. Con el nivel gratuito de Zilliz Cloud, casi cualquier desarrollador puede empezar con las bases de datos vectoriales, gratis.
Evangelización tecnológica
El último pilar que hay que abordar para democratizar la tecnología es evangelizarla. ¿De qué sirve poner la tecnología a disposición y proporcionar educación sobre ella si no le cuentas a la gente por qué es útil? En términos de acelerar la adopción, la educación explica el cómo, y aumentar la accesibilidad cubre el qué; la evangelización proporciona el porqué.
Hacemos evangelización principalmente mediante contenido que muestra el poder de las bases de datos vectoriales. Puedes verlo en parte del material educativo que proporcioné arriba. También damos charlas sobre bases de datos vectoriales. Algunas charlas son virtuales y otras presenciales. Recientemente di una charla en Seattle sobre el uso de bases de datos vectoriales como solución para resolver problemas de datos con LLMs.
Resumen: democratizar las bases de datos vectoriales
Democratizar las bases de datos vectoriales es fundamental porque las bases de datos vectoriales resuelven muchos problemas en datos no estructurados. Anteriormente solo estaban disponibles para desarrolladores de grandes empresas debido a la gran complejidad y escala de un proyecto así. Sin embargo, la popularidad de los LLMs ha llevado la idea de las bases de datos vectoriales al público general y ha dado lugar a innumerables casos de uso que antes no tenían. Esto hace que la democratización sea aún más crítica.
En Zilliz, abordamos la democratización con tres pilares: educación, accesibilidad y evangelización. La educación es la parte más crucial de estos pilares para nosotros. Para los desarrolladores, el material educativo proporciona el “cómo” usar las bases de datos vectoriales y herramientas complementarias.
Además, siempre hemos trabajado para aumentar la accesibilidad y seguimos haciéndolo. Hacer que el software fuera de código abierto fue el primer paso. Otros pasos para aumentar la accesibilidad incluyen proporcionar plantillas e imágenes para la contenedorización. Recientemente lanzamos Milvus Lite, una base de datos vectorial que puede ejecutarse directamente en tu Jupyter Notebook.
Por último, participamos en la evangelización técnica para difundir el uso y el poder de las bases de datos vectoriales. Lo hacemos proporcionando seminarios web, hablando en eventos comunitarios y estando presentes en las redes sociales.
Zilliz continúa esforzándose por democratizar las bases de datos vectoriales, y esto es emocionante por lo importantes que son. Las bases de datos vectoriales son fundamentales para resolver problemas de datos en LLMs y son la mejor solución existente para cosas como la búsqueda inversa de imágenes, la búsqueda semántica de texto y las recomendaciones de productos. Personalmente, me entusiasma formar parte de un equipo que ayuda a hacer crecer el ámbito de las bases de datos vectoriales y espero con ilusión todas las cosas increíbles que se están construyendo para y por la comunidad!
Sigue leyendo
Top 10 Context Engineering Techniques You Should Know for Production RAG
A practical guide to context engineering for production LLM systems, covering RAG, context processing, memory, agents, and multimodal context.
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.
8 Latest RAG Advancements Every Developer Should Know
Explore eight advanced RAG variants that can solve real problems you might be facing: slow retrieval, poor context understanding, multimodal data handling, and resource optimization.