Zilliz asistió al Taller VLDB 2021
¿Qué avances importantes hubo en la industria de bases de datos en 2021?
Este agosto, Zilliz fue invitada al VLDB Workshop 2021 para compartir sus últimos avances de investigación y logros en la aplicación de métodos de aprendizaje automático a sistemas de bases de datos junto con Harvard University, Carnegie Mellon University, Tsinghua University, Microsoft y muchas otras organizaciones. El investigador sénior de Zilliz, el Dr. Xiaomeng Yi, presentó los antecedentes de desarrollo, las ideas de diseño, los desafíos y las innovaciones tecnológicas durante el desarrollo de Milvus, una base de datos vectorial de código abierto.
VLDB, SIGMOD e ICDE son conocidas como las tres conferencias más prestigiosas en el campo de las bases de datos. Recientemente, el resultado de investigación del equipo de investigación de Zilliz, Milvus: A Purpose Built Vector Data Management System, fue seleccionado por SIGMOD e incluido como uno de los 21 artículos de este año debido a la excelente funcionalidad subyacente y la perfecta aplicación en escenarios empresariales de Milvus.
Cada día, el mundo produce una enorme cantidad de datos, de los cuales más del 80% son datos no estructurados difíciles de procesar. Mientras que las bases de datos tradicionales solo pueden almacenar datos estructurados, el equipo de ingenieros de Milvus propuso una hipótesis: todos los datos pueden representarse de manera uniforme mediante vectores a nivel semántico, independientemente de los tipos de datos. El Dr. Yi comentó que si se utiliza el modelo de red neuronal de IA para extraer la semántica de los datos y presentarla de manera uniforme como vectores, la lógica de procesamiento de muchos datos puede ejecutarse directamente en el nivel de los vectores.
Milvus está diseñado específicamente para el análisis y la recuperación de vectores de características masivos. Proporciona un marco completo para la actualización, indexación y búsqueda de similitud de datos vectoriales, que no solo puede realizarse en tiempo real sobre datos en streaming, sino que también satisface los diversos requisitos de búsqueda en escenarios empresariales reales. Hasta ahora, Milvus ha lanzado dos versiones: 1.0 y 2.0. El código fuente de Milvus es completamente de código abierto en GitHub y se ha utilizado ampliamente en los campos de vanguardia de la inteligencia artificial. Probado por 1.000 usuarios de todo el mundo, su rendimiento supera ampliamente al de los productos equivalentes.
VLDB
En la presentación, el Dr. Yi introdujo el concepto de diseño de Milvus 2.0: nativo de la nube, registro como datos y procesamiento unificado por lotes y en streaming. Sobre la base de su predecesor, Milvus 2.0 proporciona a los usuarios una experiencia de búsqueda inteligente, estable y fluida.
Ante los dos principales desafíos de la selección de índices y el ajuste de datos en el desarrollo de bases de datos, el Dr. Yi cree que la IA puede abrir las puertas a las mejores soluciones. Por ejemplo, una nueva configuración puede probarse y evaluarse primero en un conjunto de datos pequeño y luego transferirse a un conjunto de datos grande. Utilizar aprendizaje automático para analizar el conjunto de datos existente y guiar la configuración del nuevo conjunto de datos, a fin de lograr un mejor rendimiento que el del algoritmo BOHB actual.
Dr. Xiaomeng Yi (Ph.D. en Arquitectura de Computadores, Huazhong University of Science and Technology), investigador sénior y líder del equipo de investigación de Zilliz. Su investigación se centra en la gestión de datos de alta dimensión, la recuperación de información a gran escala y la asignación de recursos en sistemas distribuidos. Los trabajos de investigación del Dr. Yi se han publicado en revistas líderes y conferencias internacionales, incluidas IEEE Network Magazine, IEEE/ACM TON, ACM SIGMOD, IEEE ICDCS y ACM TOMPECS.
Sigue leyendo
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
Build for the Boom: Why AI Agent Startups Should Build Scalable Infrastructure Early
Explore strategies for developing AI agents that can handle rapid growth. Don't let inadequate systems undermine your success during critical breakthrough moments.
Zilliz Cloud BYOC Upgrades: Bring Enterprise-Grade Security, Networking Isolation, and More
Discover how Zilliz Cloud BYOC brings enterprise-grade security, networking isolation, and infrastructure automation to vector database deployments in AWS