La evolución y el futuro de las bases de datos vectoriales: perspectivas de Charles, CEO de Zilliz
Esta es la primera entrega de nuestra serie de blog de dos partes sobre la evolución y el futuro de las bases de datos vectoriales y la IA.
Las bases de datos vectoriales han surgido como una innovación crítica en el área de la ciencia de datos y la inteligencia artificial, que evoluciona rápidamente, impulsadas por el aumento de datos complejos y no estructurados y el auge de los grandes modelos de lenguaje (LLMs). Este nuevo tipo de base de datos es fundamental para gestionar y consultar semánticamente datos no estructurados mediante embeddings vectoriales, modernizando la accesibilidad y el análisis de datos, y satisfaciendo las demandas de las aplicaciones de IA de próxima generación. Guiado por las perspectivas de Charles, CEO de Zilliz, este blog examina la evolución, la dinámica actual y la trayectoria futura de las bases de datos vectoriales.
¿Qué es una base de datos vectorial?
Una base de datos vectorial es una infraestructura de datos de vanguardia diseñada para gestionar y consultar datos no estructurados como imágenes, videos y lenguajes naturales. Podemos utilizar algoritmos de aprendizaje profundo para transformar datos no estructurados en un formato de datos novedoso conocido como embeddings vectoriales. Luego, almacenamos estos embeddings en una base de datos vectorial, lo que nos permite realizar consultas semánticas sobre esos datos. Esta capacidad es potente porque, a diferencia de las búsquedas tradicionales basadas en palabras clave, nos permite examinar la semántica de los datos no estructurados, ofreciendo una experiencia de búsqueda más matizada y rica en contexto.
Los desarrolladores utilizan ampliamente las bases de datos vectoriales para crear sistemas de recomendación inteligentes y personalizados, chatbots impulsados por IA y búsqueda semántica. Con el auge de los LLMs, las bases de datos vectoriales han surgido como un componente clave de infraestructura de la generación aumentada por recuperación (RAG), proporcionando a los LLMs conocimiento adicional como contexto de consulta para generar respuestas altamente relevantes.
El panorama actual de las bases de datos vectoriales
Actualmente, el mercado está poblado por numerosas "bases de datos vectoriales", incluidas bases de datos vectoriales especialmente diseñadas como Milvus, bases de datos tradicionales con un plugin de búsqueda vectorial como Elasticsearch, bases de datos vectoriales ligeras como Chroma, y muchas más tecnologías con capacidades de búsqueda vectorial como FAISS. Aunque existen muchos tipos de bases de datos vectoriales, no todas son iguales.
Tecnologías de búsqueda vectorial
Algunas adoptan enfoques similares a los sistemas embebidos, como Chroma, que destaca como líder en este aspecto. Su ventaja radica en su huella mínima, lo que hace que sea excepcionalmente sencillo para los usuarios configurarlo e iniciar operaciones. Sin embargo, al igual que SQLite, Chroma no es un sistema de base de datos completo, sino una biblioteca en tiempo de ejecución. En consecuencia, carece de soporte para funcionalidades esenciales como la persistencia de datos, la recuperación de datos y, notablemente, la escalabilidad.
Bases de datos como PGVector y Pinecone han adoptado un enfoque de escalado vertical. Cuando se implementan en procesadores más avanzados, logran un rendimiento superior dentro de una instancia de un solo nodo, lo que infunde confianza a corto plazo en sus capacidades. Sin embargo, el escalado vertical tiene limitaciones, principalmente debido a las restricciones físicas impuestas por una máquina de un solo nodo. Pinecone, por ejemplo, admite una cantidad sustancial de pods, pero está restringido por las llamadas de CPU en una única arquitectura x86. Optar por las arquitecturas de CPU más recientes y más costosas es necesario para superar estos límites.
Otra desventaja del modelo de escalado vertical es el riesgo de un único punto de fallo. En caso de fallo de un nodo, todos los datos asociados con ese nodo se perderán. En contraste, una arquitectura distribuida inherente al enfoque de escalado horizontal permite mecanismos eficientes de replicación de datos y conmutación por error. En el peor de los casos, al perder un nodo en un sistema distribuido con, por ejemplo, 16 nodos, solo una fracción (1/16) de los datos se ve comprometida. Recuperar esta porción más pequeña de datos es más manejable y rápido, minimizando el riesgo de pérdida total de datos.
¿Cómo construimos la base de datos vectorial Milvus?
Antes de explorar nuestro recorrido de construcción de Milvus, hablemos de la esencia de los sistemas de bases de datos. En términos generales, un sistema de base de datos integral comprende una capa de almacenamiento, un formato de almacenamiento especificado, una capa de orquestación de datos responsable de colocar o almacenar en caché los datos en ubicaciones apropiadas, un optimizador de consultas y un motor de ejecución eficiente. El motor de ejecución y el optimizador de consultas deben ser flexibles para adaptarse y optimizarse para un espectro más amplio de infraestructuras de hardware, dada la proliferación de arquitecturas heterogéneas durante la última década. Esta flexibilidad se basa en diversos procesadores subyacentes, que abarcan CPU modernas, procesadores ARM, GPU y una variedad de aceleradores diseñados explícitamente para aplicaciones de IA. Dicha integración permite elaborar planes de ejecución óptimos que aprovechan las fortalezas únicas de cada tipo de procesador, mejorando así significativamente la eficiencia y el rendimiento de la ejecución de consultas.
Entonces, ¿cuál es nuestra filosofía para construir el sistema de base de datos vectorial Milvus?
Adoptar la computación heterogénea
Desde sus inicios, Milvus se ha comprometido plenamente con la computación heterogénea, mostrando su versatilidad y alto rendimiento en varios procesadores modernos. Admite diverso hardware, desde CPU Intel y AMD hasta procesadores ARM y GPU Nvidia. Las capacidades de integración de Milvus cubren tareas de procesamiento de vectores de IA, desde álgebra lineal básica hasta intrincados cálculos basados en grafos. Esta compatibilidad es crucial porque cada tipo de procesador tiene un conjunto de instrucciones, una arquitectura de caché y un modelo de ejecución únicos. Adaptar algoritmos y optimizar el motor de ejecución para que coincida con estas características distintivas maximiza el rendimiento y la eficiencia.
Admitir escalabilidad tanto vertical como horizontal
A medida que los volúmenes de datos continúan creciendo, la escalabilidad se convierte en una preocupación crítica. Diseñamos el sistema Milvus para abordar este desafío mediante escalabilidad tanto vertical (escalado vertical) como horizontal (escalado horizontal). Esta capacidad implica desarrollar diversos algoritmos distribuidos para facilitar el escalado horizontal y adoptar estrategias robustas para la consistencia, sincronización, replicación y recuperación de datos en caso de fallos inesperados del sistema.
Ofrecer una experiencia de desarrollador fluida desde el prototipado hasta la producción
Ofrecemos un conjunto de modos de despliegue de Milvus para satisfacer las necesidades únicas de las diferentes etapas del desarrollo: Milvus Lite para la creación rápida de prototipos, Milvus Standalone para aplicaciones de menor escala, Milvus Cluster para escalabilidad horizontal y Zilliz Cloud (el Milvus totalmente gestionado) para facilitar la gestión. Además de mantener la posición líder en el mercado de bases de datos vectoriales de alto rendimiento, estamos comprometidos con mejorar la experiencia de los desarrolladores de IA que son nuevos en la búsqueda. Pronto actualizaremos Milvus Lite a un modo de despliegue aún más fácil de usar y más amigable para principiantes.
La filosofía central es sencilla: implementar el código del lado del cliente una sola vez y usarlo en cualquier etapa del desarrollo de tu aplicación con instancias de Milvus adaptadas, desde la creación de prototipos en un notebook de Jupyter hasta un servicio de producción que sirva miles de millones de documentos, dondequiera que se necesite búsqueda vectorial.
Para obtener una guía detallada sobre cómo elegir entre las cuatro versiones diferentes de Milvus, consulta este blog sobre con qué versión de Milvus empezar.
¿Cómo elegir la base de datos vectorial adecuada para tu negocio?
Al considerar el cambio a una base de datos vectorial, hay dos aspectos principales que evaluar:
Primero, evalúa si el rendimiento de la búsqueda vectorial es fundamental para tu negocio. Por ejemplo, si estás creando una solución de Generación Aumentada por Recuperación (RAG) que presta servicio a millones de usuarios a diario y es central para tu negocio, el rendimiento de la computación vectorial se vuelve primordial. En tal caso, se recomienda optar por un sistema de base de datos vectorial puro. Una base de datos vectorial especializada como Zilliz Cloud no solo garantiza un rendimiento constante y óptimo, sino que también se alinea con tus requisitos de SLA, proporcionando tranquilidad para servicios de misión crítica donde el rendimiento no es negociable.
Segundo, considera el crecimiento proyectado del volumen de datos a lo largo del tiempo. A medida que tu servicio funciona durante un período prolongado, el volumen de tus conjuntos de datos crece, lo que convierte la optimización de costos en una preocupación inevitable para tu toma de decisiones. La mayoría de los sistemas de bases de datos vectoriales puros del mercado ofrecen un rendimiento superior mientras requieren menos recursos, lo que los hace altamente rentables. En este contexto, Milvus destaca, mostrando una rentabilidad más de 100 veces superior a alternativas como PG Vector, OpenSearch y otras soluciones de bases de datos web no nativas.
Además de los factores anteriores, el rendimiento, la escalabilidad y la funcionalidad se encuentran entre las principales métricas para evaluar una base de datos vectorial. Para obtener una guía más detallada sobre la evaluación de bases de datos vectoriales, consulta este blog de benchmarking
¿Cuándo es innecesaria una base de datos vectorial distribuida a gran escala?
Una base de datos vectorial de tamaño completo podría ser excesiva para desarrolladores y organizaciones que trabajan en prototipos o prueban soluciones RAG. Podría bastarles con una base de datos vectorial ligera que se ejecute localmente. Para proporcionar a los usuarios una experiencia de usuario más óptima, Milvus tendrá mayor soporte para el despliegue local, adaptado para una configuración más rápida durante las etapas iniciales del desarrollo.
Nuestro compromiso se extiende a proporcionar una experiencia unificada para los desarrolladores, independientemente de la escala o complejidad de su proyecto. Tanto si estás probando la pila de IA en tu portátil como si buscas una solución de búsqueda vectorial escalable y lista para producción, Milvus garantiza un recorrido fluido. A medida que avanzas del prototipo a la producción, puedes migrar fácilmente a la implementación con Docker y Kubernetes para obtener un rendimiento superior y mayor personalización gracias a su arquitectura distribuida, y beneficiarte de las interfaces SDK y API coherentes. En el camino bien iluminado, solo necesitas escribir tu programa una vez, y puede ejecutarse sin problemas en diversos entornos, desde portátiles hasta centros de datos y nubes públicas. Nuestro objetivo es empoderar a los desarrolladores en cada etapa, ofreciendo flexibilidad sin comprometer la experiencia de usuario.
¿Cuál es el futuro de las bases de datos vectoriales?
Hemos presenciado una expansión en las funcionalidades ofrecidas por los sistemas de bases de datos vectoriales. En los últimos años, estos sistemas se centraron principalmente en proporcionar una única funcionalidad: la búsqueda aproximada de vecinos más cercanos (búsqueda ANN). Sin embargo, el panorama está evolucionando, y en los próximos dos años veremos una variedad más amplia de funcionalidades.
Tradicionalmente, las bases de datos vectoriales admitían la búsqueda basada en similitud. Ahora, están ampliando sus capacidades para incluir la búsqueda exacta o la coincidencia. Esta versatilidad te permite analizar tus datos a través de dos perspectivas: una búsqueda por similitud para una comprensión más amplia y una búsqueda exacta para los matices. Al combinar estos dos enfoques, los usuarios pueden ajustar con precisión el equilibrio entre obtener una visión general de alto nivel y profundizar en detalles específicos.
Obtener un esbozo de los datos podría ser suficiente para ciertas situaciones, y una búsqueda basada en semántica funciona bien. Sin embargo, en situaciones donde las diferencias mínimas importan, los usuarios pueden acercarse a los datos y examinar cada entrada en busca de características sutiles.
Es probable que las bases de datos vectoriales admitan cargas de trabajo adicionales de computación vectorial, como la agrupación y la clasificación vectoriales. Estas funcionalidades no son solo características adicionales, sino que son particularmente relevantes e impactantes en aplicaciones como la detección de fraude y la detección de anomalías. Aquí, las técnicas de aprendizaje no supervisado pueden aplicarse para agrupar o clasificar embeddings vectoriales, identificando patrones comunes y potencialmente previniendo pérdidas significativas.
En la siguiente parte de la serie del blog, compartiré mis ideas sobre la evolución de las tecnologías de IA y cómo influyen en el futuro de las bases de datos vectoriales. ¡Mantente atento!
Sigue leyendo
Zilliz Cloud Now Available in AWS Asia Pacific (Seoul)
Zilliz Cloud is now available in AWS Seoul — low-latency vector search, in-country data residency, and one-step migration for Korean AI teams. 31 regions across 5 clouds.
Introducing Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud
We're announcing the general availability of Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud.
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.