La evolución y el futuro de la IA y su influencia en las bases de datos vectoriales: perspectivas de Charles, CEO de Zilliz
Esta es la segunda entrega de nuestra serie de blog de dos partes.
Bienvenidos de nuevo a la segunda entrada de nuestra serie de blog de dos partes, donde seguimos explorando la interacción dinámica entre la Inteligencia Artificial (IA), en particular los grandes modelos de lenguaje (LLMs), y las bases de datos vectoriales, guiados por las perspectivas de Charles Xie, CEO de Zilliz.
En la primera parte, sentamos las bases explorando la naturaleza y el estado actual de las bases de datos vectoriales, detallando el desarrollo de Milvus, y contemplando la trayectoria futura de la tecnología de bases de datos vectoriales. Esta entrega amplía estos fundamentos, adentrándose en la evolución de las tecnologías de IA, analizando el papel crítico que desempeñan las bases de datos vectoriales en la era de los Modelos Fundacionales, y pronosticando cómo estas tecnologías entrelazadas moldearán el progreso mutuo en el futuro.
Bases de datos vectoriales pioneras: el recorrido pre-LLM de Zilliz en la innovación de IA
Hace seis años, en Zilliz nos embarcamos en el desarrollo de la base de datos vectorial Milvus, entrando en un territorio en gran medida inexplorado mucho antes de la llegada de los grandes modelos de lenguaje. Incluso entonces, creíamos que las bases de datos vectoriales eran esenciales para un amplio espectro de aplicaciones de IA, abriendo extensos casos de uso y oportunidades de mercado.
En aquel entonces, mientras gigantes tecnológicos como Google, DeepMind y OpenAI avanzaban en el desarrollo de algoritmos, y NVIDIA e Intel mejoraban la potencia computacional, el aspecto crítico de la gestión de datos, en particular para los datos no estructurados, que ya representaban el 80% de los datos del mundo, estaba algo pasado por alto. Así, las bases de datos vectoriales surgieron como una solución para satisfacer la demanda apremiante dentro del panorama de IA pre-LLM. Proporcionaron una herramienta poderosa para gestionar eficientemente datos no estructurados en diversos dominios, incluidos el procesamiento del lenguaje, la visión por computadora y los sistemas de recomendación. Esta tecnología permite a los desarrolladores aprovechar los datos no estructurados de manera más efectiva en el desarrollo de aplicaciones de IA, mostrando nuestro espíritu pionero en el ámbito de las bases de datos vectoriales.
Transición de bases de datos vectoriales centradas en la empresa a una IA democratizada para todos
Cuando iniciamos nuestra iniciativa hace seis años, nuestro objetivo principal era atender las necesidades complejas de los usuarios empresariales e interactuar con los primeros adoptantes en áreas como sistemas de recomendación, comercio electrónico y reconocimiento de imágenes. Estos sectores exigían un sistema de base de datos vectorial confiable, escalable y de alto rendimiento para sus entornos de producción.
Nuestro recorrido también nos llevó a forjar alianzas estratégicas con empresas de IA consolidadas, en particular aquellas que manejaban conjuntos de datos masivos para el procesamiento del lenguaje natural. En ese momento, el panorama de la IA estaba dominado principalmente por hyperscalers y grandes corporaciones, donde el desarrollo de algoritmos y aplicaciones de IA implicaba un costo significativo. Estas alianzas resultaron ser invaluables, proporcionándonos perspectivas únicas.
Sin embargo, el panorama de la IA ha experimentado una transformación significativa en los últimos dos años, impulsada por los avances en las tecnologías modernas de IA y la proliferación de grandes modelos de lenguaje. Hemos visto un aumento notable en el número de desarrolladores independientes de IA, que son principalmente equipos pequeños o colaboradores individuales. Este cambio supone la transición de una era de IA centrada en las empresas a un entorno de IA más democratizado, donde la IA está ahora al alcance de una gama más amplia de participantes. En respuesta a este panorama cambiante, nuestros objetivos han evolucionado para no solo proporcionar soluciones empresariales de alta gama, sino también para hacer que los servicios de búsqueda vectorial sean más accesibles para desarrolladores individuales y equipos pequeños.
Por otro lado, aunque las grandes empresas tradicionales han reconocido el potencial de las tecnologías modernas de IA y los LLMs, se enfrentan a desafíos como requisitos de seguridad estrictos y una escasez de experiencia en IA moderna. Estamos ayudando a estas empresas a superar dichos obstáculos aprovechando nuestras capacidades de IA y nuestra experiencia en el cumplimiento de estándares y requisitos de la industria.
Un ejemplo destacado de este cambio es la creación de Zilliz Cloud, una versión totalmente gestionada de Milvus en la nube, que ofrece propuestas asequibles y operaciones simplificadas adaptadas tanto a desarrolladores interesados en crear prototipos y experimentar con el desarrollo de aplicaciones de IA como a empresas que buscan capacidades modernas de IA con escalabilidad, rendimiento y tolerancia a fallos. Este giro estratégico refleja nuestro compromiso con la democratización de la IA, garantizando que las tecnologías de bases de datos vectoriales de vanguardia estén al alcance de innovadores de todos los niveles.
La importancia de las bases de datos vectoriales en la era de rápida evolución de la IA y los LLMs
Las bases de datos vectoriales están diseñadas para la recuperación por similitud semántica dentro de una amplia variedad de datos no estructurados, incluidos texto, imágenes, audio, vídeos, datos geoespaciales, patrones de comportamiento y secuencias biológicas complejas, como la genética y las estructuras de proteínas. Estas bases de datos permiten que los ordenadores y las máquinas analicen, comprendan y utilicen estos datos mediante modelos y algoritmos sofisticados de aprendizaje profundo para la adquisición de conocimiento y la toma de decisiones.
El último año ha sido testigo de un aumento drástico en el mercado de las bases de datos vectoriales, impulsado por el rápido avance de los LLMs como ChatGPT. Las bases de datos vectoriales sirven como memoria a largo plazo y depósito de conocimiento externo de los LLMs, mitigando sus problemas de "alucinaciones."
Además de los grandes modelos de lenguaje, también presenciaremos el auge de un espectro más amplio de Foundation Models durante los próximos años, algo ya observable en la visión por ordenador y que pronto se expandirá a campos como la conducción autónoma, los motores de recomendación y la investigación biofarmacéutica. Cada Foundation Model requiere un sistema de almacenamiento semántico capaz de manejar diversos tipos de datos, incluidos texto, imágenes e interacciones de usuarios. Las bases de datos vectoriales destacarán al ofrecer una solución de gestión de datos práctica, accesible y económica, mejorando la recuperación de datos semánticos en diferentes Foundation Models, lo que beneficiará ampliamente a los desarrolladores.
Un aumento esperado del 80% en la precisión de recuperación RAG con Milvus 3.0
La generación aumentada por recuperación (RAG) es una tecnología de IA de vanguardia que incorpora LLM y bases de datos vectoriales. Su propósito principal es abordar los problemas de alucinación en los LLM mediante la integración de información contextual. Un sistema RAG típico está compuesto por una base de datos vectorial, un LLM y prompts como código. La base de datos vectorial desempeña un papel crucial en este sistema, almacenando información específica del dominio o privada y recuperando las piezas más relevantes como contextos para el LLM. Este proceso permite que el LLM genere respuestas más precisas y de mayor calidad.
A pesar de los avances significativos en la tecnología RAG durante el último año, lograr una alta precisión de recuperación sigue siendo un desafío. Para abordar este problema, estamos introduciendo capacidades mejoradas de búsqueda híbrida en nuestro próximo lanzamiento de Milvus 3.0. Se espera que esta combinación de búsquedas precisas basadas en palabras clave y búsquedas de similitud basadas en vectores eleve las tasas de recuperación de RAG del 30%-40% anterior al 80%-90%, atendiendo a una gama más amplia de casos de uso.
¿Qué implica lograr un 80% de precisión? Consideremos una aplicación RAG de nivel empresarial: con una tasa de precisión del 60%, ya supera las habilidades analíticas de la mitad de la fuerza laboral de la empresa. Sin embargo, aumentar esta tasa al 80% significa que la calidad de salida de la IA superaría la del 80% al 90% de los empleados, incluidos los altos ejecutivos. Por lo tanto, alcanzar un punto de referencia de precisión del 80% indica que la IA puede proporcionar resultados más precisos y de calidad, revolucionando la experiencia del usuario y amplificando el impacto de los productos impregnados de IA.
ChatGPT y bases de datos vectoriales: ¿complemento o competidor en la búsqueda semántica?
Los modelos de lenguaje grandes como ChatGPT y las bases de datos vectoriales utilizan embeddings vectoriales para representar y comprender el significado semántico de datos no estructurados. Estos embeddings se comparan utilizando métricas de distancia como la euclidiana o el coseno, lo que permite un análisis y una consulta de datos eficientes basados en la similitud semántica de los datos. Esta sinergia plantea preguntas sobre el potencial de ChatGPT para eclipsar a las bases de datos vectoriales en la búsqueda semántica.
A pesar de sus funcionalidades superpuestas, ChatGPT no es un sustituto de las bases de datos vectoriales. La fortaleza de ChatGPT radica en comprender y generar texto coherente y contextualmente relevante basado en la entrada que recibe, en lugar de funcionar como una base de datos para realizar operaciones exactas de búsqueda semántica. Por otro lado, las bases de datos vectoriales están diseñadas específicamente para almacenar y recuperar embeddings vectoriales, facilitando búsquedas eficientes de similitud semántica.
Además, las implicaciones de costo de realizar búsquedas semánticas difieren significativamente entre las bases de datos vectoriales y los LLM. Ejecutar una búsqueda semántica en un sistema de base de datos vectorial demuestra ser aproximadamente 100 veces más rentable que llevar a cabo estas operaciones dentro de un modelo de lenguaje grande. Esta diferencia sustancial de costos impulsa a muchas empresas líderes de IA, incluida OpenAI, a promover el uso de bases de datos vectoriales en aplicaciones de IA para la búsqueda semántica y de vecinos más cercanos k.
La distinción entre los LLM y las bases de datos vectoriales se hará más evidente en los próximos cinco años. Los LLM están preparados para emerger como sofisticados procesadores semánticos sobre la infraestructura informática tradicional. Al mismo tiempo, las bases de datos vectoriales han evolucionado como sofisticadas soluciones de almacenamiento semántico, ofreciendo recuperación inteligente de datos en medios de almacenamiento estándar como discos, cintas, almacenamiento en la nube y sistemas de archivos.
El futuro de la IA: el auge de la inteligencia general asequible en cinco años
En el próximo lustro, a medida que evolucionen los algoritmos de aprendizaje automático, se prevé que la IA se vuelva exponencialmente más inteligente, potencialmente 100 veces más que hoy. Sin embargo, el desafío crucial radica en hacer que esta IA avanzada sea accesible y asequible. Aunque los gastos asociados con las implementaciones de IA tienden a la baja, los costos acumulados, incluida la adquisición de hardware, el uso de grandes modelos de lenguaje y el mantenimiento operativo continuo, siguen siendo considerablemente altos. Por ejemplo, reducir la tarifa de suscripción de un asistente de IA de $20-30 a $3-5 al mes podría ampliar significativamente su base de usuarios. Por lo tanto, la visión para los próximos cinco años es el surgimiento de la Inteligencia General Asequible (AGI), cuyo objetivo es hacer que las soluciones de IA sean económicamente viables para todas las personas y empresas, logrando así la democratización de la tecnología de IA.
Como proveedor de bases de datos vectoriales, estamos comprometidos a contribuir a este futuro mejorando la eficiencia de la gestión de datos y reduciendo costos, lo que permitirá un acceso más amplio a las tecnologías de IA.
Sigue leyendo
Zilliz Skills Breakdown: How AI Agents Master Vector Databases
Zilliz's Milvus Skill (pymilvus, 7 files) and Zilliz Cloud Skill (zilliz-cli, 14 modules) bring vector-DB dev and ops into one Claude Code session.
Introducing Zilliz Cloud Global Cluster: Region-Level Resilience for Mission-Critical AI
Zilliz Cloud Global Cluster delivers multi-region resilience, automatic failover, and fast global AI search with built-in security and compliance.
1 Table = 1000 Words? Foundation Models for Tabular Data
TableGPT2 automates tabular data insights, overcoming schema variability, while Milvus accelerates vector search for efficient, scalable decision-making.