El panorama del ecosistema de GenAI: más allá de los LLM y las bases de datos vectoriales
Desde el lanzamiento revolucionario de ChatGPT hace 20 meses, el espacio de GenAI ha experimentado desarrollos e innovaciones significativos. Inicialmente, los Modelos de Lenguaje Grandes (LLMs) y las bases de datos vectoriales captaron la mayor atención. Sin embargo, el ecosistema de GenAI es mucho más amplio y complejo que solo estos dos componentes. Como creador de la base de datos vectorial, una pieza crucial de infraestructura que potencia las aplicaciones de GenAI, me entusiasma observar los rápidos avances tecnológicos y su impacto en la industria. En este artículo, me gustaría revisar lo que ha estado sucediendo y compartir perspectivas sobre el panorama del ecosistema de GenAI.
Las aplicaciones de IA generativa pueden clasificarse ampliamente en dos tipos principales: Generación Aumentada por Recuperación (RAG) y generación multimedia. RAG combina técnicas de recuperación de información con modelos de lenguaje generativos para producir resultados relevantes y coherentes. Por otro lado, la generación multimedia aprovecha los modelos generativos para crear contenido visual complejo, incluidos anuncios creativos y gemelos digitales.
Generación Aumentada por Recuperación
La Generación Aumentada por Recuperación (RAG) es actualmente uno de los casos de uso más populares de la IA generativa. Un sistema RAG simple consta de varios componentes, incluida la limpieza básica de datos, un modelo de embeddings, una base de datos vectorial y un LLM. Los sistemas RAG más avanzados y de nivel de producción suelen incluir componentes adicionales para mejorar la calidad y la experiencia del usuario. Dado que los sistemas RAG se asemejan a la arquitectura de los sistemas de búsqueda tradicionales, muchos componentes de los sistemas de búsqueda siguen siendo aplicables a RAG hoy en día.
Un sistema de búsqueda típico puede dividirse en dos partes principales: la parte de indexación offline y la parte de servicio de consultas online. De manera similar, RAG consta de una fase de indexación y una fase de servicio de consultas online:
Fase de indexación: La fase de indexación implica la adquisición de datos de diversas fuentes, incluidas bases de datos, APIs y sistemas de archivos. Estos datos pasan por el análisis de archivos y la fragmentación de texto para prepararlos para el análisis. Después del procesamiento, los datos se integran en un formato adecuado y se cargan en una base de datos vectorial para una recuperación eficiente. Algunos sistemas RAG incluso incorporan técnicas avanzadas de minería de datos, como la extracción de etiquetas, la construcción de Grafos de Conocimiento y la resumización, para enriquecer los datos y mejorar el proceso de recuperación.
Fase de servicio: La fase de servicio de consultas online se centra en comprender la intención de la consulta del usuario y emplea diversos métodos de recuperación, incluida la búsqueda por similitud vectorial, para encontrar la información más relevante. El resultado de la recuperación se envía luego a un Modelo de Lenguaje Grande (LLM) para la generación. Durante este paso, el LLM genera resultados coherentes y contextualmente relevantes basados en los datos recuperados. Además, el LLM puede actuar como un agente, aprovechando herramientas externas para mejorar sus capacidades y proporcionar respuestas más completas y precisas.
Como resultado, muchos proyectos de orquestación proporcionan implementaciones de varios componentes y opciones de configuración. La naturaleza compleja de la arquitectura también requiere evaluar el sistema tanto como caja blanca como caja negra, lo que conduce al desarrollo de marcos de evaluación.
Cada componente también atrae a desarrolladores que buscan crear funciones mejores y más ricas, como conectores para cada fuente de datos y modelos de embeddings adaptados a casos de uso específicos. Los marcos de inferencia de LLM ofrecen opciones de despliegue más flexibles para los LLM más allá de los servicios API. Además, los marcos agénticos ayudan a aprovechar mejor las capacidades de razonamiento y uso de herramientas de los LLMs.
Además, algunos proyectos abordan RAG desde diferentes perspectivas, explorando métodos alternativos de recuperación como los grafos de conocimiento, desarrollando frameworks de frontend web para experiencias de UI mejoradas y creando soluciones listas para usar que proporcionan todo el flujo de trabajo de RAG, incluidas las UI de chatbots.
Orquestación y optimización de flujos de trabajo
Para gestionar los flujos de trabajo complejos de las aplicaciones RAG, se utilizan ampliamente SDKs como LangChain, LlamaIndex, Haystack, DSPy y Semantic Kernel. Estos frameworks de orquestación permiten a los desarrolladores crear, personalizar y probar pipelines RAG, garantizando que los pipelines estén compuestos para lograr la mejor calidad de respuesta generativa para casos de uso específicos.
Ejemplo: LlamaIndex
LlamaIndex es un framework para crear aplicaciones aumentadas con contexto utilizando LLMs. Permite a los desarrolladores integrar LLMs con datos privados al proporcionar herramientas para la ingesta, el análisis, la indexación y la consulta de datos. Este enfoque facilita el uso de LLMs para aplicaciones específicas, como preguntas y respuestas, chatbots y comprensión de documentos, al incorporar contexto de fuentes de datos específicas del usuario como APIs, bases de datos SQL y documentos. LlamaIndex ofrece abstracciones programáticas convenientes de componentes de uso común, como diversas estrategias de fragmentación y métodos de búsqueda híbrida.
Evaluación de calidad y observabilidad
Dado que RAG es un sistema complejo, lograr resultados óptimos en escenarios específicos puede ser un desafío. Una metodología de evaluación científica es esencial para abordar estos desafíos. Proyectos como Ragas, Arize, Langfuse, Relari AI, Giskard y DeepEval proporcionan las métricas y herramientas necesarias para la evaluación y la observabilidad. Permiten a los desarrolladores medir cuantitativamente, monitorear y solucionar problemas en sus sistemas RAG.
Ejemplo: Ragas
Ragas es un framework integral para evaluar pipelines RAG. Ragas ofrece herramientas para evaluar métricas de calidad de respuesta, como fidelidad, relevancia y precisión del contexto. Admite la generación de conjuntos de datos de prueba sintéticos, el monitoreo de aplicaciones RAG en producción y la integración con herramientas y plataformas de AI como LangChain y LlamaIndex. Al proporcionar una puntuación Ragas armonizada que encapsula aspectos clave del rendimiento, este framework simplifica y cuantifica el proceso de evaluación, mejorando en última instancia la eficacia y la fiabilidad de los pipelines RAG.
Conector de datos y web scraping
La capacidad de integrar y procesar datos sin problemas desde múltiples fuentes es crucial. Plataformas como Airbyte, Fivetran lideran la provisión de conectores de datos robustos, así como Apify y Zyte para web-scraping. Permiten a las empresas recopilar, transformar e integrar datos de manera eficiente en flujos de trabajo RAG, facilitando el aprovechamiento del poder de la AI para misiones críticas. La adquisición de datos y la conectividad fueron fundamentales para los sistemas de búsqueda tradicionales, y son igual de relevantes en el RAG actual, que es una nueva forma de búsqueda hasta cierto punto.
Ejemplo: Airbyte
Airbyte es una plataforma de movimiento de datos de código abierto diseñada para crear pipelines de datos de extracción y carga (EL). A diferencia de muchas plataformas de pipelines de datos que se centran principalmente en servicios importantes, Airbyte también admite la integración de servicios más pequeños, a menudo pasados por alto. Al mantener una amplia variedad de conectores y fomentar una comunidad para compartir conectores personalizados, Airbyte permite a las empresas crear soluciones adaptadas a sus necesidades específicas. Sus conectores de datos robustos pueden procesar datos no estructurados en embeddings y cargarlos en bases de datos vectoriales como Milvus para búsquedas de similitud semántica. Esta capacidad es útil para que las empresas recopilen, transformen e integren datos de manera eficiente en flujos de trabajo RAG, mejorando la toma de decisiones impulsada por IA y las aplicaciones de búsqueda.
Modelos de Embedding y Reranker
Las redes neuronales profundas, como los modelos de embedding, están transformando la forma en que se procesan y comprenden los datos no estructurados. Empresas como OpenAI, Cohere, Voyage AI, Jina AI y Twelve Labs están a la vanguardia del desarrollo de modelos avanzados que convierten datos textuales y multimodales en vectores numéricos. Estos embeddings permiten búsquedas vectoriales de vecino más cercano aproximado (ANN), lo que permite que las aplicaciones entreguen resultados e insights altamente relevantes.
Más allá de los modelos de embedding de propósito general, empresas como Voyage AI crean modelos especializados que mejoran la calidad en verticales específicos como el ámbito legal y financiero, mientras que Twelve Labs se centra en modelos de embedding para recuperación de video. Los rerankers, que son modelos entrenados específicamente para comparar la relevancia semántica entre una consulta y un pequeño conjunto de documentos candidatos, pueden mejorar aún más la precisión de los resultados de la etapa inicial de recuperación basada en vectores. Empresas como Cohere, Voyage AI y Jina AI ofrecen rerankers para mejorar la precisión de la recuperación.
Ejemplo: Voyage AI
Voyage AI es un equipo de investigadores de IA de Stanford y MIT especializado en modelos de recuperación, incluidos modelos de embedding y rerankers. Su modelo líder, voyage-2, entrenado mediante aprendizaje contrastivo sobre texto, ofrece una mayor precisión de recuperación, ventanas de contexto extendidas e inferencia eficiente en comparación con estándares de la industria como el modelo de embedding de texto de OpenAI. Voyage AI proporciona modelos tanto de propósito general como específicos de dominio, optimizados para campos como finanzas, contextos multilingües, trabajo legal y recuperación de código. Voyage AI también ofrece rerankers que mejoran los resultados de recuperación.
Inferencia y alojamiento de LLM
Con la creciente demanda de aplicaciones LLM, las soluciones eficientes de alojamiento e inferencia son esenciales. Proyectos como vLLM, Lepton AI, Fireworks AI y Octo AI proporcionan una infraestructura robusta para desplegar y escalar LLMs. Incorporan diversas optimizaciones de inferencia para garantizar que los modelos funcionen de manera eficiente durante el tiempo de servicio.
Ejemplo: vLLM
vLLM es una biblioteca de código abierto para la inferencia y el servicio optimizados de LLM. Utiliza el mecanismo PagedAttention para gestionar la memoria de manera eficiente y admite el batching continuo de solicitudes entrantes. La biblioteca aprovecha la ejecución rápida de modelos mediante gráficos CUDA/HIP e incluye diversas técnicas de cuantización como GPTQ, AWQ, SqueezeLLM y FP8 KV Cache. vLLM se integra sin problemas con modelos populares de HuggingFace, proporcionando servicio de alto rendimiento con algoritmos de decodificación como muestreo paralelo y búsqueda beam. Admite paralelismo de tensores y de pipeline para inferencia distribuida, salidas en streaming e incluye un servidor API compatible con OpenAI. Además, ofrece funciones experimentales como almacenamiento en caché de prefijos y soporte multi-Lora, y está optimizado tanto para GPUs NVIDIA como AMD.
Gestión de agentes y memoria
El ecosistema GenAI está avanzando en la gestión de memoria y los sistemas de IA basados en agentes con soluciones como MemGPT, Mem0, Camel, AutoGPT y CrewAI. Estas innovaciones permiten que las aplicaciones de IA recuerden el historial de conversaciones, aprovechen herramientas e interactúen entre sí, ofreciendo interacciones más personalizadas y conscientes del contexto que mejoran significativamente las experiencias de usuario.
Ejemplo: MemGPT
MemGPT es un proyecto de código abierto orientado a simplificar el desarrollo y despliegue de agentes LLM con estado. Al utilizar una jerarquía de memoria y un flujo de control similares a los de los sistemas operativos tradicionales, MemGPT gestiona de forma automática e inteligente diferentes niveles de almacenamiento, proporcionando así un contexto ampliado dentro de la ventana de contexto limitada del LLM. MemGPT facilita conexiones a fuentes de datos externas mediante RAG y admite la definición y llamada de herramientas o funciones personalizadas, simplificando el desarrollo de agentes LLM con estado avanzados.
Herramientas externas y API para agentes
La integración de modelos de IA con diversas herramientas externas y API es crucial para ampliar las capacidades de los agentes. Servicios como Bing API, Google Search API, Twilio y frameworks como OpenAPI facilitan la interacción de agentes y herramientas, permitiendo que las aplicaciones accedan a datos, servicios y funcionalidades externas y los aprovechen.
Ejemplo: Bing API
El conjunto de Bing Search API, que incluye servicios como búsqueda web y de imágenes, proporciona resultados de búsqueda seguros, sin anuncios y conscientes de la ubicación. Esto permite que los agentes accedan a información de miles de millones de documentos web, imágenes, videos y fuentes de noticias mediante una sola llamada a la API.
Experiencia de interfaz de usuario frontend y de búsqueda/chat
Crear interfaces intuitivas para interactuar con aplicaciones de IA es esencial para la adopción por parte de los usuarios. Frameworks como Streamlit, Vercel y Gradio simplifican el desarrollo de aplicaciones de IA al proporcionar experiencias de interfaz de usuario fáciles de usar. Los desarrolladores pueden aprovechar estos frameworks para personalizar interfaces que satisfagan las necesidades específicas de las interacciones de IA, como cuadros de chat para aplicaciones RAG y funciones como selección de imágenes, recorte y navegación para búsqueda visual.
Ejemplo: Streamlit
Streamlit es un framework de Python de código abierto diseñado para científicos de datos e ingenieros de IA/ML para crear aplicaciones de datos dinámicas e interactivas con un esfuerzo mínimo de codificación. Al centrarse en una sintaxis intuitiva y eliminar la necesidad de CSS, HTML o JavaScript, Streamlit permite a los usuarios crear y desplegar aplicaciones pulidas rápidamente. Se integra con bibliotecas de datos populares como Pandas y NumPy y admite componentes backend para desarrollar aplicaciones impulsadas por IA.
Grafo de conocimiento (KG)
Los grafos de conocimiento mejoran la generación aumentada por recuperación al proporcionar datos estructurados que mejoran la precisión y relevancia de la recuperación de información, lo que da como resultado respuestas generadas por IA más precisas y conscientes del contexto. Proyectos líderes como WhyHow, GraphRAG y HippoRAG combinan estructuras de grafos de conocimiento con técnicas RAG para mejorar la calidad de los resultados de recuperación y las respuestas generadas.
Ejemplo: WhyHow
WhyHow es una plataforma diseñada para ayudar a los desarrolladores a organizar y recuperar datos no estructurados de manera más eficaz, con un enfoque en mejorar sistemas complejos de generación aumentada por recuperación (RAG) utilizando grafos de conocimiento. Ofrece herramientas para la ingesta flexible de datos, admite la creación de grafos multijugador para la colaboración entre desarrolladores y expertos de dominio no técnicos, y permite la manipulación granular de esquemas para adaptar los grafos a casos de uso específicos. Al enfatizar grafos pequeños y modulares y fragmentos vectoriales, WhyHow mejora la precisión de la recuperación de información. La plataforma es compatible con bases de datos vectoriales e incluye funciones de exportación para varios formatos. Además, WhyHow proporciona un paquete de recuperación basado en reglas de código abierto para ayudar a crear flujos de trabajo de recuperación más precisos mediante técnicas avanzadas de filtrado.
Servicios RAG listos para usar y low-code
También existe una demanda significativa de soluciones listas para usar y de bajo código para RAG. Proyectos como AnythingLLM, PrivateGPT, Dify, Shakudo, Vectara, Epsilla y FlowiseAI ofrecen soluciones fáciles de usar y un grado de personalización que permiten a las empresas implementar rápidamente capacidades de IA sin necesidad de un desarrollo extenso ni de experiencia especializada en canalizaciones de datos e infraestructuras de búsqueda.
Ejemplo: AnythingLLM
AnythingLLM es una aplicación de IA todo en uno que proporciona chatbots RAG interactivos y agentes de IA sin necesidad de programar. Está diseñada para empresas que buscan una solución privada, sin configuración, o una aplicación de IA personalizable sin requerir una amplia experiencia en programación. AnythingLLM admite tanto modelos de lenguaje grandes (LLMs) comerciales y de código abierto como bases de datos vectoriales. La aplicación facilita una experiencia full-stack mediante alojamiento local y remoto. Las características clave incluyen espacios de trabajo para la gestión organizada de documentos, soporte multiusuario con configuración de permisos, agentes para navegación web y ejecución de código, un widget de chat integrable personalizado y soporte para múltiples tipos de documentos. AnythingLLM también proporciona una API para desarrolladores para integraciones personalizadas.
Generación de imágenes y video
El ecosistema GenAI no se limita a aplicaciones basadas en texto; también abarca avances significativos en la generación de imágenes y video:
Generación creativa y gemelo digital
Herramientas como Midjourney, Stability AI, Runway, Pika y HeyGen están revolucionando las industrias creativas al proporcionar soluciones impulsadas por IA para generar imágenes y videos de alta calidad. Estas plataformas permiten a artistas, especialistas en marketing y desarrolladores crear contenido visual atractivo, ampliando los límites de la creatividad y la innovación.
Ejemplo: Midjourney
Midjourney es un programa y servicio de IA generativa desarrollado por Midjourney, Inc., un laboratorio de investigación independiente en San Francisco. Crea imágenes de alta calidad a partir de descripciones en lenguaje natural, o prompts, de forma similar a DALL-E de OpenAI y Stable Diffusion de Stability AI. Los usuarios interactúan con Midjourney mediante un bot de Discord, donde pueden generar imágenes escribiendo prompts con el comando /imagine, lo que da como resultado cuatro imágenes con opciones para aumentar la resolución. Esta herramienta destaca los avances en el ecosistema GenAI, impactando a las industrias creativas al ampliar las posibilidades en la creación de contenido digital.
Reflexión final
El ecosistema GenAI es un panorama dinámico y en rápida evolución, caracterizado por sus componentes diversos y su complejidad. Desde tecnologías fundamentales como los LLMs y las bases de datos vectoriales hasta innovaciones en ingesta de datos, orquestación y generación de imágenes, GenAI está redefiniendo los límites de la inteligencia artificial. A medida que continúan la exploración y la innovación, el potencial de impacto transformador en todas las industrias es inmenso. En Zilliz, como creadores de la base de datos vectorial Milvus, hemos colaborado con muchos socios en el panorama GenAI. Estamos ansiosos por presenciar y contribuir a la evolución continua de GenAI y esperamos con interés las posibilidades que traerá.
Sigue leyendo
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
DeepSeek-OCR Explained: Optical Compression for Scalable Long-Context and RAG Systems
Discover how DeepSeek-OCR uses visual tokens and Contexts Optical Compression to boost long-context LLM efficiency and reshape RAG performance.
Selecting the Right ETL Tools for Unstructured Data to Prepare for AI
Learn the right ETL tools for unstructured data to power AI. Explore key challenges, tool comparisons, and integrations with Milvus for vector search.