Resumen del webinar: Potencia tu LLM con datos privados usando LlamaIndex
La popularidad de ChatGPT ha demostrado las capacidades de los modelos de lenguaje grandes (LLMs) para generar conocimiento y razonamiento. Sin embargo, ChatGPT se entrena previamente con datos disponibles públicamente, lo que puede no proporcionar respuestas y resultados específicos relevantes para tu negocio. Entonces, ¿cómo podemos enriquecer mejor nuestros LLMs con datos privados? LlamaIndex es una de las soluciones más populares. Es una interfaz simple, flexible y centralizada que conecta tus datos externos y LLMs.
En nuestro reciente seminario web, Jerry Liu, cofundador y CEO de LlamaIndex, explicó cómo LlamaIndex podría potenciar tus LLMs con datos privados. Además, Frank Liu, Machine Learning Architect y Director of Operations en Zilliz, también compartió sus perspectivas sobre los LLMs. Acompáñame a explorar las conclusiones clave de este seminario web y a abordar algunas de las preguntas sin responder de la audiencia.
Ajuste fino y aprendizaje en contexto
"Cómo mejorar los LLMs con datos privados" es una pregunta que muchos desarrolladores de LLMs se harían. En el seminario web, Jerry habló de dos métodos: ajuste fino y aprendizaje en contexto. El ajuste fino requiere volver a entrenar la red con datos privados, pero puede ser costoso y carecer de transparencia. Además, puede ser efectivo solo en algunos casos. Por otro lado, el aprendizaje en contexto implica emparejar un modelo preentrenado con conocimiento externo y un modelo de recuperación para añadir contexto al prompt de entrada. Sin embargo, surgen desafíos al combinar recuperación y generación, recuperar el contexto adecuado y gestionar una gran cantidad de datos de origen. LlamaIndex es un conjunto de herramientas diseñado para abordar los desafíos del aprendizaje en contexto.
¿Qué es LlamaIndex?
LlamaIndex es una herramienta de código abierto que proporciona la gestión central de datos y la interfaz de consulta para tus aplicaciones LLM. Su conjunto de herramientas contiene tres componentes principales:
- Conectores de datos para ingerir datos de diversas fuentes.
- Índices de datos para estructurar datos para diferentes casos de uso.
- Una interfaz de consulta para introducir prompts y recibir la salida enriquecida con conocimiento.
Tres componentes principales de LlamaIndex
LlamaIndex también es una herramienta valiosa para desarrollar aplicaciones LLM. Funciona como una caja negra, tomando descripciones de consulta detalladas y proporcionando respuestas enriquecidas que incluyen referencias y acciones. LlamaIndex también gestiona las interacciones entre el modelo de lenguaje y los datos privados para proporcionar resultados precisos y deseados.
LlamaIndex en contexto
Cómo funciona el índice de almacén vectorial de LlamaIndex
LlamaIndex tiene varios índices, incluidos el índice de lista, el índice de almacén vectorial, el índice de árbol y el índice de palabras clave. Jerry utilizó el índice de almacén vectorial en el seminario web para mostrarte cómo funcionan los índices de LlamaIndex.
El índice de almacén vectorial es un modo popular de recuperación y síntesis que empareja un almacén vectorial con un modelo de lenguaje. Se ingiere un conjunto de documentos de origen, se divide en nodos de texto y se almacena en el almacén vectorial con un embedding adjunto a cada nodo. Cuando realizas una consulta, un embedding de consulta busca en el almacén vectorial los top-k nodos más similares; luego, estos nodos se utilizan en el módulo de síntesis de respuestas para generar una respuesta.
Ingesta de datos en LlamaIndex
Consulta a través del índice de almacén vectorial
Usar un índice de almacén vectorial es el mejor enfoque para introducir similitud en tu aplicación de LLM. Este tipo de índice es ideal para flujos de trabajo que comparan textos por similitud semántica. Por ejemplo, un índice de almacén vectorial sería adecuado para hacer preguntas sobre un software de código abierto en particular.
La integración de Milvus y LlamaIndex
LlamaIndex proporciona numerosas integraciones que son tanto potentes como ligeras. En el seminario web, Jerry destacó la integración de Milvus y LlamaIndex.
Milvus es una base de datos vectorial que es de código abierto y capaz de manejar enormes conjuntos de datos que contienen millones, miles de millones o incluso billones de vectores. Con la integración, Milvus actúa como el almacén vectorial de backend para embeddings y texto. Configurar la integración es sencillo: introducir varios parámetros, envolverlos en algún contexto de almacenamiento y luego colocarlos en el índice de almacén vectorial. Consultar el índice se realiza a través del motor de consultas, y obtendrás las respuestas que necesitas.
Zilliz Cloud es un servicio totalmente gestionado y nativo de la nube para Milvus, y la integración de LlamaIndex y Zilliz Cloud también está disponible.
Casos de uso de LlamaIndex
En el seminario web, Jerry también compartió muchos casos de uso populares de LlamaIndex, incluidos:
- Búsqueda semántica
- Resumen
- Texto a SQL (datos estructurados)
- Síntesis sobre datos heterogéneos
- Consultas de comparación/contraste
- Consultas de varios pasos
- Explotación de relaciones temporales
- Filtrado por actualidad / nodos obsoletos
Para descripciones e información detalladas, mira la grabación completa del seminario web.
Preguntas y respuestas
Recibimos muchas preguntas de nuestra audiencia durante el seminario web y agradecimos su participación. Jerry respondió algunas de las preguntas durante la sesión de preguntas y respuestas, pero debido a limitaciones de tiempo, algunas quedaron sin responder. A continuación, hemos compilado una lista de las preguntas más frecuentes y las preguntas sin responder, junto con las respuestas de Jerry.
P: ¿Qué piensas sobre los plugins de OpenAI y cómo funcionaría LlamaIndex con ellos?
Esta es una buena pregunta. Nos vemos en ambos lados del panorama de plugins. Por un lado, nos vemos como un plugin realmente bueno que puede ser llamado por cualquier abstracción de agente externo (ya sea ChatGPT, LangChain o más). Un agente cliente nos pasaría una solicitud de entrada, y nosotros descubriríamos cómo ejecutar mejor esa solicitud internamente. Por ejemplo, somos un plugin en el repositorio chatgpt-retrieval-plugin. En el lado del cliente, admitimos la integración con cualquier servicio que implemente el chatgpt-retrieval-plugin: una abstracción de "almacén vectorial".
P: Mencionaste compensaciones en rendimiento y latencia. ¿Cuáles son algunos cuellos de botella y desafíos en esa área que encuentras?
Mayores cantidades de contexto + mayor tamaño de fragmento = mayor latencia. Hay debate sobre si los tamaños de fragmento más grandes siempre conducen a mejores resultados (empíricamente, GPT-4 es mejor que GPT-3 manejando cantidades más extensas de contexto). Aun así, en general, hay una correlación positiva aquí. Otra compensación es que cualquier sistema LLM “avanzado”, por ejemplo, que involucre agentes, requiere llamadas LLM encadenadas. Las llamadas LLM encadenadas inherentemente tardan más en ejecutarse.
P: Entiendo que estamos usando un modelo externo para ejecutar las consultas. ¿Qué tan seguros están los datos privados que se transmiten?
Depende del servicio de API. Por ejemplo, OpenAI no usa datos de la API para entrenar/mejorar sus modelos, pero aún habrá preocupaciones empresariales sobre enviar datos sensibles a un tercero. Recientemente hemos añadido algunos módulos de PII para ayudar a mitigar esto. Otra alternativa es usar modelos locales.
P: ¿Cuáles son los pros y los contras de los dos enfoques: (a) aprovechar una base de datos vectorial como Milvus para búsqueda avanzada de similitud y optimizaciones de grafos ANTES de cargar e indexar en LlamaIndex e interactuar con un LLM; (b) usar integraciones nativas de LlamaIndex con almacenes vectoriales?
Puedes hacer cualquiera de las dos cosas. Planeamos consolidar estos dos un poco más, así que mantente atento. A un nivel muy general, usar Milvus primero como cargador de datos te permite usar datos existentes con LlamaIndex. En cambio, si usas nuestro índice vectorial respaldado por Milvus, definiremos estructuras adicionales sobre estos datos. La ventaja de lo primero es que puedes usar datos existentes, y la ventaja de lo segundo es que tenemos más control al definir metadatos.
P: Necesito analizar localmente aproximadamente 6.000 pdfs y PowerPoints. ¿Qué me recomendarías para obtener los mejores resultados sin usar OpenAI, LlamaIndex, con llama65b?
Puedes intentar usar Llama si estás de acuerdo con la licencia. Echa un vistazo a los modelos de código abierto en GitHub.
¡Mira la grabación completa del seminario web!
Mira la grabación del seminario web para obtener más información sobre LlamaIndex y las conversaciones entre Jerry Liu y Frank Liu.
Sigue leyendo
Zilliz Cloud BYOC Now Available Across AWS, GCP, and Azure
Zilliz Cloud BYOC is now generally available on all three major clouds. Deploy fully managed vector search in your own AWS, GCP, or Azure account — your data never leaves your VPC.
Why Context Engineering Is Becoming the Full Stack of AI Agents
Discover how context engineering unifies prompts, RAG, and tools to build smarter, production-ready AI agents powered by Milvus.
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.