Zilliz x Galileo: El poder de los embeddings vectoriales
Los datos no estructurados están en todas partes. IDC ha estimado que tendremos más de 175 zettabytes (21 ceros) de datos para 2025. El 80% de eso son datos no estructurados. Los datos no estructurados son datos que no encajan en ningún formato predeterminado: no siguen un modelo de datos ni un esquema preestablecido. Comúnmente adoptan la forma de texto, imágenes, audio y videos, pero pueden manejar diversas otras condiciones.
¿Qué es una incrustación vectorial?
En el nivel más básico, las incrustaciones vectoriales son una representación numérica de datos. Una incrustación vectorial normalmente consta de cientos o miles de valores de coma flotante. La alta dimensionalidad permite que las incrustaciones vectoriales almacenen datos complejos como imágenes, audio y texto. Puedes extraer incrustaciones vectoriales de modelos de aprendizaje automático entrenados. La mayoría de las redes neuronales utilizadas en producción tienen muchas capas, cada una con cientos de neuronas. Cuando un punto de datos pasa por la función feed-forward de la red neuronal, cada capa produce una salida. Normalmente, estas redes realizan alguna clasificación creada por la capa final de la red. La incrustación vectorial que representa los datos es la salida de la última capa oculta, que generalmente se refiere a la penúltima capa.
¿Cómo puedes trabajar con incrustaciones vectoriales?
Las incrustaciones vectoriales son la forma de facto de trabajar con datos no estructurados. Si tienes datos que quieres comparar, recomendamos que lo hagas usando incrustaciones vectoriales. Las incrustaciones vectoriales se generan a partir de redes neuronales tomando la salida de la penúltima capa de una red neuronal y usándola como la incrustación vectorial de la entrada. Al generar vectores de incrustación, hay varios factores que considerar. Tus principales consideraciones son el tamaño de las incrustaciones, los datos para el entrenamiento del modelo y la calidad de los datos. Debes asegurarte de que tus vectores tengan un tamaño que tenga sentido.
Uso de incrustaciones vectoriales para depurar tus datos de entrenamiento
Encontrar errores de datos
La etapa inicial del desarrollo del modelo se centra principalmente en abordar los desafíos de "curación de datos". El objetivo principal durante esta fase es construir un conjunto de datos óptimo para el entrenamiento y la evaluación del modelo. Galileo, una plataforma algorítmica de LLM Ops para la empresa, emplea incrustaciones para detectar errores de datos mediante agrupamiento.
Galileo tiene una capacidad única para mostrar errores con una puntuación llamada Data Error Potential (DEP). DEP proporciona una herramienta para ordenar rápidamente y hacer aflorar los datos que son más difíciles y valiosos de explorar al investigar los errores de tu modelo.
Cuando se trata de depurar tus errores de datos, hay dos tipos de soluciones.
Encontrar muestras no presentes en tus datos de entrenamiento
Una vez que el modelo se implementa e interactúa con datos del mundo real, se produce un cambio en los patrones de tráfico. Galileo puede detectar la deriva del modelo aprovechando las incrustaciones para monitorear continuamente el rendimiento de los modelos de ML. Las muestras desviadas pueden anotarse y añadirse a los datos de entrenamiento para lograr un rendimiento más robusto.
Encontrar alucinaciones en los datos
La alucinación de IA se refiere a situaciones en las que la IA genera información que puede sonar plausible pero es incorrecta o no está relacionada con el contexto. Este problema ocurre típicamente debido a sesgos de diseño de la IA, una comprensión inadecuada del mundo real o datos de entrenamiento incompletos.
Para abordar este problema, Galileo participa activamente en técnicas basadas en embeddings para identificar casos de alucinación de IA. Este enfoque ayuda a descubrir errores en los datos y contribuye a entrenar modelos de IA más precisos y fiables.
Encontrar errores en la generación aumentada por recuperación
(RAG)Generación Aumentada por Recuperación (RAG) es una técnica popular para desarrollar sistemas de preguntas y respuestas y chatbots. Sin embargo, un problema común con este enfoque es la aparición de una recuperación deficiente, lo que da como resultado respuestas incorrectas. Galileo está creando una puntuación de relevancia del contexto para detectar el contexto incorrecto utilizando técnicas basadas en embeddings para abordar este problema. A veces, incluso cuando la relevancia es correcta, la generación puede contener alucinaciones. Galileo proporcionará una puntuación de fundamentación, que mide si la respuesta del modelo se basó en la información dada al modelo en la ventana de contexto.
Los potentes algoritmos de Galileo pueden mostrar errores a nivel de token, lo que puede ayudar a las aplicaciones a dejar de producir alucinaciones.
Indexar, almacenar y consultar embeddings vectoriales
Aunque es excelente tener embeddings, debes poder usarlos. Lo mejor sería tener algo para indexar, almacenar y consultar tus vectores. Ese es el objetivo principal de las bases de datos vectoriales. Las bases de datos vectoriales están diseñadas específicamente para indexar, almacenar y consultar datos vectoriales. Poder indexar, almacenar y consultar convierte a las bases de datos vectoriales en una fuerte candidata para su uso en aplicaciones LLM. Son perfectas para almacenar el significado semántico de documentos y consultas, y como caché para preguntas frecuentes. Un ejemplo perfecto de cómo usar embeddings vectoriales con aplicaciones LLM es OSSChat, una aplicación que te permite “chatear” con la documentación de software de código abierto.
Uno de los aspectos más importantes de tener una aplicación práctica de preguntas y respuestas es usar embeddings vectoriales adecuados. Para consultar los documentos, necesitamos el espacio vectorial latente de las consultas. Usamos un LLM como ChatGPT para generar preguntas dado un conjunto de documentos. Luego, indexamos y almacenamos esos embeddings para consultarlos cuando el usuario hace preguntas.
Resumen del poder de los embeddings vectoriales
Los datos no estructurados son el tipo de datos más común en el mundo. Tradicionalmente, ha sido difícil trabajar con datos no estructurados porque no se ajustan a una estructura predeterminada. El aprendizaje profundo se ha vuelto más potente y extendido, por lo que produjo una solución para trabajar con datos no estructurados convirtiéndolos en vectores.
Los embeddings vectoriales te permiten hacer matemáticas con cosas que no empiezan como números. En esta publicación, presentamos los embeddings vectoriales, cómo trabajar con ellos y cuatro formas concretas de usar vectores en el paradigma actual del aprendizaje automático. Puedes usar embeddings vectoriales para encontrar errores de datos, encontrar muestras que no están presentes en tus datos de entrenamiento, encontrar alucinaciones y corregir errores en la generación aumentada por recuperación.
El poder de los embeddings vectoriales se puede ver en esta amplia gama de casos de uso. La forma más eficaz de trabajar con ellos es usar una base de datos vectorial como Milvus o Zilliz Cloud para almacenar, indexar y consultar los vectores.
Únete a nuestro próximo seminario web con Galileo
Únete a Vikram Chatterji de Galileo y Yujian Tang de Zilliz el 12 de octubre para una inmersión profunda en la gestión de RAG y LLM. Este seminario web te proporcionará información práctica y métodos para mejorar tus pipelines de LLM y la calidad de los resultados. Promete ser una sesión informativa para cualquier científico de datos e ingeniero de aprendizaje automático que busque frameworks y herramientas para optimizar el rendimiento de RAG y LLM.
Sigue leyendo
Build Multimodal Search for 3D Assets with Tripo and Zilliz Cloud
Generate 3D assets with Tripo, then search them by text, image, and metadata with multimodal embeddings and Zilliz Cloud.
How to Improve Retrieval Quality for Japanese Text with Sudachi, Milvus/Zilliz, and AWS Bedrock
Learn how Sudachi normalization and Milvus/Zilliz hybrid search improve Japanese RAG accuracy with BM25 + vector fusion, AWS Bedrock embeddings, and practical code examples.
Migrating from S3 Vectors to Zilliz Cloud: Unlocking the Power of Tiered Storage
Learn how Zilliz Cloud bridges cost and performance with tiered storage and enterprise-grade features, and how to migrate data from AWS S3 Vectors to Zilliz Cloud.