Confluent
Real-time data ingestion for your RAG applications with Kafka
Utilice esta integración de forma gratuitaZilliz x Confluent: Cree aplicaciones RAG en tiempo real sin alucinaciones
Kafka es una plataforma de flujo de datos en tiempo real de código abierto y un intermediario de mensajes que permite a las aplicaciones publicar (escribir) y suscribirse a (leer) flujos de datos de forma eficiente. Los desarrolladores utilizan Kafka para crear canalizaciones de datos escalables y tolerantes a fallos que pueden alimentar bases de datos vectoriales para mejorar las aplicaciones retrieval augmented generation (RAG). Confluent es una empresa que ofrece soluciones y herramientas comerciales creadas en torno a Kafka para simplificar su uso en aplicaciones basadas en eventos y arquitecturas de flujo de datos.
La IA generativa (LLM, modelos de difusión, GAN, etc.) es ampliamente aplicable en muchos sectores y verticales diferentes. La inyección de datos de dominio en estos modelos a través de RAG es cada vez más común a nivel de aplicación - el marco CVP (ChatGPT, base de datos vectorial, prompting) es una instanciación frecuentemente utilizada de RAG que aprovecha una base de datos vectorial para realizar búsquedas semánticas.
La integración de Confluent aprovecha Zilliz Cloud (Hosted Milvus) y Confluent Kafka para realizar la ingesta, el análisis sintáctico y el procesamiento de datos en tiempo real con el fin de reducir la alucinación en los grandes modelos lingüísticos (LLM) proporcionando información actualizada y contextualmente relevante que ayuda a mejorar la experiencia del usuario.
Hay un gran número de casos de uso que pueden beneficiarse de esta integración, como los chatbots, el análisis de opiniones en tiempo real y la atención al cliente.
Además de GenAI, también puede utilizar esta integración para crear sistemas de recomendación en tiempo real, detectar anomalías y desarrollar otras aplicaciones que se beneficien de la IA en tiempo real.
Cómo funciona la integración en la nube de Confluent y Zilliz
Cómo funciona la integración
- Los datos en tiempo real se escriben en Confluent a través de productores de temas; estos datos se analizan y se envían de vuelta a Confluent.
- Los consumidores Milvus leen y procesan los datos en tiempo real de Confluent.
- Los datos en tiempo real se convierten en incrustaciones vectoriales mediante modelos de incrustación.
- Las incrustaciones vectoriales se almacenan en Zilliz Cloud.
- Los usuarios envían sus preguntas al chatbot (o aplicación RAG).
- La pregunta se transforma en incrustaciones vectoriales para consultas.
- Zilliz Cloud encuentra los k resultados más relevantes para la pregunta mediante una búsqueda por similitud.
- Los resultados recuperados de Zilliz Cloud se añaden a la pregunta y se envían al LLM.
- El LLM genera la respuesta y la envía al usuario a través del chatbot.
Aprende cómo
Consulta estos tutoriales para aprender a utilizar la integración de Confluent.