Confluent
Real-time data ingestion for your RAG applications with Kafka
Utilisez cette intégration gratuitementZilliz x Confluent : créez des applications RAG en temps réel sans hallucination
Kafka est une plateforme open source de streaming de données en temps réel et un courtier de messages qui permet aux applications de publier (écrire) et de s’abonner à (lire) des flux de données efficacement. Les développeurs utilisent Kafka pour créer des pipelines de données évolutifs et tolérants aux pannes pouvant alimenter des bases de données vectorielles afin d’améliorer les applications de génération augmentée par récupération (RAG). Confluent est une entreprise qui fournit des solutions commerciales et des outils conçus autour de Kafka afin de simplifier son utilisation pour les applications pilotées par les événements et les architectures de données en streaming.
L’IA générative (LLM, modèles de diffusion, GAN, etc.) est largement applicable dans de nombreux secteurs et domaines différents. L’injection de données de domaine dans ces modèles via la RAG devient de plus en plus courante au niveau applicatif - le cadre CVP (ChatGPT, base de données vectorielle, prompting) est une instanciation fréquemment utilisée de la RAG qui exploite une base de données vectorielle pour effectuer une recherche sémantique.
L’intégration Confluent exploite Zilliz Cloud (Milvus hébergé) et Confluent Kafka pour effectuer l’ingestion, l’analyse et le traitement des données en temps réel afin de réduire les hallucinations dans les grands modèles de langage (LLM) en fournissant des informations à jour et contextuellement pertinentes qui contribuent à améliorer l’expérience utilisateur.
Il existe un très grand nombre de cas d’utilisation qui peuvent bénéficier de cette intégration, tels que les chatbots, l’analyse des sentiments en temps réel et le support client.
Outre la GenAI, vous pouvez également utiliser cette intégration pour créer des systèmes de recommandation en temps réel, détecter des anomalies et développer diverses autres applications qui bénéficient de l’IA en temps réel.
Fonctionnement de l’intégration de Confluent et Zilliz Cloud
Fonctionnement de l’intégration
- Les données en temps réel sont écrites dans Confluent via des producteurs de topics ; ces données sont analysées et renvoyées à Confluent.
- Les consommateurs Milvus lisent et traitent les données en temps réel depuis Confluent.
- Les données en temps réel sont converties en embeddings vectoriels via des modèles d’embedding.
- Les embeddings vectoriels sont stockés dans Zilliz Cloud.
- Les utilisateurs soumettent leurs questions au chatbot (ou à l’application RAG).
- La question est transformée en embeddings vectoriels pour les requêtes.
- Zilliz Cloud trouve les k meilleurs résultats les plus pertinents pour la question grâce à une recherche de similarité.
- Les résultats récupérés depuis Zilliz Cloud sont ajoutés au prompt et envoyés au LLM.
- Le LLM génère la réponse et l’envoie à l’utilisateur via le chatbot.
Apprenez comment
Consultez ces tutoriels pour apprendre à utiliser l’intégration Confluent.