Annonce du connecteur Kafka de Confluent pour Milvus et Zilliz Cloud : libérer la puissance de l’IA en temps réel
Nous sommes ravis d’annoncer la disponibilité du Kafka Sink Connector de Confluent avec Milvus open source et Zilliz Cloud (la version entièrement gérée de Milvus). Cette collaboration permet un streaming fluide et en temps réel des données vectorielles de Confluent vers les bases de données vectorielles Milvus ou Zilliz, libérant tout le potentiel des données non structurées et améliorant considérablement l’IA générative en temps réel alimentée par de grands modèles de langage (LLMs) comme GPT-4 d’OpenAI.
La synergie de Zilliz et Confluent : permettre des flux vectoriels en temps réel
À l’ère numérique, les données non structurées sont générées à un rythme sans précédent, constituant plus de 80 % des informations nouvellement créées. Leur volume considérable et leurs mises à jour constantes représentent un défi majeur pour les assimiler rapidement et en extraire des informations exploitables en temps réel. L’embedding vectoriel est une approche éprouvée pour extraire des informations de ce chaos de données non structurées. Le cœur du problème réside désormais dans la recherche de solutions efficaces pour stocker, assimiler et rendre facilement consultables les vastes flux de données vectorielles en temps réel.
La synergie entre Confluent et la base de données vectorielle Milvus/Zilliz offre une solution parfaite. Cette collaboration permet de transférer vers Milvus/Zilliz le flux continu de streams vectoriels Confluent en temps réel convertis à partir de données non structurées, permettant aux développeurs de créer des applications pour divers cas d’utilisation tels que la recherche sémantique en temps réel, la recherche de similarité d’images/vidéos/audio et la génération augmentée par récupération.
Comment vous pouvez bénéficier de l’intégration Zilliz et Confluent
L’intégration de Confluent et Zilliz ouvre des possibilités pour divers secteurs et applications. Voici quelques façons dont vous pouvez tirer parti de cette intégration.
Améliorer l’IA générative avec une base de connaissances en temps réel
En rendant les données vectorielles incrémentales instantanément consultables, l’intégration Zilliz et Confluent apporte une mémoire à jour aux applications GenAI pour des résultats plus récents et plus précis. Par exemple, dans le secteur financier, les sociétés d’investissement peuvent utiliser Confluent pour mettre en place des pipelines de données en temps réel afin de streamer des embeddings vectoriels dérivés des dépôts auprès de la SEC et des dernières actualités financières provenant de multiples sources. Ces données sont ensuite ingérées dans Milvus/Zilliz en temps réel via le Kafka sink connector pour des recherches de similarité vectorielle. Milvus/Zilliz récupère rapidement les Top-K résultats les plus pertinents, fournissant aux grands modèles de langage (LLMs) le contexte le plus actuel pour générer des informations opportunes et exploitables pour les traders, les économistes et les autres décideurs.
Optimiser les recommandations personnalisées pour les plateformes d’e-commerce
Avec ce Kafka sink connector, les entreprises d’e-commerce peuvent créer des systèmes de recommandation qui s’adaptent rapidement aux mises à jour des stocks et aux comportements des clients en temps réel. Les vecteurs, générés à partir d’attributs de produits tels que les images, les noms et les descriptions, sont streamés en temps réel vers Milvus/Zilliz via le Kafka sink connector. Milvus/Zilliz utilise ensuite ces embeddings vectoriels pour des recherches de similarité immédiates, permettant au système d’ajuster les recommandations en fonction des données les plus récentes.
Premiers pas : des étapes simples vers l’innovation en temps réel
Êtes-vous impatient d’exploiter le potentiel de l’IA en temps réel avec Confluent et Zilliz ? Voici comment commencer.
Étape 1 : Télécharger le Kafka Sink Connector
Accédez au dernier fichier zip du connector depuis notre dépôt GitHub ou Confluent Hub.
Étape 2 : Configurer vos comptes
Inscrivez-vous gratuitement à des comptes Confluent et Zilliz. Créez un topic dans Confluent Cloud et une collection avec un champ vectoriel dans Zilliz Cloud. Assurez-vous qu’ils portent le même nom de champ.
Étape 3 : Charger le connecteur
Téléversez le fichier zip dans la section Connectors de votre cluster Confluent Cloud. Configurez les propriétés sensibles comme les tokens. Consultez la page custom-connector pour plus de détails.
Étape 4 : Configurer le connecteur
Saisissez votre clé API et votre secret Confluent Cloud. Fournissez la configuration du connecteur Milvus, notamment l’endpoint public, le token, le nom de la collection vectorielle et le topic Kafka.
Étape 5 : Lancer le connecteur
Démarrez le connecteur pour diffuser les données en continu de Kafka vers Milvus en toute fluidité. Vérifiez l’insertion des données dans Zilliz Cloud et découvrez la magie de l’ingestion de données en temps réel.
Pour des informations détaillées et des exemples, consultez notre dépôt GitHub.
Adopter l’IA en temps réel avec Zilliz et Confluent
Faites le saut vers l’avenir des innovations en IA en explorant notre page d’intégration Confluent pour accéder à des ressources détaillées.
Vous découvrez Zilliz ? Commencez gratuitement avec le nouveau Starter Plan, sans contraintes d’installation et sans carte de crédit requise. Vous pouvez également commencer votre essai gratuit de 30 jours du plan Standard avec $100 de crédits offerts lors de l’inscription et la possibilité de gagner jusqu’à $200 de crédits au total. Vous pouvez nous contacter via notre portail d’assistance si vous rencontrez des problèmes ou avez des questions lors de l’utilisation de Zilliz Cloud.
Vous n’êtes pas encore client Confluent ? Commencez votre essai gratuit de Confluent Cloud et recevez $400 de crédits pour les 30 premiers jours – aucune carte de crédit requise.
L’ère de l’IA générative en temps réel a commencé. Rejoignez-nous pour façonner l’avenir de l’innovation en IA. Libérons ensemble le véritable potentiel de l’IA.
Zilliz est le leader de la technologie des bases de données vectorielles, offrant une plateforme ultra-rapide qui permet une récupération vectorielle 10 fois plus rapide. Conçu selon des principes cloud-native, Zilliz est destiné à servir de colonne vertébrale aux applications nécessitant une recherche de similarité complexe et exploitant les capacités de la GenAI, telles que la génération augmentée par récupération. Avec Zilliz, les développeurs peuvent intégrer en toute fluidité des fonctionnalités avancées de recherche et de récupération dans leurs applications, améliorant considérablement l’expérience utilisateur et les performances backend. Pour en savoir plus, visitez www.zilliz.com.
Confluent est la plateforme de data streaming qui ouvre la voie à une catégorie fondamentalement nouvelle d’infrastructure de données qui met les données en mouvement. L’offre cloud-native de Confluent est la plateforme fondatrice des données en mouvement — conçue pour être le tissu conjonctif intelligent permettant aux données en temps réel provenant de multiples sources de circuler en continu dans toute l’organisation. Avec Confluent, les organisations peuvent répondre au nouvel impératif commercial consistant à offrir des expériences client front-end numériques riches et à évoluer vers des opérations back-end sophistiquées, en temps réel et pilotées par logiciel. Pour en savoir plus, veuillez visiter www.confluent.io.
Continuer à lire
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.