Créez des applications GenAI en temps réel avec Zilliz Cloud et Confluent Cloud for Apache Flink®
Aujourd’hui, nous sommes ravis de nous associer à Confluent pour rendre possible la recherche sémantique sur des mises à jour en temps réel propulsées par Apache Kafka®, Apache Flink® et la base de données vectorielle Milvus. Avec les progrès de l’IA, les modèles d’embedding et la recherche vectorielle ont été largement adoptés pour mettre en œuvre la recherche et la recommandation dans de nombreuses applications, notamment la recherche d’entreprise, l’e-commerce et la génération augmentée par récupération (Retrieval Augmented Generation, RAG), de plus en plus populaire. Pour tout système de recherche et de recommandation, la fraîcheur de l’information est essentielle à l’expérience de l’utilisateur final.
Confluent vient d’annoncer la disponibilité générale du seul service Apache Flink® cloud-native et serverless du secteur — désormais disponible directement aux côtés d’Apache Kafka® cloud-native sur la plateforme de streaming de données entièrement gérée de Confluent. La nouvelle offre Flink est désormais prête à l’emploi sur AWS, Google Cloud et Azure. Directement intégré à Milvus et Zilliz Cloud (Milvus entièrement géré), Confluent fournit une solution simple pour accéder aux flux de données provenant de toute l’entreprise et les traiter, afin de créer une base de connaissances en temps réel, contextuelle et fiable pour alimenter les applications d’IA.
Fonctionnement de Zilliz Cloud avec Confluent Cloud
Les applications GenAI en temps réel nécessitent un traitement des données en temps réel
Le déploiement réussi d’applications GenAI telles que la génération augmentée par récupération (RAG) nécessite la création de pipelines de données fournissant des flux de données pertinents et en temps réel, issus de tous les recoins de l’entreprise. Cependant, préparer des pipelines de ce type n’est pas une tâche facile — surtout lorsqu’il faut tenir compte d’une quantité toujours croissante de sources de données diverses, couvrant à la fois des environnements de données hérités et modernes.
Garantir que les applications aient accès à des pipelines en temps réel avec des données traitées et préparées nécessitera souvent d’allouer de précieuses ressources d’ingénierie à la gestion d’outils open source en interne, plutôt que de se concentrer sur l’innovation ayant un impact métier. Par ailleurs, le traitement sécurisé des flux de données dans plusieurs systèmes en aval (ou à travers plusieurs systèmes distribués) est complexe et limite la (ré)utilisabilité des données, ce qui exige des traitements redondants et coûteux.
Sans moyen fiable et rentable de traiter et de préparer les flux de données en temps réel requis par les outils en aval, les bénéfices de la GenAI resteront hors de portée pour la plupart.
Créez facilement des flux de données réutilisables et de haute qualité avec le seul service Flink cloud-native et serverless du secteur
Apache Flink est un framework unifié de traitement de flux et par lots qui figure depuis de nombreuses années parmi les cinq principaux projets Apache. Flink dispose d’une communauté de contributeurs solide et diversifiée, soutenue par des entreprises comme Alibaba et Apple. Il alimente les plateformes de traitement de flux de nombreuses entreprises, notamment des acteurs du numérique comme Uber, Netflix et LinkedIn, ainsi que des entreprises prospères comme ING, Goldman Sachs et Comcast.
Entièrement intégré à Apache Kafka sur Confluent Cloud, le nouveau service Flink de Confluent permet aux entreprises de :
● Filtrer, joindre et enrichir sans effort vos flux de données Confluent avec Flink, la norme de facto pour le traitement de flux
● Permettre un traitement de flux performant et efficace à n’importe quelle échelle, sans les complexités de la gestion de l’infrastructure
● Profiter de Kafka et Flink comme d’une plateforme unifiée, avec une surveillance, une sécurité et une gouvernance entièrement intégrées
En exploitant Kafka et Flink comme une plateforme unifiée, les équipes peuvent se connecter à des sources de données dans n’importe quel environnement, nettoyer et enrichir les flux de données à la volée, et les transmettre en temps réel à la base de données vectorielle Milvus pour une recherche sémantique ou une recommandation efficace. Grâce à l’architecture évolutive de Milvus, les données deviennent instantanément consultables sans sacrifier la latence des requêtes de recherche en cours. Cela garantit que les applications GenAI disposent de la vue la plus à jour des données métier.
Le service Flink entièrement géré de Confluent est désormais disponible de manière générale auprès des trois principaux fournisseurs de services cloud, offrant aux clients une véritable solution multicloud et la flexibilité de déployer de manière transparente des charges de travail de traitement de flux partout où résident leurs données et leurs applications. Soutenu par un SLA de disponibilité de 99,99 %, Confluent garantit un traitement de flux fiable avec le support et les services des principaux experts Kafka et Flink.
Ensemble, Zilliz et Confluent simplifient le développement d’applications GenAI
Notre intégration Confluent permet à vos équipes d’exploiter une base de données vectorielle enrichie en continu, avec des mises à jour des données métier diffusées et indexées en temps réel, afin que vous puissiez créer et faire évoluer rapidement les applications d’IA offrant la meilleure expérience utilisateur.
Pour commencer
Découvrez le Kafka-Milvus Connector open source et utilisez-le avec vos instances Flink et Kafka sur Confluent Cloud et Milvus entièrement géré sur Zilliz Cloud afin de rendre les mises à jour de données en temps réel instantanément disponibles pour la recherche vectorielle.
Vous n’êtes pas encore client Confluent ? Commencez votre essai gratuit de Confluent Cloud dès aujourd’hui. Les nouvelles inscriptions reçoivent 400 $ à dépenser au cours de leurs 30 premiers jours — aucune carte de crédit requise.
Continuer à lire
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
Selecting the Right ETL Tools for Unstructured Data to Prepare for AI
Learn the right ETL tools for unstructured data to power AI. Explore key challenges, tool comparisons, and integrations with Milvus for vector search.
Introducing DeepSearcher: A Local Open Source Deep Research
In contrast to OpenAI’s Deep Research, this example ran locally, using only open-source models and tools like Milvus and LangChain.