Débloquez la recherche optimisée par l’IA avec Fivetran et Milvus
Ce blog a été initialement publié sur Fivetran.
Fivetran prend désormais en charge la base de données vectorielle Milvus comme destination, ce qui facilite l’intégration de chaque source de données pour le RAG et la recherche alimentée par l’IA.
Les données sont l’épine dorsale de l’IA, et une connectivité fluide est essentielle pour libérer tout son potentiel. Les données non structurées représentent désormais environ 80 % de toutes les données et recèlent une immense valeur pour les applications d’IA telles que la recherche d’entreprise et les chatbots alimentés par la génération augmentée par récupération (RAG). À mesure que les volumes de données augmentent, les bases de données vectorielles évolutives comme Milvus deviennent essentielles pour stocker et rechercher efficacement dans l’ensemble des informations d’une organisation.
Les données destinées à la recherche sont stockées à divers endroits, tels que le stockage cloud, les applications métier et les bases de données relationnelles. L’approche typique consiste à réunir ces sources dans un référentiel unique, à convertir les données non structurées comme le texte en embeddings vectoriels et à les stocker dans une base de données vectorielle avec des métadonnées. Cette approche permet aux applications d’IA d’accéder à une grande variété d’ensembles de données et de s’adapter aux changements des sources de données.
La destination Milvus de Fivetran simplifie ce processus et élimine la nécessité de créer, maintenir et surveiller des pipelines de données complexes. En quelques clics seulement, les ingénieurs data peuvent créer des solutions de recherche IA rapides, efficaces et évolutives, ce qui leur permet de se concentrer sur la création de valeur métier plutôt que sur la gestion des complexités de l’infrastructure.
Comment configurer la destination Fivetran Milvus
Comment Milvus et Fivetran construisent une base pour l’IA
Milvus est une base de données vectorielle open source haute performance conçue pour passer à l’échelle. Un seul cluster Milvus déployé sur Kubernetes peut gérer des milliards de vecteurs. Zilliz Cloud est une version entièrement gérée de Milvus, qui ajoute une préparation aux exigences de l’entreprise, comme le RBAC et le SOC2, ainsi que des performances encore meilleures grâce au moteur de recherche vectorielle Cardinal propriétaire. Milvus et Zilliz Cloud sont largement utilisés dans les applications d’IA modernes telles que la recherche sémantique, la RAG et la recherche multimodale.
L’un des défis de la création de solutions de recherche alimentées par l’IA consiste à ingérer des données provenant de diverses sources dans Milvus afin de les rendre consultables sémantiquement en temps réel. Milvus Destination de Fivetran simplifie l’ingestion de données depuis n’importe quelle source dans Milvus, permettant aux entreprises d’obtenir des informations exploitables sans les contraintes de la gestion des mouvements de données. En utilisant les capacités avancées de recherche vectorielle de Milvus et ce flux de données rationalisé, les développeurs peuvent rapidement créer des applications d’IA qui exploitent pleinement les diverses sources de données de leur organisation.
Avec la destination Fivetran Milvus, vous pouvez :
Ingérer des données provenant de plus de 600 sources via les connecteurs Fivetran dans Milvus/Zilliz.
Rationaliser l’extraction, le chargement et la vectorisation des données non structurées avec les modèles d’embedding OpenAI.
Activer le filtrage des métadonnées dans la recherche vectorielle en propageant les colonnes de données structurées.
Créer une recherche en quasi temps réel avec synchronisation incrémentielle.
SDK Partner de Fivetran : créer des connecteurs et des destinations personnalisés
Fivetran Partner SDK permet aux fournisseurs de technologies de créer des connecteurs source ou destination pour leurs services et de s’intégrer de manière transparente à la plateforme automatisée de mouvement de données de Fivetran. Les principaux avantages du SDK incluent :
Indépendant du langage : Le SDK basé sur gRPC permet d’écrire des connecteurs source et destination dans n’importe quel langage de programmation pris en charge, offrant aux développeurs la flexibilité de réutiliser ou d’écrire du nouveau code dans le langage de leur choix.
Complexité réduite : Grâce à des modèles et à un environnement de test local, les fournisseurs tiers peuvent facilement tester et déployer des connecteurs.
Nouvelles opportunités pour les plateformes de données : Le SDK ouvre de nouveaux canaux d’activation produit, permettant aux entrepôts de données, aux lacs de données et aux plateformes de stockage d’accéder facilement aux plus de 600 connecteurs de Fivetran.
Zilliz, l’entreprise derrière Milvus, a conçu une intégration avec Fivetran en faisant correspondre étroitement ses opérations de base de données vectorielle au modèle de mise à jour relationnel de Fivetran. Elle a également simplifié les solutions tierces, comme le service d’embedding d’OpenAI, afin de générer des vecteurs lors de l’ingestion.
La recherche alimentée par l’IA en action
Les données non structurées, bien que souvent les plus précieuses, sont aussi les plus difficiles à gérer. Avec Fivetran et Milvus, les entreprises peuvent créer rapidement et facilement des outils de recherche alimentés par l’IA afin d’extraire des insights de leurs jeux de données les plus riches.
Les connecteurs entièrement gérés de Fivetran déplacent les données automatiquement, de manière fiable et sécurisée, depuis les principales applications métier, avec prise en charge intégrée de la migration de schéma. Par exemple, imaginez une entreprise qui souhaite créer un outil de recherche interne pour les messages Slack. À l’aide du connecteur Slack de Fivetran, les données sont d’abord répliquées et stockées dans un format normalisé dans un entrepôt de données ou un lakehouse de données tel que Snowflake. Ces données peuvent ensuite être dénormalisées, concaténées, découpées en segments et transformées, après quoi elles peuvent être connectées à Milvus à l’aide du connecteur source Snowflake de Fivetran. En stockant simplement les segments de texte dans une colonne nommée original_text, la destination Milvus appelle automatiquement le service d’embedding d’OpenAI pour générer des vecteurs à partir du texte. Les vecteurs sont stockés dans Milvus aux côtés de toutes les autres étiquettes sous forme de champs scalaires et utilisés ensemble pour une recherche sémantique efficace basée sur la similarité vectorielle avec filtrage des métadonnées.
Figure- Comment créer un pipeline de recherche pour les sources de données avec l’intégration Fivetran et Milvus
Conclusion
La destination Milvus de Fivetran récemment introduite étend encore davantage le paysage des données dans l’IA afin de rendre chaque source de données consultable sémantiquement. En ingérant les données sources provenant d’un ensemble diversifié de bases de données/entrepôts et d’applications métier vers la base de données vectorielle Milvus, cette intégration facilite le développement de workflows d’IA. Vous pouvez commencer à utiliser la destination Milvus de Fivetran en suivant les instructions de configuration.
Pour en savoir plus sur cette intégration et voir comment créer une recherche en temps réel en action, veuillez rejoindre notre webinar de lancement produit le 26 septembre 2024. Nous passerons en revue les fonctionnalités de cette intégration et montrerons comment utiliser ce connecteur pour créer un chatbot RAG pour les issues GitHub !
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Charles WangLead Product Evangelist, Fivetran
Continuer à lire
DeepSeek-OCR Explained: Optical Compression for Scalable Long-Context and RAG Systems
Discover how DeepSeek-OCR uses visual tokens and Contexts Optical Compression to boost long-context LLM efficiency and reshape RAG performance.
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.
Vector Databases vs. Hierarchical Databases
Use a vector database for AI-powered similarity search; use a hierarchical database for organizing data in parent-child relationships with efficient top-down access patterns.