Change Data Capture : garder vos systèmes synchronisés en temps réel
Change Data Capture : garder vos systèmes synchronisés en temps réel
Qu’est-ce que le Change Data Capture (CDC) ?
Le Change Data Capture (CDC) est une méthode utilisée pour identifier et suivre les changements de données au moment où ils se produisent au sein d’une base de données. Au lieu de surveiller manuellement ou d’interroger à plusieurs reprises les mises à jour, le CDC capture automatiquement les insertions, les mises à jour et les suppressions en temps réel ou quasi réel. Les techniques de CDC, telles que les journaux de transactions et les déclencheurs de base de données, permettent aux organisations de maintenir la cohérence et l’intégrité des données entre divers systèmes et environnements de déploiement. Cela garantit que les systèmes et applications en aval — qu’ils alimentent des analyses traditionnelles ou des modèles d’IA basés sur des vecteurs — disposent toujours des données les plus récentes.
Par exemple, dans une base de données vectorielle, le CDC suit les mises à jour en temps réel des embeddings pour des tâches comme la recherche sémantique ou la détection de fraude, où les données les plus récentes sont nécessaires pour obtenir des résultats précis.
Évolution de l’intégration des données : le rôle du CDC
Par le passé, le traitement par lots était l’approche principale de l’intégration des données. Cependant, il provoquait des retards, car les mises à jour de données étaient traitées en masse à intervalles planifiés, souvent des heures ou des jours après que les changements se soient produits. Cette limitation le rendait inadapté aux applications comme la recherche sémantique en temps réel pour les chatbots alimentés par l’IA ou les systèmes de recommandation, qui s’appuient sur des bases de données vectorielles pour analyser des données de grande dimension.
Le CDC résout ce problème en capturant les changements au moment où ils se produisent et en mettant à jour les systèmes en temps réel. Cette technique permet aux entreprises de synchroniser leurs bases de données, d’alimenter des tableaux de bord en temps réel et de créer des applications réactives. L’essor du CDC a coïncidé avec la croissance des systèmes distribués modernes et des architectures cloud-native, où la réplication et l’intégration rapides des données sont essentielles. Au lieu de travailler avec des données obsolètes issues de mises à jour périodiques, les organisations peuvent désormais capturer les changements et agir sur ceux-ci au moment où ils se produisent. Cette évolution a fait du CDC un composant essentiel des stratégies de données modernes, en aidant les entreprises à rester réactives et compétitives en temps réel.
Comment fonctionne le Change Data Capture ?
Imaginez le suivi des interactions d’un client sur une plateforme de commerce électronique. Chaque interaction, comme la navigation, l’ajout au panier ou l’achat, génère de nouvelles données. Le CDC diffuse ces données modifiées vers une base de données vectorielle comme Milvus en temps réel, où leurs représentations vectorielles, également appelées embeddings vectoriels, peuvent être mises à jour pour des tâches comme les recommandations personnalisées ou la prévention de la fraude.
Décomposons cela en composants et mécanismes clés pour comprendre le fonctionnement du CDC.
Composants clés du CDC
Pour rendre le CDC fonctionnel, plusieurs composants fonctionnent ensemble. Le diagramme ci-dessous illustre le processus du CDC.
Figure- Processus de Change Data Capture .png
Figure : Processus de Change Data Capture
Source : Le système d’où proviennent les changements, qui peut être des bases de données relationnelles, des systèmes NoSQL ou des bases de données vectorielles. Dans le cas d’une base de données vectorielle comme Milvus, la source pourrait être des embeddings générés à partir de modèles de deep learning ou de modèles de reconnaissance d’image.
Moteur CDC : Le processus central qui capture et formate les changements. Pour les bases de données vectorielles, cela pourrait signifier la mise à jour des embeddings stockés dans Milvus à l’aide d’outils comme Milvus-CDC ou Confluent Kafka Connect.
Système de messagerie : Un système de messagerie comme Apache Kafka sert de colonne vertébrale pour distribuer les changements en temps réel. Il agit comme un intermédiaire qui stocke et diffuse les changements capturés vers un ou plusieurs systèmes cibles. Cela garantit l’évolutivité et la fiabilité du pipeline de données.
Systèmes cibles : Les destinations où les changements de données traités sont envoyés. Exemples :
Entrepôts de données (p. ex., Snowflake, BigQuery) pour l’analytique.
Caches pour des réponses aux requêtes plus rapides.
Bases de données pour la réplication et la synchronisation entre systèmes.
Vue d’ensemble des mécanismes de CDC
Il existe trois principales façons dont la CDC peut capturer les changements d’une base de données. Dans les exemples ci-dessous, nous utiliserons des bases de données SQL pour la démonstration.
1. CDC basée sur les journaux
Cette méthode repose sur le journal des transactions de la base de données, une fonctionnalité au niveau du système qui enregistre tous les changements de la base de données (insertions, mises à jour et suppressions). Le moteur CDC lit ces journaux et extrait les changements pertinents pour une utilisation en aval. Dans les bases de données vectorielles, cela pourrait signifier capturer les mises à jour des vecteurs d’embedding lorsqu’ils sont insérés ou modifiés dans Milvus.
Fonctionnement :
Le journal des transactions est la source unique de vérité pour toutes les opérations de base de données.
L’outil CDC surveille le journal et identifie et capture continuellement les changements sans affecter la base de données principale.
Figure- Log-based CDC.png
Figure : CDC basée sur les journaux
Avantages :
Haute performance : Impact minimal sur la base de données puisqu’elle lit directement à partir des journaux.
Exhaustive : Capture tous les changements, y compris ceux provenant de déclencheurs, de procédures stockées ou d’autres méthodes indirectes.
Évolutive : Fonctionne bien avec les systèmes à transactions élevées.
Inconvénients :
Complexité : Nécessite une intégration approfondie avec la structure interne des journaux de la base de données, qui peut varier selon le type de base de données.
Compatibilité : Toutes les bases de données n’exposent pas les journaux de transactions pour un accès externe.
2. CDC basée sur les déclencheurs
Cette approche utilise des déclencheurs de base de données, qui sont une logique personnalisée s’exécutant automatiquement lorsqu’un changement spécifique (p. ex., insertion, mise à jour ou suppression) se produit dans une table. Par exemple, des déclencheurs pourraient automatiquement mettre à jour un index vectoriel Milvus lorsque de nouveaux embeddings sont ajoutés.
Fonctionnement :
Des déclencheurs sont ajoutés aux tables d’intérêt dans la base de données.
Lorsque des changements se produisent, le déclencheur les capture et envoie les informations à un emplacement ou une table spécifiés pour un traitement en aval.
Figure- Trigger-based CDC.png
Figure : CDC basée sur les déclencheurs
Avantages :
Flexible : Peut être personnalisée pour suivre les changements pour des cas d’utilisation spécifiques.
Largement prise en charge : Presque toutes les bases de données relationnelles prennent en charge les déclencheurs.
Inconvénients :
Impact sur les performances : Les déclencheurs ajoutent une surcharge à la base de données, en particulier pour les transactions à haute fréquence.
Défis de maintenance : La gestion et la mise à jour des déclencheurs sur plusieurs tables peuvent devenir difficiles.
Sujette aux erreurs : Des déclencheurs mal écrits peuvent provoquer des goulots d’étranglement de performance ou ne pas capturer les cas limites.
3. CDC basée sur les requêtes
Cette méthode consiste à exécuter des requêtes périodiques sur la base de données pour détecter les changements. Les requêtes comparent généralement des horodatages ou des versions pour identifier les enregistrements récemment modifiés, comme l’interrogation périodique d’une base de données vectorielle pour des embeddings mis à jour.
Fonctionnement :
Le moteur CDC exécute des requêtes à intervalles planifiés et identifie les changements selon des critères spécifiques (p. ex., date de dernière modification).
Les changements détectés sont ensuite envoyés en aval.
Figure- Query-based CDC.png
Figure : CDC basée sur les requêtes
Avantages :
Configuration simple : Ne nécessite aucune intégration ou modification approfondie de la base de données.
Indépendante de la base de données : Fonctionne avec presque toute base de données prenant en charge les requêtes.
Inconvénients :
Latence : Pas en temps réel, car elle dépend du calendrier des requêtes.
Surcharge de performance : Des requêtes fréquentes peuvent solliciter fortement la base de données.
Précision limitée : Peut manquer des changements si des modifications de données se produisent entre les intervalles de requête.
Comparaison des mécanismes CDC
Le tableau ci-dessous fournit un aperçu rapide des différents mécanismes CDC et de leurs cas d’utilisation :
| Mécanisme | Temps réel | Impact sur les performances | Facilité de configuration | Adéquation au cas d’utilisation |
| Basé sur les journaux | Oui | Faible | Moyenne | Systèmes transactionnels à fort volume |
| Basé sur des déclencheurs | Oui | Moyen-élevé | Faible-moyenne | Cas d’utilisation nécessitant une logique de changement personnalisée |
| Basé sur des requêtes | Non | Élevé | Élevée | Configurations simples avec des changements peu fréquents |
Tableau : Comparaison des mécanismes CDC
CDC avec Milvus : intégration de données en temps réel pour les bases de données vectorielles
Milvus, une base de données vectorielle open source (développée par les ingénieurs de Zilliz) conçue pour gérer des données non structurées telles que des vector embeddings issus de modèles d’apprentissage automatique, possède son propre outil CDC, Milvus-CDC, qui est explicitement conçu pour gérer les tâches de réplication et de synchronisation des données au sein d’instances Milvus. Milvus-CDC capture les changements incrémentiels des données afin d’assurer une synchronisation fluide entre les instances Milvus source et cible. Cela prend en charge des tâches telles que la sauvegarde incrémentielle, la reprise après sinistre et la réplication persistante des données, tout en maintenant l’intégrité et la cohérence des données. Milvus-CDC comprend deux composants principaux : le serveur HTTP, qui gère les requêtes des utilisateurs, exécute les tâches et conserve les métadonnées des tâches, et Corelib, qui gère la synchronisation des tâches, avec un lecteur qui extrait les données de l’instance Milvus source et de la file de messages, et un rédacteur qui traite ces changements et les envoie à l’instance Milvus cible.
Figure- The Milvus-CDC architecture.png
Figure : L’architecture de Milvus-CDC
Milvus-CDC : fonctionnalités clés
Synchronisation séquentielle des données : Garantit que les changements sont appliqués de manière à préserver la cohérence des données entre les instances Milvus.
Réplication incrémentielle des données : Capture et réplique les changements, tels que les insertions et les suppressions, du Milvus source vers l’instance cible.
Gestion des tâches : Les utilisateurs peuvent créer, gérer et supprimer des tâches CDC à l’aide d’OpenAPI afin de les intégrer à divers workflows.
Intégration avec les systèmes futurs : Des plans sont prévus pour étendre la prise en charge de l’intégration avec des systèmes de traitement de flux.
CDC sur Milvus avec Kafka
Bien que Milvus-CDC soit explicitement adapté à Milvus, l’intégration de Milvus avec Apache Kafka offre une autre approche de la CDC. Kafka est un hub central qui capture et propage les changements de données provenant de diverses sources à l’aide d’outils CDC comme le connecteur Kafka Sink. Ces changements sont ensuite ingérés dans Milvus afin de maintenir la base de données vectorielle à jour avec les derniers embeddings ou vecteurs de caractéristiques.
Pour connecter Kafka à Milvus, vous pouvez suivre ce guide : Connecter Kafka à Milvus.
Rôle de la CDC dans les bases de données distribuées et les applications cloud-native
À mesure que les organisations adoptent des bases de données distribuées et des applications cloud-native pour gérer des charges de travail à grande échelle et géographiquement distribuées, la CDC joue un rôle essentiel dans la synchronisation fluide des données à travers ces systèmes complexes.
Synchronisation des données entre systèmes distribués : Dans les bases de données distribuées, les données sont souvent réparties entre plusieurs nœuds ou régions afin d’améliorer les performances et la scalabilité. La CDC propage immédiatement aux autres nœuds les changements effectués sur un nœud afin de maintenir la cohérence dans l’ensemble du système.
Partage de données en temps réel dans les architectures cloud-native : Les applications cloud-native s’appuient souvent sur des microservices, chacun disposant de son propre stockage de données. La CDC permet à ces services de partager des mises à jour en temps réel sans recourir à de lourds processus par lots afin de prendre en charge les architectures événementielles.
Réplication pour la haute disponibilité et la reprise après sinistre : Les systèmes distribués utilisent souvent la réplication des données pour assurer une haute disponibilité. La CDC capture et réplique les changements vers des nœuds de sauvegarde ou des systèmes de basculement.
Rationalisation des pipelines de données : Dans les environnements où plusieurs systèmes dépendent d’ensembles de données partagés, la CDC fournit un mécanisme permettant d’alimenter des plateformes d’analyse, des data lakes ou des files de messages avec des changements en temps réel.
Applications de la CDC dans les bases de données vectorielles
Voici des cas d’utilisation spécifiques de la CDC, en particulier dans les applications d’IA fonctionnant avec une base de données vectorielle :
Recherche sémantique : La CDC met à jour la base de données vectorielle avec les embeddings les plus récents, ce qui permet aux systèmes de recherche sémantique de fournir des résultats précis et pertinents. Par exemple, un moteur de recherche d’entreprise peut fournir des réponses précises à partir de mises à jour en temps réel des embeddings de documents ou de requêtes.
Systèmes de recommandation : Les bases de données vectorielles utilisent des embeddings pour générer des recommandations personnalisées. La CDC diffuse en continu les changements en temps réel, tels que de nouveaux comportements utilisateur ou des mises à jour de produits, afin que les systèmes de recommandation s’adaptent rapidement à l’évolution des données.
Détection de fraude : Dans les systèmes financiers, les embeddings issus des données transactionnelles sont continuellement mis à jour dans une base de données vectorielle. La CDC garantit que ces mises à jour sont diffusées en temps réel afin de détecter instantanément les activités inhabituelles et de signaler les fraudes potentielles.
Reconnaissance d’images et de vidéos : Pour des applications telles que le balisage ou la recherche de contenus visuellement similaires, la CDC maintient à jour dans la base de données les embeddings vectoriels générés à partir d’images ou de vidéos. Cela permet d’obtenir des résultats précis et rapides pour des cas d’utilisation en temps réel, tels que la modération sur les réseaux sociaux ou la recherche visuelle dans l’e-commerce.
Chatbots et assistants virtuels : La CDC aide les chatbots basés sur RAG et LLM à fournir des réponses précises en temps réel. Par exemple, les embeddings représentant les interactions utilisateur en direct ou les bases de connaissances mises à jour sont capturés et actualisés instantanément, ce qui améliore les performances du chatbot.
Détection d’anomalies : La CDC est utile en cybersécurité, où les schémas inhabituels dans le trafic réseau ou les journaux système nécessitent une attention immédiate.
Avantages de la CDC
La CDC offre des avantages significatifs aux architectures de données modernes pour fonctionner efficacement et prendre des décisions éclairées. Voici les principaux avantages :
Informations en temps réel : La CDC fournit les données les plus récentes pour soutenir une prise de décision rapide. Ainsi, les entreprises peuvent surveiller instantanément les performances et les tendances.
Réduction de la latence des données : Élimine les retards causés par le traitement par lots traditionnel. Comme les changements sont répercutés presque immédiatement entre les systèmes, ils améliorent la réactivité des applications qui dépendent de données synchronisées.
Scalabilité dans les grands systèmes : Elle gère de grands volumes de changements de données, ce qui la rend adaptée aux bases de données à grande échelle et aux environnements distribués.
Réplication et migration transparentes des données : Cette fonctionnalité facilite la réplication des données en temps réel entre systèmes pour la haute disponibilité, la reprise après sinistre et l’équilibrage de charge. Elle simplifie également les migrations de bases de données en utilisant des données synchronisées pendant les transitions, avec un temps d’arrêt minimal.
Prise en charge des architectures événementielles : Alimente les applications événementielles en déclenchant des workflows ou des processus en aval basés sur les modifications de données. Ainsi, elle améliore l’automatisation et la réactivité des opérations métier.
Exactitude et cohérence des données : Tous les systèmes connectés disposent de données cohérentes et exactes, réduisant ainsi les erreurs et les incohérences. Ainsi, elle fournit une base fiable pour créer des solutions robustes fondées sur les données.
Défis de la mise en œuvre du CDC
La mise en œuvre du CDC peut être complexe, et les organisations doivent relever plusieurs défis pour assurer des opérations efficaces et fiables. Les principaux obstacles incluent :
Surcharges de performance : La capture et le traitement des changements en temps réel peuvent imposer une charge supplémentaire à la base de données, ce qui affecte les performances des applications principales. De plus, les méthodes gourmandes en ressources, comme les déclencheurs ou les requêtes fréquentes, peuvent dégrader les temps de réponse de la base de données. Équilibrer la vitesse avec l’exactitude et la fiabilité exige une conception optimisée du pipeline.
Gestion des modifications de schéma : Les modifications du schéma de la base de données, telles que l’ajout de colonnes, la modification des types de données ou l’altération des structures de tables, peuvent perturber les pipelines CDC.
Considérations relatives au réseau et au stockage : Le streaming continu de données dans le CDC nécessite une capacité de stockage suffisante et des techniques de compression efficaces pour éviter une spirale des coûts. L’augmentation du trafic réseau peut mettre à rude épreuve la bande passante, en particulier dans les systèmes géographiquement distribués.
Intégrité des données dans le pipeline CDC : Les défaillances ou incohérences dans le pipeline peuvent compromettre l’exactitude des systèmes en aval. La gestion des événements arrivant dans le désordre et la résolution des conflits dans les environnements distribués peuvent ajouter de la complexité.
Compatibilité des outils et verrouillage fournisseur : Certaines solutions CDC sont liées à des bases de données ou à des technologies spécifiques, limitant la flexibilité dans les environnements hétérogènes. Changer d’outil ou mettre à niveau les systèmes peut nécessiter de réingénierie des processus CDC.
Risques de sécurité et de conformité : Le streaming de données sensibles en temps réel nécessite un chiffrement robuste et des contrôles d’accès pour empêcher tout accès non autorisé. La conformité aux réglementations sur la protection des données comme le GDPR ou le CCPA peut compliquer la mise en œuvre du CDC.
Outils et frameworks pour le CDC
Plusieurs outils et frameworks sont disponibles pour mettre en œuvre le CDC, chacun offrant des fonctionnalités uniques adaptées à des cas d’utilisation spécifiques. Voici une liste d’options populaires :
Debezium**: Plateforme CDC open source basée sur Apache Kafka, Debezium prend en charge diverses bases de données, telles que MySQL, PostgreSQL, MongoDB et SQL Server. Elle est idéale pour le streaming de données en temps réel et l’intégration avec des architectures événementielles.
Oracle GoldenGate: Solution CDC robuste et de niveau entreprise d’Oracle, GoldenGate prend en charge la réplication de données haute performance et l’intégration en temps réel entre des bases de données hétérogènes. Elle est largement utilisée pour la reprise après sinistre et la migration.
AWS Database Migration Service (DMS): ****Service entièrement géré d’Amazon qui prend en charge le CDC pour diverses bases de données, sur site comme dans le cloud. Il simplifie la migration et la réplication des données sans nécessiter de surcharge importante.
Qlik Replicate: Anciennement connu sous le nom d’Attunity Replicate, Qlik Replicate prend en charge le CDC pour un large éventail de bases de données et de systèmes de fichiers. Il est conçu pour une réplication de données rapide et évolutive ainsi que pour l’intégration dans des plateformes d’analyse.
Confluent Kafka Connect: Faisant partie de l’écosystème Confluent, Kafka Connect offre des capacités CDC pour diffuser les changements de données dans des topics Kafka. Il s’intègre également de manière transparente à la plateforme Kafka pour le traitement des événements en temps réel.
Conclusion
Le CDC joue un rôle essentiel dans les systèmes de données modernes grâce aux mises à jour en temps réel et à l’intégration entre les plateformes. En répondant aux limites du traitement par lots, le CDC prend en charge l’analyse en temps réel, les architectures orientées événements et la synchronisation transparente des données. Des outils comme Apache Kafka renforcent davantage le CDC en rationalisant les changements dans les systèmes en aval, notamment les bases de données vectorielles comme Milvus. Cela aide les entreprises à gérer les données non structurées, à faire évoluer leurs opérations et à créer des applications réactives.
Ressources connexes
- Qu’est-ce que le Change Data Capture (CDC) ?
- Évolution de l’intégration des données : le rôle du CDC
- Comment fonctionne le Change Data Capture ?
- CDC avec Milvus : intégration de données en temps réel pour les bases de données vectorielles
- Rôle de la CDC dans les bases de données distribuées et les applications cloud-native
- Applications de la CDC dans les bases de données vectorielles
- Avantages de la CDC
- Défis de la mise en œuvre du CDC
- Outils et frameworks pour le CDC
- Conclusion
- Ressources connexes
Contenu
Commencez gratuitement, évoluez facilement
Essayez la base de données vectorielle entièrement managée conçue pour vos applications GenAI.
Essayer Zilliz Cloud gratuitement