Nouveau pour Zilliz Cloud : service de migration, connecteur Fivetran, multi-réplicas, et plus encore
Nous sommes ravis d’annoncer de nouvelles fonctionnalités dans Zilliz Cloud, conçues pour renforcer la prise en charge de l’exécution de workloads d’IA dans des environnements de production. Cette mise à jour fournit aux développeurs et aux responsables techniques des outils avancés pour déployer et faire évoluer efficacement des applications pilotées par l’IA.
Les nouvelles fonctionnalités permettent aux équipes techniques de :
Conserver la pleine propriété de leurs données non structurées tout en tirant parti des meilleures technologies
Répondre aux exigences de vitesse et d’échelle des applications GenAI de production à grande échelle
Garantir un fonctionnement robuste et sécurisé des workloads GenAI dans les environnements de production
Alors que les organisations déploient de plus en plus d’applications pilotées par l’IA, la gestion de grands volumes de données non structurées, la garantie de hautes performances à grande échelle et le maintien de la robustesse opérationnelle deviennent des défis critiques. Nos nouvelles fonctionnalités répondent à ces problématiques, permettant aux équipes de développement de se concentrer sur l’innovation plutôt que sur la gestion de l’infrastructure.
Voici un aperçu de nos nouvelles fonctionnalités–lisez la suite pour plus de détails :
- Migration Service
- Connecteur source Fivetran
- Multi-réplica
- Auto-scaling
- Autres mises à jour de Production Readiness
Rejoignez-nous lors de notre webinaire de lancement pour voir ces innovations en action.
Un aperçu du lancement Zilliz de septembre 2024
Figure 1 : Un aperçu du lancement Zilliz de septembre 2024
Migration Service : migration sécurisée et efficace des données vectorielles
Zilliz Cloud présente Migration Services pour les données vectorielles, une nouvelle fonctionnalité publiée qui répond aux défis critiques auxquels les développeurs sont confrontés lorsqu’ils travaillent avec des bases de données vectorielles dans les applications d’IA. À mesure que les projets évoluent, le besoin de transférer des données vectorielles entre bases de données et autres systèmes de données devient crucial pour plusieurs raisons :
Éviter l’enfermement propriétaire
Mettre en œuvre des stratégies robustes de sauvegarde et de récupération des données
Garantir l’interopérabilité entre différents systèmes
Cependant, ce processus est souvent plus complexe que prévu, avec un risque de perte d’informations ou de fonctionnalités pendant le transfert.
Migration Services simplifie ces défis en proposant les éléments suivants :
Migration sans perte entre bases de données vectorielles (par ex., Milvus, pgvector, Elastic)
Prise en charge de l’importation en masse et de la migration incrémentale des données
Validation des données intégrée pour garantir la cohérence et préserver les fonctionnalités
Opérations hautes performances conçues pour gérer des datasets vectoriels à grande échelle
Avec Migration Services, les développeurs peuvent conserver un contrôle complet sur leurs données sur différentes plateformes et dans différents scénarios. En rationalisant le processus de migration, Migration Services vous permet de vous concentrer sur la création et l’amélioration de vos modèles et applications d’IA tout en garantissant la portabilité, la sécurité et l’intégrité des données.
Connecteur Fivetran : intégration simplifiée des données non structurées provenant de plus de 500 sources
Zilliz Cloud s’intègre désormais à Fivetran, élargissant considérablement les capacités d’ingestion de données. Ce nouveau connecteur permet une récupération efficace des données non structurées à partir de plus de 500 systèmes différents, élargissant ainsi le périmètre des données accessibles pour vos applications d’IA.
Voici comment cela fonctionne :
Les données non structurées provenant de plus de 500 sources (comme Snowflake, MongoDB, Salesforce, etc.) transitent vers Fivetran.
Les connecteurs et la logique de transformation de Fivetran traitent les données.
Le connecteur source Milvus (construit avec le Fivetran SDK) achemine les données traitées vers Zilliz/Milvus.
Les données non structurées peuvent être vectorisées à l’aide des OpenAI Embedding Services via le connecteur Fivetran d’OpenAI.
Enfin, les données vectorielles sont ingérées dans Zilliz Cloud/ Milvus, prêtes pour la recherche vectorielle et les applications d’IA.
Fonctionnement du connecteur source Fivetran
Figure 2 : Fonctionnement du connecteur source Fivetran
Cette intégration rationalise l’ensemble du processus de collecte, de transformation et de vectorisation des données non structurées provenant de diverses sources. Elle élimine le besoin de pipelines ETL personnalisés, faisant gagner du temps et des efforts aux développeurs tout en garantissant un flux de données fluide vers Milvus/ Zilliz.
En exploitant ce connecteur Fivetran, vous pouvez facilement créer vos applications d’IA avec une vaste gamme de données non structurées, ouvrant ainsi de nouvelles possibilités pour la recherche sémantique et les insights pilotés par l’IA.
Multi-réplique : améliorer les performances et la disponibilité
Nouvellement disponible en préversion publique, la fonctionnalité multi-réplique renforce les capacités de Zilliz Cloud pour les environnements de production. Cette fonctionnalité permet une réplication au niveau du cluster, améliorant considérablement les performances des requêtes et la disponibilité du système.
De nombreuses applications d’IA grand public rencontrent des goulots d’étranglement en requêtes par seconde (QPS) en production en raison de leur volume élevé d’utilisateurs. Le multi-réplique y remédie en répartissant les charges de travail de requêtes entre les répliques, permettant un traitement parallèle qui peut améliorer linéairement le QPS global à mesure que des répliques sont ajoutées. Cela se traduit par une latence réduite et une efficacité accrue, essentielles pour maintenir la réactivité dans les environnements de production à fort trafic.
De plus, le multi-réplique améliore la fiabilité du système en répartissant les répliques sur plusieurs zones de disponibilité (AZ). Cette architecture garantit un accès continu aux données même lors d’une panne d’une AZ, fournissant la haute disponibilité nécessaire aux applications critiques. Bien que le multi-réplique n’augmente pas la capacité globale du cluster, il offre un outil puissant pour optimiser les performances des requêtes et garantir la résilience du système requise dans les environnements de production, permettant aux équipes de faire évoluer leurs applications d’IA en toute confiance.
Mise à l’échelle automatique : gestion dynamique de la capacité
Zilliz Cloud déploie une fonctionnalité de mise à l’échelle automatique (en préversion privée) qui répond à un défi courant dans les environnements de production : gérer la capacité du cluster en réponse à des demandes fluctuantes. Cette fonctionnalité s’ajuste dynamiquement lorsque la capacité du cluster diminue en fonction de l’utilisation en temps réel, aidant à prévenir les restrictions d’accès en écriture dues à des ressources insuffisantes et à réduire les charges opérationnelles.
La mise à l’échelle automatique est déclenchée lorsque la capacité en Compute Unit (CU) du cluster dépasse un seuil spécifié (70 % par défaut et ajustable) pendant deux minutes consécutives. Les développeurs peuvent définir une taille maximale en CU pour la mise à l’échelle, offrant un contrôle sur l’allocation des ressources et les coûts.
Remarque : la mise à l’échelle automatique est actuellement en préversion privée et disponible uniquement pour les clusters Dedicated (Enterprise). Les organisations souhaitant essayer cette fonctionnalité doivent contacter le support Zilliz pour activer l’accès.
Autres mises à jour pour la préparation à la production
Zilliz Cloud introduit quelques autres mises à jour essentielles pour renforcer la préparation à la production :
Fiabilité : SLA de disponibilité de 99,95 % pour les applications d’IA critiques.
Surveillance et alertes :
39 alertes organisationnelles et de projet pour la gestion des coûts et des performances.
18 indicateurs clés sur l’utilisation des ressources, le QPS, les résultats des requêtes et les opérations sur les données.
Graphiques personnalisables pour une analyse approfondie de l’état du système.
- Sécurité : SSO basé sur Auth0 (préversion privée) avec des options de connexion Google, Github, SSO et Email.
- Une nouvelle région Zilliz Cloud en ligne : Zilliz Cloud vient de s’étendre à une nouvelle région — AWS Tokyo (ap-northeast-1) ! Cela signifie une latence plus faible, de meilleures performances et une plus grande souveraineté des données pour nos utilisateurs en Asie-Pacifique et dans les régions voisines.
Ces fonctionnalités fournissent aux développeurs les outils nécessaires pour maintenir des applications d’IA en production performantes, sécurisées et rentables.
Donner aux applications d’IA prêtes pour la production les moyens de réussir avec Zilliz Cloud
Les dernières fonctionnalités de Zilliz Cloud sont conçues pour renforcer votre capacité à créer et maintenir des applications d’IA robustes dans des environnements de production. De la migration sécurisée des données à la mise à l’échelle dynamique et à la surveillance complète, ces mises à jour répondent aux défis critiques auxquels sont confrontés les développeurs et les responsables techniques.
Vous voulez en savoir plus ? Rejoignez notre prochain webinaire pour découvrir comment ces nouvelles fonctionnalités peuvent transformer votre gestion des données non structurées et vos applications d’IA. Notre équipe produit présentera les dernières évolutions et les meilleures pratiques pour exploiter Zilliz Cloud en production.
Prêt à commencer ? Lancez-vous gratuitement avec Zilliz Cloud : aucune installation et aucune carte de crédit requises. Vous pouvez également commencer un essai gratuit de 30 jours de notre offre dédiée, qui inclut 100 $ de crédits lors de l’inscription. Vous recevrez 100 $ de crédits supplémentaires si vous vous abonnez à Zilliz Cloud via n’importe quelle marketplace cloud !
Si vous avez des questions ou besoin d’aide lors de votre exploration de Zilliz Cloud, notre équipe d’assistance est prête à vous aider. Contactez-nous via notre portail d’assistance, et nous serons ravis de vous aider à exploiter ces nouvelles fonctionnalités pour vos applications d’IA.
Commencez dès aujourd’hui à créer des applications d’IA prêtes pour la production avec Zilliz Cloud !
Continuer à lire
Announcing VDBBench 1.0: Open-Source VectorDB Benchmarking with Your Real-World Production Workloads
Discover VDBBench 1.0, an open-source tool for benchmarking vector databases with real-world production data, streaming ingestion, and concurrent workloads.
Demystifying the Milvus Sizing Tool
Explore how to use the Sizing Tool to select the optimal configuration for your Milvus deployment.
Building RAG Pipelines for Real-Time Data with Cloudera and Milvus
explore how Cloudera can be integrated with Milvus to effectively implement some of the key functionalities of RAG pipelines.