Révolutionner la recherche avec Zilliz et Azure OpenAI
Dans le développement de l’IA, une nouvelle intégration a émergé entre Zilliz et Azure OpenAI. Ensemble, ils redéfinissent le paysage de la recherche par similarité et de la recherche sémantique, en leur insufflant une vitesse, une intelligence et des garde-fous remarquables. Explorons cette fusion de technologies de pointe.
D’OpenAI à Azure OpenAI : une passerelle vers l’IA générative
Le service Azure OpenAI est une offre de Microsoft basée sur OpenAI. Microsoft a choisi OpenAI parce qu’il s’agit d’un leader dans le domaine de l’intelligence artificielle, à l’avant-garde des avancées en traitement du langage naturel (NLP) et en génération d’images. Il fournit aux développeurs un accès à une suite complète de modèles d’IA générative, tels que GPT-4, GPT-4 Turbo with Vision, GPT-3.5-Turbo, les modèles Embeddings et des modèles personnalisés, via l’approche la plus simple mais puissante pour les développeurs — par son API REST, son SDK Python ou l’interface web Azure OpenAI Studio, libérant ainsi le développeur de la création et de l’hébergement de ces modèles eux-mêmes. Ces modèles polyvalents prennent en charge diverses tâches, notamment la génération de contenu, la compréhension d’images et le traitement du langage naturel, permettant des expériences immersives qui dépassent les attentes traditionnelles.
L’intégration d’Azure OpenAI avec Zilliz transforme la technologie de recherche souvent utilisée dans les applications de génération augmentée par récupération (RAG), en améliorant les performances, l’intelligence, l’efficacité et l’adaptabilité des applications de recherche. Cette synergie entre les capacités avancées d’IA générative d’Azure OpenAI et les solutions de recherche évolutives de Zilliz conduit à des fonctionnalités de recherche IA améliorées et à une récupération de données avancée, répondant aux besoins des développeurs en matière d’intégration fluide de modèles d’IA et de solutions de recherche évolutives.
En outre, Azure OpenAI enrichit ses offres avec des fonctionnalités supplémentaires telles que la mise en réseau privée, la disponibilité régionale et le filtrage de contenu par IA responsable, tout en maintenant les normes de sécurité élevées de Microsoft Azure. Les développeurs bénéficient de l’environnement sécurisé et robuste fourni par l’API REST d’Azure OpenAI Service, qui donne accès à la série de modèles d’embeddings d’OpenAI et à la base de données vectorielle de Zilliz, prenant en charge un large éventail d’applications pilotées par l’IA et favorisant des solutions innovantes dans les technologies d’IA générative et de recherche IA.
Zilliz : l’épine dorsale de la recherche avancée
Zilliz Cloud est un service managé construit sur la plateforme de base de données vectorielle Milvus, conçu pour simplifier les complexités du déploiement, de la gestion et de la mise à l’échelle des bases de données vectorielles. Les utilisateurs peuvent exploiter les puissantes capacités de recherche vectorielle de Milvus sans avoir à gérer l’infrastructure, ce qui le rend idéal pour les secteurs nécessitant des solutions robustes et évolutives pour les applications d’IA et de ML.
Zilliz est un système spécialisé de gestion des données optimisé pour gérer à grande échelle des données vectorielles de haute dimension. Il offre des interfaces conviviales, telles que des SDK et des API RESTful, et prend en charge le traitement de requêtes complexes au-delà des recherches de similarité vectorielle de base. Il gère efficacement les mises à jour dynamiques tout en garantissant la sécurité, l’évolutivité et la disponibilité.
En partenariat avec Azure OpenAI, Zilliz améliore les applications d’IA en intégrant une technologie avancée de base de données vectorielle à des modèles d’IA générative, améliorant ainsi la précision, la pertinence et la compréhension contextuelle des résultats de recherche.
La dépendance croissante aux données non structurées dans les applications de science des données et d’IA stimule la demande pour les solutions de bases de données vectorielles de Zilliz. Cette augmentation des données provenant d’images, de vidéos, de textes, de dossiers médicaux et de l’immobilier est largement alimentée par l’utilisation généralisée des smartphones, des appareils IoT et des réseaux sociaux. Les avancées en apprentissage automatique ont transformé les données non structurées en vecteurs de caractéristiques structurés ou embeddings, essentiels pour l’analyse des données.
Ces embeddings sont largement utilisés dans les systèmes de recommandation sur diverses plateformes : YouTube utilise des vecteurs pour catégoriser les vidéos, Airbnb pour représenter les propriétés, et les bioscientifiques pour décrire les structures moléculaires dans la découverte de médicaments. Cela démontre la large applicabilité et l’efficacité de la technologie de Zilliz dans le traitement et l’analyse des données vectorielles à grande échelle.
Architecturer pour la recherche IA : alimenter l’avenir des solutions de recherche évolutives
Zilliz est conçu pour répondre aux exigences uniques des applications d’IA modernes grâce à un système de gestion de données vectorielles évolutif. Il améliore les capacités grâce à plusieurs fonctionnalités clés :
Traitement des requêtes :
Zilliz excelle dans le traitement rapide des requêtes sur des données vectorielles à grande échelle et gère efficacement les mises à jour dynamiques comme les insertions et les suppressions.
Il offre des options de requête avancées telles que le filtrage par attributs (couleur, taille, genre) et traite plusieurs types de vecteurs au-delà des simples recherches de similarité, notamment les vecteurs de profil visuel et de contexte de posture.
La plateforme intègre des fonctions de similarité standard telles que la distance euclidienne, le produit scalaire, la similarité cosinus, la distance de Hamming et la distance de Jaccard afin de permettre une exploration efficace de la similarité vectorielle.
Zilliz fournit des interfaces SDK conviviales pour les développeurs dans divers langages de programmation (Python, Java, Go, C++) et prend en charge les API RESTful pour les applications web.
Indexation :
Essentiel au traitement des requêtes vectorielles, Zilliz propose des mécanismes avancés d’indexation et de récupération adaptés à la gestion des complexités des données à haute dimension. Ce système est conçu pour être flexible, en permettant l’introduction régulière de nouveaux types d’index afin d’améliorer les fonctionnalités.
Son auto-index répond à un ensemble diversifié de cas d’utilisation et permet au développeur de bénéficier des avantages des index couramment utilisés basés sur la quantification (IVF_SQ8, IVF_PQ) et des index basés sur des graphes (HNSW, CAGRA) avec les contraintes de gestion.
Gestion des données et du stockage :
- Le système prend en charge la gestion dynamique des données grâce à des modifications efficaces des données et offre une isolation par instantané afin de maintenir une vue cohérente entre les opérations de lecture et d’écriture sans interférence.
Zilliz est une plateforme fondamentale pour la recherche avancée de données vectorielles, équipée pour gérer des scénarios de recherche de similarité complexes et exigeants. Elle offre un stockage de données robuste, des options d’indexation sophistiquées, ainsi que des métriques de similarité et des mécanismes de récupération complets, permettant aux développeurs de créer des solutions de recherche évolutives et efficaces pilotées par l’IA.
Entre les mains des développeurs, Zilliz devient une plateforme créative pour l’innovation, améliorant les expériences de recherche en e-commerce et révolutionnant les solutions de recherche évolutives. Grâce à ses capacités de pointe, Zilliz repousse les limites de ce qui est possible dans la technologie de recherche, façonnant l’avenir de ce domaine.
Récupération avancée des données : concevoir une recherche IA rapide et intelligente
Un embedding est un format de représentation des données qui encode efficacement le sens sémantique du texte pour être utilisé par des modèles et algorithmes d’apprentissage automatique. Il est composé d’un vecteur contenant des nombres à virgule flottante, où la relation spatiale entre deux vecteurs correspond à la similarité sémantique entre les textes qu’ils représentent. Par exemple, des textes similaires auront des représentations vectorielles étroitement alignées.
Zilliz Vector Database utilise ces embeddings pour effectuer des recherches de similarité vectorielle à grande vitesse, en gérant et en stockant efficacement les embeddings. Ces modèles d’embeddings sont spécifiquement adaptés à des tâches distinctes : les embeddings de similarité détectent les ressemblances sémantiques entre les textes, les embeddings de recherche textuelle évaluent la pertinence de documents plus longs par rapport à des requêtes plus courtes, et les embeddings de recherche de code sont conçus pour intégrer des extraits de code et des requêtes en langage naturel. Cette capacité permet au machine learning de traiter de grands ensembles de données en capturant les relations sémantiques au sein d’un espace vectoriel, permettant ainsi des évaluations précises de la similarité entre des segments de texte.
OpenAI fournit des modèles d’apprentissage qui convertissent des données non structurées en embeddings et les stockent dans une base de données vectorielle telle que Zilliz Cloud ou Milvus, open-source. OpenAI Cookbook fournit des instructions sur la génération d’embeddings et le stockage des données dans Milvus. OpenAI a également intégré la prise en charge de plugins qui aident des organisations comme Zilliz à créer des plugins de récupération open-source permettant aux développeurs de l’utiliser avec ChatGPT pour créer une solution personnalisée de récupération de base de connaissances (RAG). Les embeddings OpenAI peuvent ensuite être stockés dans une base de données vectorielle comme Milvus ou Zilliz afin de prendre en charge la "partie récupération d’une application RAG. De plus, les résultats et la requête de recherche sont envoyés sous forme de prompt afin de permettre au LLM d’OpenAI de générer une réponse appropriée.
L’exploration de l’intégration de Zilliz et d’Azure OpenAI met en évidence leurs forces combinées en matière de conception architecturale, qui sont essentielles pour améliorer l’intégration des données et le traitement des requêtes, et pour garantir l’évolutivité, la sécurité et la conformité — des aspects vitaux dans les secteurs où la protection des données est critique. La synergie entre ces technologies exploite leurs puissantes capacités avec une précision stratégique, posant les bases d’applications de recherche alimentées par l’IA réussies, où les avancées technologiques comme l’exécution méticuleuse sont essentielles.
Dans la recherche alimentée par l’IA, l’architecture est la pierre angulaire du succès. Il ne suffit pas de disposer de technologies puissantes ; nous devons aussi les utiliser avec précision et anticipation. C’est là que la collaboration entre Zilliz et Azure OpenAI brille véritablement.
Donner aux innovateurs les moyens d’agir : outils et ressources pour les développeurs
Zilliz propose des conseils complets sur les outils, SDK et ressources afin d’aider les développeurs à intégrer Zilliz à Azure OpenAI, simplifiant ainsi la création d’applications de recherche IA personnalisées. Nous encourageons les développeurs à explorer et à expérimenter ces technologies, soutenus par une documentation exhaustive, des tutoriels et des forums communautaires favorisant la collaboration.
Commencer avec les bons outils est essentiel pour innover. Zilliz Cloud sur Azure Cloud et Azure Marketplace facilite cela en déployant et en gérant efficacement les charges de travail de bases de données vectorielles. Pour les nouveaux venus, un guide débutant sur la connexion de Zilliz Cloud à Azure Marketplace est disponible ici : Guide débutant pour connecter Zilliz Cloud à Azure Marketplace. Cette intégration marque une avancée importante au sein de l’écosystème cloud de Microsoft, en améliorant les outils de recherche vectorielle et d’applications IA, et en tirant parti des services IA avancés d’Azure, comme Semantic Kernel, pour favoriser le développement de solutions intelligentes et innovantes.
Pour les développeurs souhaitant être à la pointe de la technologie de recherche, une multitude de ressources est disponible sur le site web de Zilliz, notamment des SDK et une documentation détaillée, ainsi que sur la communauté Milvus, toutes conçues pour encourager la collaboration et poursuivre l’exploration.
Vous pouvez également consulter le .NET SDK sur le partenariat Microsoft de Zilliz et les mises en œuvre de solutions, comme le plugin de récupération ChatGPT avec Zilliz et Milvus, sur la page du partenariat OpenAI de Zilliz.
Azure fournit également un soutien substantiel aux développeurs utilisant Azure OpenAI, notamment des guides pratiques sur l’utilisation de l’API REST du service Azure OpenAI et sur la compréhension de la manière dont son API d’embeddings utilise la similarité cosinus pour l’analyse de texte et la recherche de documents.
Avec Zilliz et Azure OpenAI comme partenaires d’innovation, nous sommes prêts à redéfinir les limites de la recherche alimentée par l’IA, ouvrant de nouvelles possibilités de découverte et de progrès.
Confidentialité à l’ère de l’IA : enseignements tirés
Alors que nous explorons les vastes possibilités de l’IA, il est essentiel de rappeler l’importance de la sécurité des données, soulignée par des incidents tels que la fuite de données de Samsung. Cet événement rappelle avec force que garantir la sécurité, la confidentialité et la conformité est primordial, en particulier à une époque où les préoccupations relatives à la confidentialité des données sont accrues.
Pour se prémunir contre les usages abusifs et les conséquences involontaires, Microsoft a mis en œuvre plusieurs mesures :
Exigence de cas d’utilisation définis : les candidats doivent démontrer des objectifs bien définis pour l’utilisation de l’IA.
Respect des principes d’IA responsable : intégration des principes de Microsoft pour une utilisation responsable de l’IA.
Prise en charge avec des filtres de contenu : des filtres de contenu sont fournis pour améliorer le support client.
Conseils sur la mise en œuvre de l’IA : fourniture de conseils détaillés de mise en œuvre aux clients intégrés.
En phase avec Microsoft Azure, Zilliz Cloud s’est engagé à assurer une sécurité robuste des données grâce à plusieurs améliorations clés :
Contrôle des politiques de données : garantir que les politiques de sécurité, de confidentialité et de conformité donnent aux clients un contrôle total sur l’accès aux données, conformément à leurs normes de gouvernance et réglementaires.
Confidentialité grâce au chiffrement : les données au repos et en transit sont protégées via un chiffrement complet par protocole TLS, avec des options de connexions Private Link afin d’empêcher les données de transiter par l’internet public.
Gestion des identités et des accès : déploiement de mécanismes de contrôle sophistiqués, notamment le contrôle d’accès basé sur les rôles (RBAC) et OAuth 2.0, pour des capacités d’authentification unique (SSO) centralisées, prenant en charge une conformité réglementaire stricte.
Disponibilité et sauvegarde garanties : AutoScale ajuste les ressources selon les besoins pour assurer l’évolutivité et la disponibilité, complété par des systèmes robustes de sauvegarde et de restauration afin de garantir l’intégrité des données et une récupération rapide après incident.
La fuite de données de Samsung met en évidence les risques graves d’une sécurité inadéquate dans les applications d’IA, soulignant que la protection de la vie privée est essentielle, et non facultative.
Grâce aux fonctionnalités de sécurité de niveau entreprise de Zilliz et au cadre de conformité complet d’Azure OpenAI, les développeurs peuvent créer des solutions sécurisées et conformes aux normes réglementaires, offrant une base de confiance et de fiabilité.
Ouvrir la voie : façonner la recherche de demain
L’intégration de Zilliz et d’Azure OpenAI marque le début d’une phase transformatrice dans la technologie de recherche. Ce partenariat place les développeurs à l’avant-garde d’une ère révolutionnaire, dotés d’outils avancés qui élargissent le champ du possible. Avec Azure OpenAI et Zilliz, ils peuvent façonner l’avenir de la recherche — en créant des expériences engageantes et innovantes qui ravissent et inspirent les utilisateurs.
La voie à suivre avec ces technologies est riche en possibilités passionnantes, redéfinissant le paysage de la technologie de recherche et ouvrant de nouveaux potentiels dans la manière dont nous utilisons les données et interagissons avec elles.
Continuer à lire
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).
Smarter Autoscaling in Zilliz Cloud: Always Optimized for Every Workload
With the latest upgrade, Zilliz Cloud introduces smarter autoscaling—a fully automated, more streamlined, elastic resource management system.
Demystifying the Milvus Sizing Tool
Explore how to use the Sizing Tool to select the optimal configuration for your Milvus deployment.