Opérationnalisez l’IA à grande échelle avec le logiciel 2.0, le MLOps et Milvus
La création d’applications d’apprentissage automatique (ML) est un processus complexe et itératif. À mesure que davantage d’entreprises prennent conscience du potentiel inexploité des données non structurées, la demande en traitement et en analyse de données alimentés par l’IA continuera d’augmenter. Sans opérations d’apprentissage automatique efficaces, ou MLOps, la plupart des investissements dans les applications de ML dépériront sur pied. Des recherches ont montré que seulement 5 % des adoptions de l’IA que les entreprises prévoient de déployer atteignent réellement le déploiement. De nombreuses organisations accumulent une « dette de modèle », où les changements des conditions du marché et l’incapacité à s’y adapter entraînent des investissements non réalisés dans des modèles qui restent non actualisés (ou pire, ne sont jamais déployés du tout).
Cet article explique le MLOps, une approche systémique de la gestion du cycle de vie des modèles d’IA, et comment la plateforme open source de gestion de données vectorielles Milvus peut être utilisée pour opérationnaliser l’IA à grande échelle.
Qu’est-ce que le MLOps ?
Les opérations d’apprentissage automatique (MLOps), également appelées opérations de modèles (ModelOps) ou opérationnalisation des modèles d’IA, sont nécessaires pour créer, maintenir et déployer des applications d’IA à grande échelle. Alors que les entreprises cherchent à appliquer les modèles d’IA qu’elles développent à des centaines de scénarios différents, il est essentiel que les modèles utilisés, ainsi que ceux en cours de développement, soient opérationnalisés dans l’ensemble de l’organisation. Le MLOps consiste à surveiller un modèle d’apprentissage automatique tout au long de son cycle de vie, et à gouverner tous les aspects, des données sous-jacentes à l’efficacité d’un système de production qui repose sur un modèle particulier.
Le MLOps gouverne le cycle de vie d’un modèle d’apprentissage automatique.
Gartner définit ModelOps comme la gouvernance et la gestion du cycle de vie d’un large éventail de modèles d’intelligence artificielle et de décision opérationnalisés. La fonctionnalité principale du MLOps peut être décomposée comme suit :
Intégration continue/livraison continue (CI/CD) : Un ensemble de bonnes pratiques empruntées aux opérations de développement (DevOps), CI/CD est une méthode permettant de livrer des modifications de code plus fréquemment et de manière plus fiable. L’intégration continue encourage la mise en œuvre des modifications de code par petits lots tout en les surveillant au moyen d’un contrôle de version strict. La livraison continue automatise la livraison des applications vers divers environnements (par exemple, les environnements de test et de développement).
Environnements de développement de modèles (MDE) : Processus complexe de création, de revue, de documentation et d’examen des modèles, les MDE contribuent à garantir que les modèles sont créés de manière itérative, documentés au fur et à mesure de leur développement, fiables et reproductibles. Des MDE efficaces garantissent que les modèles peuvent être explorés, étudiés et expérimentés de manière contrôlée.
Tests champion-challenger : Semblables à la méthodologie de test A/B utilisée par les spécialistes du marketing, les tests champion-challenger consistent à expérimenter différentes solutions pour faciliter le processus décisionnel qui précède l’engagement dans une approche unique. Cette technique implique de surveiller et de mesurer les performances en temps réel afin d’identifier quelle variation fonctionne le mieux.
Gestion des versions des modèles : Comme pour tout système complexe, les modèles d’apprentissage automatique sont développés par étapes par de nombreuses personnes différentes, ce qui soulève des questions de gestion des données autour des versions des données et des modèles de ML. La gestion des versions des modèles aide à gérer et à gouverner le processus itératif de développement ML, dans lequel les données, les modèles et le code peuvent évoluer à des rythmes différents.
Magasin de modèles et rollback : Lorsqu’un modèle est déployé, son fichier image correspondant doit être stocké. Les capacités de rollback et de récupération permettent aux équipes MLOps de revenir à une version précédente du modèle si nécessaire.
Utiliser un seul modèle dans une application de production présente un certain nombre de défis difficiles. Le MLOps est une méthode structurée et reproductible qui s’appuie sur des outils, des technologies et des bonnes pratiques pour surmonter les problèmes techniques ou métier qui surviennent au cours du cycle de vie d’un modèle de machine learning. Un MLOps réussi maintient l’efficacité entre les équipes qui travaillent à créer, déployer, surveiller, réentraîner et gouverner les modèles d’IA et leur utilisation dans les systèmes de production.
Pourquoi le MLOps est-il nécessaire ?
Comme illustré dans le cycle de vie du modèle ML ci-dessus, la création d’un modèle de machine learning est un processus itératif qui implique l’intégration de nouvelles données, le réentraînement des modèles et la gestion de la dégradation générale du modèle au fil du temps. Ce sont autant de problèmes que les opérations de développement traditionnelles, ou DevOps, ne traitent pas et pour lesquels elles ne fournissent pas de solutions. Le MLOps est devenu nécessaire comme moyen de gérer l’investissement dans les modèles d’IA et de garantir un cycle de vie de modèle productif. Étant donné que les modèles de machine learning seront exploités par divers systèmes de production, le MLOps devient essentiel pour s’assurer que les exigences peuvent être satisfaites dans différents environnements et dans des scénarios variés.
Un modèle de machine learning déployé dans un environnement cloud qui alimente une application.
L’illustration simple ci-dessus montre un modèle de machine learning déployé dans un environnement cloud qui alimente une application. Dans ce scénario de base, un certain nombre de problèmes pourraient survenir, que le MLOps aide à surmonter. Étant donné que l’application de production repose sur un environnement cloud spécifique, il existe des exigences de latence auxquelles les data scientists qui ont développé le modèle ML n’ont pas accès. L’opérationnalisation du cycle de vie du modèle permettrait aux data scientists ou aux ingénieurs ayant une connaissance approfondie du modèle d’identifier et de résoudre les problèmes qui surviennent dans des environnements de production spécifiques.
Non seulement les modèles de machine learning sont entraînés dans des environnements différents de ceux des applications de production dans lesquelles ils sont utilisés, mais ils reposent aussi souvent sur des jeux de données historiques qui diffèrent des données utilisées dans les applications de production. Avec le MLOps, toute l’équipe de data science, des personnes qui développent le modèle à celles qui travaillent au niveau de l’application, dispose d’un moyen de partager et de demander des informations et de l’aide. Le rythme auquel les données et les marchés évoluent rend impératif qu’il y ait aussi peu de friction que possible entre toutes les parties prenantes clés et les contributeurs qui seront amenés à dépendre d’un modèle de machine learning donné.
Soutenir la transition vers Software 2.0
Software 2.0 est l’idée selon laquelle le développement logiciel connaîtra un changement de paradigme à mesure que l’intelligence artificielle jouera un rôle de plus en plus central dans l’écriture de modèles d’IA qui alimentent les applications logicielles. Dans le cadre de Software 1.0, le développement implique des programmeurs qui écrivent des instructions explicites à l’aide d’un langage de programmation spécifique (p. ex., Python, C++). Software 2.0 est beaucoup plus abstrait. Bien que les personnes fournissent des données d’entrée et définissent des paramètres, les réseaux neuronaux sont difficiles à comprendre pour les humains en raison de leur très grande complexité— avec des réseaux typiques contenant des millions de poids qui influencent les résultats (et parfois des milliards ou des billions).
DevOps a été conçu autour de la dépendance de Software 1.0 à des instructions spécifiques dictées par des programmeurs utilisant des langages, mais n’a jamais pris en compte le cycle de vie d’un modèle de machine learning qui alimente une variété d’applications différentes. MLOps répond à la nécessité de faire évoluer le processus de gestion du développement logiciel en parallèle du logiciel en cours de développement. À mesure que Software 2.0 devient la nouvelle norme pour la résolution de problèmes informatiques, disposer des bons outils et processus pour gérer les cycles de vie des modèles fera le succès ou l’échec des investissements dans les nouvelles technologies. Milvus est un moteur open-source de recherche de similarité vectorielle conçu pour accompagner la transition vers Software 2.0 et gérer les cycles de vie des modèles avec MLOps.
Comment Milvus accompagne la transition vers Software 2.0.
Industrialiser l’IA à grande échelle avec Milvus
Milvus est une base de données vectorielle / plateforme de gestion de données vectorielles conçue spécifiquement pour stocker, interroger, mettre à jour et maintenir des jeux de données vectorielles massifs, à l’échelle du billion. La plateforme alimente la recherche de similarité vectorielle et peut s’intégrer à des bibliothèques d’index largement adoptées, notamment Faiss, NMSLIB et Annoy. En associant à Milvus des modèles d’IA qui convertissent les données non structurées en vecteurs, il est possible de créer des applications couvrant le développement de nouveaux médicaments, l’analyse biométrique, les systèmes de recommandation et bien plus encore.
La recherche de similarité vectorielle est la solution de référence pour le traitement et l’analyse des données non structurées, et les données vectorielles s’imposent rapidement comme un type de données essentiel. Un système complet de gestion des données comme Milvus facilite l’industrialisation de l’IA de nombreuses façons, notamment :
Fournir un environnement pour l’entraînement des modèles qui garantit que davantage d’aspects du développement sont réalisés au même endroit, facilitant la collaboration entre équipes, la gouvernance des modèles, et plus encore.
Offrir un ensemble complet d’API qui prennent en charge des frameworks populaires tels que Python, Java et Go, ce qui facilite l’intégration d’un ensemble commun de modèles de ML.
La compatibilité avec Google Colaboratory, un environnement Jupyter notebook qui s’exécute dans un navigateur, simplifie le processus de compilation de Milvus à partir du code source et l’exécution d’opérations Python de base.
La fonctionnalité de machine learning automatisé (AutoML) permet d’automatiser les tâches associées à l’application du machine learning à des problèmes réels. Non seulement AutoML améliore l’efficacité, mais il permet aussi aux non-spécialistes de tirer parti des modèles et techniques de machine learning.
Quelles que soient les applications de machine learning que vous construisez aujourd’hui, ou les projets que vous avez pour de futures applications, Milvus est une plateforme flexible de gestion des données créée avec Software 2.0 et MLOps à l’esprit. Pour en savoir plus sur Milvus ou contribuer, retrouvez le projet sur Github. Pour rejoindre la communauté ou poser des questions, rejoignez notre canal Slack. Envie de plus de contenu ? Consultez les ressources suivantes :
Continuer à lire
Introducing Zilliz CLI and Agent Skills for Zilliz Cloud
Manage your vector database from your terminal or AI coding agent. Zilliz CLI and Agent Skills work with Claude Code, Cursor, Codex, and Copilot.
Building RAG Pipelines for Real-Time Data with Cloudera and Milvus
explore how Cloudera can be integrated with Milvus to effectively implement some of the key functionalities of RAG pipelines.
AI Integration in Video Surveillance Tools: Transforming the Industry with Vector Databases
Discover how AI and vector databases are revolutionizing video surveillance with real-time analysis, faster threat detection, and intelligent search capabilities for enhanced security.