L’évolution et l’avenir de l’IA et son influence sur les bases de données vectorielles : perspectives de Charles, PDG de Zilliz
Ceci est le deuxième volet de notre série de blog en deux parties.
Bon retour pour le deuxième article de notre série de blog en deux parties, où nous continuons à explorer l’interaction dynamique entre l’intelligence artificielle (IA), en particulier les grands modèles de langage (LLMs), et les bases de données vectorielles, guidés par les éclairages de Charles Xie, CEO de Zilliz.
Dans la première partie, nous avons posé les bases en explorant la nature et l’état actuel des bases de données vectorielles, en détaillant le développement de Milvus, et en envisageant la trajectoire future de la technologie des bases de données vectorielles. Ce volet approfondit ces fondations, en plongeant dans l’évolution des technologies d’IA, en discutant du rôle essentiel que jouent les bases de données vectorielles à l’ère des modèles de fondation, et en prévoyant comment ces technologies étroitement liées façonneront mutuellement leurs progrès à l’avenir.
Bases de données vectorielles pionnières : le parcours pré-LLM de Zilliz dans l’innovation en IA
Il y a six ans, chez Zilliz, nous nous sommes lancés dans le développement de la base de données vectorielle Milvus, en entrant dans un territoire largement inexploré bien avant l’avènement des grands modèles de langage. Même alors, nous pensions que les bases de données vectorielles étaient essentielles pour un large éventail d’applications d’IA, ouvrant de vastes cas d’utilisation et opportunités de marché.
À l’époque, tandis que des géants technologiques comme Google, DeepMind et OpenAI réalisaient des avancées dans le développement d’algorithmes, et que NVIDIA et Intel amélioraient la puissance de calcul, l’aspect crucial de la gestion des données, en particulier pour les données non structurées, qui représentaient déjà 80 % des données mondiales, était quelque peu négligé. Ainsi, les bases de données vectorielles sont apparues comme une solution pour répondre à la demande pressante dans le paysage de l’IA pré-LLM. Elles ont fourni un outil puissant pour gérer efficacement les données non structurées dans divers domaines, notamment le traitement du langage, la vision par ordinateur et les systèmes de recommandation. Cette technologie permet aux développeurs d’exploiter plus efficacement les données non structurées dans le développement d’applications d’IA, illustrant notre esprit pionnier dans le domaine des bases de données vectorielles.
Passer des bases de données vectorielles centrées sur l’entreprise à une IA démocratisée pour tous
Lorsque nous avons lancé notre aventure il y a six ans, notre objectif principal était de répondre aux besoins complexes des utilisateurs en entreprise et de collaborer avec les premiers adeptes dans des domaines tels que les systèmes de recommandation, l’e-commerce et la reconnaissance d’images. Ces secteurs exigeaient un système de base de données vectorielle fiable, évolutif et hautement performant pour leurs environnements de production.
Notre parcours nous a également amenés à nouer des alliances stratégiques avec des entreprises d’IA établies, en particulier celles qui traitaient d’énormes ensembles de données pour le traitement du langage naturel. À cette époque, le paysage de l’IA était principalement dominé par les hyperscalers et les grandes entreprises, où le développement d’algorithmes et d’applications d’IA avait un coût important. Ces partenariats se sont révélés inestimables, en nous offrant des perspectives uniques.
Cependant, le paysage de l’IA a connu une transformation significative au cours des deux dernières années, portée par les avancées des technologies d’IA modernes et la prolifération des grands modèles de langage. Nous avons constaté une augmentation remarquable du nombre de développeurs IA indépendants, principalement de petites équipes ou des contributeurs individuels. Cette évolution marque le passage d’une ère de l’IA centrée sur les entreprises à un environnement d’IA plus démocratisé, où l’IA est désormais à la portée d’un éventail plus large de participants. En réponse à ce paysage changeant, nos objectifs ont évolué afin non seulement de fournir des solutions d’entreprise haut de gamme, mais aussi de rendre les services de recherche vectorielle plus accessibles aux développeurs individuels et aux petites équipes.
D’autre part, si les grandes entreprises traditionnelles ont reconnu le potentiel des technologies d’IA modernes et des LLM, elles sont confrontées à des défis tels que des exigences de sécurité strictes et un manque d’expertise en IA moderne. Nous aidons ces entreprises à surmonter ces obstacles en tirant parti de nos capacités en IA et de notre expérience dans le respect des normes et exigences du secteur.
Un exemple emblématique de cette évolution est la création de Zilliz Cloud, une version entièrement gérée de Milvus dans le cloud, qui propose des offres abordables et des opérations simplifiées adaptées à la fois aux développeurs désireux de prototyper et d’expérimenter le développement d’applications d’IA, et aux entreprises recherchant des capacités d’IA modernes avec évolutivité, performance et tolérance aux pannes. Ce pivot stratégique reflète notre engagement à démocratiser l’IA, en veillant à ce que les technologies de bases de données vectorielles de pointe soient à la portée des innovateurs à tous les niveaux.
L’importance des bases de données vectorielles dans l’ère en évolution rapide de l’IA et des LLM
Les bases de données vectorielles sont conçues pour la recherche par similarité sémantique au sein d’un large éventail de données non structurées, notamment le texte, les images, l’audio, les vidéos, les données géospatiales, les schémas comportementaux et les séquences biologiques complexes, telles que la génétique et les structures protéiques. Ces bases de données permettent aux ordinateurs et aux machines d’analyser, de comprendre et d’utiliser ces données grâce à des modèles et algorithmes sophistiqués de deep learning pour l’acquisition de connaissances et la prise de décision.
L’année écoulée a vu une augmentation spectaculaire du marché des bases de données vectorielles, stimulée par les progrès rapides des LLM comme ChatGPT. Les bases de données vectorielles servent de mémoire à long terme et de réservoir de connaissances externe aux LLM, atténuant leurs problèmes d’« hallucinations ».
En plus des grands modèles de langage, nous assisterons également à l’essor d’un spectre plus large de modèles de fondation au cours des prochaines années, déjà observable dans la vision par ordinateur et bientôt étendu à des domaines tels que la conduite autonome, les moteurs de recommandation et la recherche biopharmaceutique. Chaque modèle de fondation nécessite un système de stockage sémantique capable de gérer des types de données variés, notamment le texte, les images et les interactions utilisateur. Les bases de données vectorielles se distingueront en offrant une solution de gestion des données pratique, accessible et économique, améliorant la récupération de données sémantiques à travers différents modèles de fondation, au bénéfice considérable des développeurs.
Une augmentation attendue de 80 % de la précision de récupération RAG avec Milvus 3.0
La génération augmentée par récupération (RAG) est une technologie d’IA de pointe qui intègre les LLM et les bases de données vectorielles. Son objectif principal est de résoudre les problèmes d’hallucination dans les LLM en intégrant des informations contextuelles. Un système RAG typique se compose d’une base de données vectorielle, d’un LLM et de prompts en tant que code. La base de données vectorielle joue un rôle crucial dans ce système, en stockant des informations propres à un domaine ou privées et en récupérant les éléments les plus pertinents comme contextes pour le LLM. Ce processus permet au LLM de générer des réponses plus précises et de meilleure qualité.
Malgré les avancées significatives de la technologie RAG au cours de l’année écoulée, atteindre une grande précision de récupération reste un défi. Pour résoudre ce problème, nous introduisons des capacités de recherche hybride améliorées dans notre prochaine version de Milvus 3.0. Cette combinaison de recherches précises basées sur des mots-clés et de recherches de similarité basées sur des vecteurs devrait faire passer les taux de rappel de RAG des 30 %-40 % précédents à 80 %-90 %, répondant ainsi à un éventail plus large de cas d’utilisation.
Qu’implique le fait d’atteindre 80 % de précision ? Prenons une application RAG de niveau entreprise : avec un taux de précision de 60 %, elle surpasse déjà les compétences analytiques de la moitié des effectifs de l’entreprise. Cependant, porter ce taux à 80 % signifie que la qualité des résultats de l’IA dépasserait celle de 80 % à 90 % des employés, y compris les cadres dirigeants. Ainsi, atteindre un seuil de précision de 80 % indique que l’IA peut fournir des résultats plus précis et de qualité, révolutionnant l’expérience utilisateur et amplifiant l’impact des produits intégrant l’IA.
ChatGPT et les bases de données vectorielles : complément ou concurrent dans la recherche sémantique ?
Les grands modèles de langage comme ChatGPT et les bases de données vectorielles utilisent des plongements vectoriels pour représenter et comprendre la signification sémantique des données non structurées. Ces plongements sont comparés à l’aide de métriques de distance comme la distance euclidienne ou le cosinus, ce qui permet une analyse et une interrogation efficaces des données sur la base de leur similarité sémantique. Cette synergie soulève des questions quant au potentiel de ChatGPT à éclipser les bases de données vectorielles dans la recherche sémantique.
Malgré leurs fonctionnalités qui se recoupent, ChatGPT ne remplace pas les bases de données vectorielles. La force de ChatGPT réside dans sa capacité à comprendre et à générer un texte cohérent et contextuellement pertinent à partir de l’entrée qu’il reçoit, plutôt que de fonctionner comme une base de données pour effectuer des opérations exactes de recherche sémantique. En revanche, les bases de données vectorielles sont spécialement conçues pour stocker et récupérer des plongements vectoriels, facilitant ainsi des recherches efficaces de similarité sémantique.
De plus, les implications en matière de coûts de l’exécution de recherches sémantiques diffèrent considérablement entre les bases de données vectorielles et les LLM. Réaliser une recherche sémantique dans un système de base de données vectorielle s’avère environ 100 fois plus rentable que d’effectuer ces opérations au sein d’un grand modèle de langage. Cette différence substantielle de coût incite de nombreuses grandes entreprises d’IA, dont OpenAI, à préconiser l’utilisation de bases de données vectorielles dans les applications d’IA pour la recherche sémantique et la recherche des k plus proches voisins.
La distinction entre les LLM et les bases de données vectorielles deviendra plus évidente au cours des cinq prochaines années. Les LLM sont appelés à émerger comme des processeurs sémantiques sophistiqués au-dessus de l’infrastructure informatique traditionnelle. Dans le même temps, les bases de données vectorielles ont évolué en solutions sophistiquées de stockage sémantique, offrant une récupération intelligente des données sur des supports de stockage standard comme les disques, les bandes, le stockage cloud et les systèmes de fichiers.
L’avenir de l’IA : l’essor d’une intelligence générale abordable d’ici cinq ans
Au cours des cinq prochaines années, à mesure que les algorithmes d’apprentissage automatique évolueront, l’IA devrait devenir exponentiellement plus intelligente, potentiellement 100 fois plus qu’aujourd’hui. Le défi crucial, toutefois, réside dans le fait de rendre cette IA avancée accessible et abordable. Bien que les dépenses associées aux mises en œuvre de l’IA soient orientées à la baisse, les coûts cumulés, notamment l’acquisition de hardware, l’utilisation de grands modèles de langage et la maintenance opérationnelle continue, restent considérablement élevés. Par exemple, réduire les frais d’abonnement d’un assistant IA de 20 à 30 $ à 3 à 5 $ par mois pourrait élargir considérablement sa base d’utilisateurs. Ainsi, la vision pour les cinq prochaines années est l’émergence d’une Intelligence Générale Abordable (AGI), qui vise à rendre les solutions d’IA économiquement viables pour tous les individus et toutes les entreprises, réalisant ainsi la démocratisation de la technologie de l’IA.
En tant que fournisseur de bases de données vectorielles, nous nous engageons à contribuer à cet avenir en améliorant l’efficacité de la gestion des données et en réduisant les coûts, permettant ainsi un accès plus large aux technologies d’IA.
Continuer à lire
Zilliz Cloud On-Demand Compute: Pay Only for What You Use
The customer case behind Zilliz Cloud On-Demand: how a $10K vector search bill came down to under $500, and the engineering changes that made it possible.
My Wife Wanted Dior. I Spent $600 on Claude Code to Vibe-Code a 2M-Line Database Instead.
Write tests, not code reviews. How a test-first workflow with 6 parallel Claude Code sessions turns a 2M-line C++ codebase into a daily shipping pipeline.
Milvus 2.6.x Now Generally Available on Zilliz Cloud, Making Vector Search Faster, Smarter, and More Cost-Efficient for Production AI
Milvus 2.6.x is now GA on Zilliz Cloud, delivering faster vector search, smarter hybrid queries, and lower costs for production RAG and AI applications.