Démocratiser les bases de données vectorielles : renforcer l’accès et l’égalité
Cet article a été initialement publié dans TheSequence et est republié ici avec autorisation.
Le XXIe siècle est entièrement tourné vers la démocratisation de la technologie. L’essor d’Internet a permis une collaboration à grande échelle, faisant de l’open source un modèle courant d’adoption des logiciels. À mesure que le rythme et l’ampleur de l’innovation technologique augmentent, nous devons œuvrer pour la rendre plus accessible.
En tant qu’ingénieur logiciel, la démocratisation de la technologie signifie la rendre aussi largement disponible que possible. Cela signifie utiliser ce que je sais pour faciliter, pour les autres, la création, l’adoption et la compréhension des avancées technologiques. Ici, chez Zilliz, nous avons toujours eu pour objectif d’accélérer l’adoption des bases de données vectorielles, et pas seulement d’augmenter l’adoption du projet open source Milvus.
Dans cet article, je vais aborder :
Ce que signifie la démocratisation des bases de données vectorielles pour les développeurs
Les piliers de la démocratisation de la technologie
L’éducation sur les bases de données vectorielles et les outils connexes
L’amélioration de l’accessibilité aux bases de données vectorielles
L’évangélisation technologique
Un résumé de la démocratisation des bases de données vectorielles
Que signifie la démocratisation des bases de données vectorielles pour les développeurs ?
Chaque fois que j’entends « démocratiser » dans le contexte de « démocratiser la technologie XYZ », je pense à l’élargissement de l’accès à cette technologie. Donc, lorsqu’il s’agit de bases de données vectorielles, je pense à l’élargissement de l’accès aux bases de données vectorielles. Traditionnellement, les bases de données vectorielles n’étaient disponibles que pour les développeurs logiciels en entreprise.
Milvus a lancé le processus de démocratisation des bases de données vectorielles lorsqu’il est devenu un projet open-source de la Linux Foundation. Il a été l’une des premières bases de données vectorielles accessibles aux développeurs en tant que projet open-source. À mesure que le projet s’est développé, de plus en plus de développeurs ont pu utiliser les bases de données vectorielles, en apprendre davantage à leur sujet et y contribuer.
Les piliers de la démocratisation de la technologie
La démocratisation de la technologie s’accompagne de défis spécifiques — en particulier la démocratisation d’outils complexes comme les bases de données vectorielles. Il y a trois piliers à examiner lorsqu’il s’agit de démocratiser la technologie. Ce sont l’éducation, l’amélioration de l’accessibilité et l’évangélisation.
Éducation sur les bases de données vectorielles et les outils connexes
L’éducation est le sujet le plus crucial que de nombreuses entreprises abordent souvent de manière incorrecte. L’éducation consiste à former sur votre produit spécifique, sur la technologie dans son ensemble et sur les outils connexes. C’est pourquoi, ici chez Zilliz, nous créons du contenu sur de nombreux sujets, pas seulement sur Milvus.
Le contenu que nous rédigeons reflète notre désir d’accélérer l’adoption des bases de données vectorielles grâce à l’éducation. Par conséquent, nous proposons du contenu sur des concepts essentiels comme les Hierarchical Navigable Small Worlds (HNSW), la quantification scalaire et par produit, et les indices de fichiers inversés.
En plus de fournir des ressources pour comprendre les concepts qui sous-tendent les bases de données vectorielles, nous devons fournir des ressources sur les outils connexes. Par exemple, la popularité des grands modèles de langage (LLMs) a ouvert la voie à toute une gamme de nouveaux outils.
Parmi les nouveaux outils qui se sont imposés figurent LlamaIndex, Auto-GPT, et LangChain. De plus, conformément à notre objectif de fournir des ressources éducatives à la communauté, bon nombre de nos contenus sont publiés auprès de tiers, tels que The Sequence, The New Stack et certaines publications Medium.
Amélioration de l’accessibilité aux bases de données vectorielles
Bien qu’offrir une formation sur la technologie soit excellent, cela n’est pas utile à moins de proposer des moyens d’y accéder. Dans notre cas, rendre Milvus open source a été la première étape pour accroître l’accès aux bases de données vectorielles. Au-delà du simple fait d’être open source, le projet Milvus a également exploré d’autres voies pour améliorer l’accessibilité.
Milvus est également disponible via des images Docker avec des modèles pour Docker Compose et Helm. De plus, nous l’avons récemment rendu disponible via pip install sous le nom de Milvus Lite. Milvus a enregistré plus de 3,5 millions de téléchargements Docker, 18,8k étoiles GitHub et 212 contributeurs.
En plus de Milvus, Zilliz a également travaillé à accroître l’accessibilité. Au départ, Zilliz offrait 400 $ de crédits gratuits et propose désormais une offre gratuite permettant d’utiliser jusqu’à un demi-million de vecteurs ! C’est suffisant pour pratiquement n’importe quel développeur. Avec l’offre gratuite de Zilliz Cloud, presque n’importe quel développeur peut commencer à utiliser les bases de données vectorielles — gratuitement.
Évangélisation technologique
Le dernier pilier à aborder dans la démocratisation de la technologie est de l’évangéliser. À quoi bon rendre une technologie disponible et fournir une formation à son sujet si vous n’expliquez pas aux gens pourquoi elle est utile ? En termes d’accélération de l’adoption, la formation explique le comment, et l’amélioration de l’accessibilité couvre le quoi — l’évangélisation fournit le pourquoi.
Nous faisons de l’évangélisation principalement par le biais de contenus qui montrent la puissance des bases de données vectorielles. Vous pouvez le constater à travers une partie du matériel pédagogique que j’ai fourni ci-dessus. Nous donnons également des présentations sur les bases de données vectorielles. Certaines sont virtuelles et d’autres en présentiel. J’ai récemment donné une présentation à Seattle sur l’utilisation des bases de données vectorielles comme solution pour résoudre des problèmes de données avec les LLMs.
En résumé : démocratiser les bases de données vectorielles
Démocratiser les bases de données vectorielles est essentiel, car elles résolvent de nombreux problèmes liés aux données non structurées. Elles n’étaient auparavant accessibles qu’aux développeurs de grandes entreprises en raison de la complexité et de l’échelle considérables d’un tel projet. Cependant, la popularité des LLMs a propulsé l’idée des bases de données vectorielles dans le grand public et a donné naissance à d’innombrables cas d’utilisation qu’elles n’avaient pas auparavant. Cela rend la démocratisation encore plus cruciale.
Chez Zilliz, nous avons abordé la démocratisation autour de trois piliers — formation, accessibilité et évangélisation. La formation est pour nous la partie la plus cruciale de ces piliers. Pour les développeurs, le matériel pédagogique fournit le « comment » utiliser les bases de données vectorielles et les outils complémentaires.
De plus, nous avons toujours travaillé à accroître l’accessibilité et nous continuons à le faire. Rendre le logiciel open source a été la première étape. D’autres étapes visant à accroître l’accessibilité incluent la fourniture de modèles et d’images pour la conteneurisation. Nous avons récemment publié Milvus Lite, une base de données vectorielle qui peut s’exécuter directement dans votre Jupyter Notebook.
Enfin, nous nous engageons dans l’évangélisation technique pour faire connaître l’utilisation et la puissance des bases de données vectorielles. Nous le faisons en proposant des webinaires, en intervenant lors d’événements communautaires et en étant présents sur les réseaux sociaux.
Zilliz continue de déployer des efforts pour démocratiser les bases de données vectorielles, et c’est enthousiasmant compte tenu de leur importance. Les bases de données vectorielles sont essentielles pour résoudre les problèmes de données dans les LLMs et constituent la meilleure solution existante pour des usages tels que la recherche d’images inversée, la recherche textuelle sémantique et les recommandations de produits. Je suis personnellement ravi de faire partie d’une équipe qui contribue à développer l’écosystème des bases de données vectorielles et j’ai hâte de découvrir toutes les choses extraordinaires qui seront construites pour et par la communauté !
Continuer à lire
Notion's Vector Search Is Excellent. Their Next Problem Is Harder.
Notion solved vector search scaling in two years. The next bottleneck — offline context engineering, unified data, and the real-time/offline gap — is harder.
Introducing Zilliz Cloud Global Cluster: Region-Level Resilience for Mission-Critical AI
Zilliz Cloud Global Cluster delivers multi-region resilience, automatic failover, and fast global AI search with built-in security and compliance.
Introducing DeepSearcher: A Local Open Source Deep Research
In contrast to OpenAI’s Deep Research, this example ran locally, using only open-source models and tools like Milvus and LangChain.