La prochaine étape pour les bases de données vectorielles : 8 prédictions pour 2023
2022 a marqué une année importante pour les bases de données vectorielles. Notamment, la communauté Milvus a publié la base de données vectorielle cloud-native Milvus 2.0. Plus de dix produits de bases de données vectorielles open source, tels que Vald, Weaviate, Qdrant, Vespa, Vearch, AquilaDB et Marqo, ont émergé sur GitHub. Des fabricants de bases de données comme Elastic et Redis sont entrés dans la mêlée, introduisant des capacités de recherche vectorielle. Sur le front du cloud, Zilliz, l’équipe derrière la communauté Milvus, a lancé un service DBaaS entièrement géré, Zilliz Cloud, en concurrence avec des entreprises comme Pinecone et Google Vertex AI.
Le marché des capitaux a été tout aussi dynamique, plusieurs entreprises de bases de données vectorielles ayant obtenu des financements importants, préparant le terrain pour une croissance accrue. Cet afflux de capitaux et l’intérêt pour les bases de données vectorielles en 2022 ouvrent la voie à mes prédictions pour 2023, une année au cours de laquelle je m’attends à voir le développement et la maturation continus de cette technologie émergente.
| Entreprise | Levé | Date |
|---|---|---|
| Zilliz | 60 M$ (tour B+) | août 2022 |
| Pinecone | 28 M$ (tour A) | mars 2022 |
| Weaviate | 16 M$ (tour A) | fév. 2022 |
| Qdrant | 2 M€ (tour de pré-amorçage) | janv. 2022 |
Situations de financement des entreprises de bases de données vectorielles en 2022
Prédictions 2023 pour les bases de données vectorielles
Prédiction n° 1 : différenciation et spécialisation des bases de données vectorielles
En 2023, les bases de données vectorielles évolueront de manière distincte en raison de l’afflux de capitaux et du développement rapide des cas d’utilisation, entraînant différenciation et spécialisation :
Service en ligne contre traitement hors ligne : Les bases de données vectorielles traditionnelles, conçues pour des exigences élevées en temps réel en ligne avec des échelles de données plus limitées, s’adapteront désormais pour gérer des ensembles de données massifs issus de domaines comme le traitement d’images et le NLP, nécessitant des capacités renforcées de traitement par lots et hors ligne.
Instances logiques contre instances physiques : Le secteur verra une séparation entre les instances logiques, axées sur la facilité d’utilisation et les déploiements simples, et les instances physiques comme Milvus, qui offrent des solutions de stockage flexibles et de recherche efficace. Cette divergence répond à des besoins variés, du traitement vectoriel simple à la génération vectorielle complexe.
Systèmes autonomes contre systèmes distribués cloud-native : Le choix entre systèmes autonomes et systèmes distribués cloud-native sera crucial. Alors que les systèmes autonomes offrent de la stabilité, les conceptions distribuées cloud-native comme Milvus 2.0 sont prêtes pour l’évolutivité et les gains d’efficacité basés sur le cloud.
Différentes implémentations d’indexation : Les méthodologies d’indexation se diversifient. Avec de nouveaux développements comme la technologie ScaNN de Google, les bases de données vectorielles évoluent en performance et en fonctionnalités, en s’adaptant à des cas d’utilisation et à des exigences d’efficacité spécifiques.
Ces tendances indiquent une évolution vers des bases de données vectorielles plus adaptées et spécialisées, alignées sur les besoins spécifiques d’applications et d’échelles de données diverses.
Prédiction n° 2 : évolution vers une interface de requête unifiée
Actuellement, les bases de données vectorielles ne disposent pas d’une interface de requête unifiée, utilisant principalement des SDK Python personnalisés ou des API Restful. Cependant, des développements comme BigLake de Big Query à Google Next 2022, qui fait progresser SQL comme langage principal pour les données non structurées et le traitement vectoriel, suggèrent un changement significatif. Malgré le fait que la base d’utilisateurs traditionnelle de SQL diffère des développeurs en deep learning et que son succès en machine learning soit mitigé, son potentiel en tant que langage de requête pour les bases de données vectorielles mérite l’attention.
Au-delà de SQL, des expérimentations sont menées avec des langages de requête basés sur GraphQL et des DSL personnalisés. Quelle que soit l’interface qui sera plus largement adoptée, la prédiction pour 2023 est l’émergence d’une interface standard de facto dans le domaine des bases de données vectorielles, avec plusieurs produits adoptant une approche similaire pour l’implémentation.
Prédiction #3 : Intégration accrue des bases de données vectorielles avec les bases de données traditionnelles
Les bases de données vectorielles ont considérablement évolué au cours des deux dernières années, dépassant leur phase initiale de simples enveloppes autour de FAISS. Elles intègrent désormais couramment des capacités de filtrage et d’indexation des champs scalaires ainsi que de gestion des opérations CRUD sur les données en streaming, en intégrant des éléments tels que les analyseurs, les optimiseurs, la mémoire et la gestion de la concurrence issus des bases de données traditionnelles. De nombreuses bases de données OLAP et NoSQL incorporent des capacités de recherche vectorielle, devenant des acteurs importants dans ce domaine.
Malgré l’idée selon laquelle « une solution unique ne convient pas à tous », les bases de données traditionnelles rencontrant des difficultés dans la recherche vectorielle en raison de limitations humaines et architecturales, 2023 verra probablement davantage de fabricants de bases de données traditionnelles entrer dans l’espace de la recherche vectorielle, attirés par son potentiel. Les bases de données vectorielles, quant à elles, s’inspirent de plus en plus des domaines des bases de données traditionnelles, faisant évoluer leur cœur de l’infrastructure d’IA vers des fonctionnalités davantage orientées base de données. Cette évolution est motivée par le besoin de solutions de recherche vectorielle plus généralistes et plus stables. Par conséquent, nous nous attendons à voir un afflux de talents issus des bases de données traditionnelles (notamment le traitement des transactions, le traitement applicatif, la recherche et la mise en cache) dans le secteur des bases de données vectorielles en 2023.
Prédiction #4 : Réduction significative des coûts des bases de données vectorielles
En 2023, les bases de données vectorielles devraient connaître une réduction des coûts de 3 à 5 fois. Ce changement est crucial, car le coût et les performances ont constitué des obstacles importants empêchant la recherche vectorielle de dépasser la recherche traditionnelle par mots-clés. Actuellement, la plupart des bases de données vectorielles reposent uniquement sur la mémoire. Pour stocker des données vectorielles de l’ordre de plusieurs dizaines de milliards, elles nécessitent une capacité mémoire de l’ordre de plusieurs dizaines de téraoctets.
Plusieurs facteurs contribuent à cette réduction des coûts :
Utilisation généralisée de l’architecture ARM dans le cloud : Les performances de calcul simples d’ARM offrent un rapport coût-efficacité 2 à 3 fois meilleur que X86.
Croissance du matériel hétérogène : Ces systèmes surpassent les capacités de mémoire/stockage et de bande passante des GPU.
Progrès des techniques de quantification : En particulier l’application de la quantification 4 bits dans la recherche vectorielle.
Accent mis sur la recherche autour des index Disk Anns : Elle émerge comme une direction de recherche dominante.
Performances des disques NVMe : Utilisation de technologies comme AIO et IO_URING, atteignant des IOPs de l’ordre du million.
Compréhension plus approfondie des bases de données vectorielles : Exploitation des métadonnées et de techniques d’élagage similaires à celles des bases de données traditionnelles, réduisant la nécessité d’interroger tous les fragments à chaque fois.
Sélection des index et des paramètres de modèle basée sur l’apprentissage automatique : Cette approche sera mise en œuvre en production pour la première fois.
Caractéristiques de température des données vectorielles : Comme les données scalaires traditionnelles, les données vectorielles présentent des caractéristiques chaudes et froides.
Ces évolutions indiquent une année prometteuse pour les bases de données vectorielles, les rendant plus rentables et plus efficaces.
Prédiction #5 : Émergence de la première base de données vectorielle serverless
En 2023, nous anticipons l’introduction de la première base de données vectorielle serverless. L’architecture serverless offre flexibilité et facturation à la demande, ce qui est particulièrement attrayant pour les services de bases de données vectorielles hébergés dans le cloud. Cette technologie convient à la nature complexe des recherches vectorielles, qui incluent des processus hors ligne et en ligne et font souvent face à des charges fluctuantes dans des environnements multilocataires. Le serverless simplifie l’évaluation de la capacité et l’isolation métier pour les utilisateurs.
Alors que les bases de données vectorielles serverless continuent d’évoluer et ont encore du chemin à parcourir avant d’atteindre leur maturité, il existe un potentiel de développements initiaux similaires aux systèmes autonomes dynamiquement évolutifs et basés sur des conteneurs d’AWS Aurora. Toutefois, la pleine concrétisation d’une base de données vectorielle serverless véritablement distribuée pourrait encore prendre un certain temps.
Prédiction n° 6 : Essor des outils open source pour les bases de données vectorielles
En 2023, nous pouvons nous attendre à voir l’essor d’outils open source adaptés aux bases de données vectorielles. Les caractéristiques uniques des données vectorielles appellent à la création d’outils innovants qui vont au-delà des méthodes traditionnelles de représentation des données. Ces outils offriront des façons plus intuitives et visuelles d’afficher les données vectorielles, y compris leur distribution et les parcours de requêtes.
Le développement d’outils de transfert de données sera également un axe majeur. Ces outils amélioreront les capacités de sauvegarde, de migration et d’importation des données, en répondant à la diversité croissante des bases de données vectorielles. Ils joueront un rôle crucial dans la liaison entre différents types de données et dans la gestion du flux de données vectorielles à grande échelle générées à partir de plateformes comme Spark, PyTorch et TensorFlow, facilitant une intégration fluide entre divers clouds et centres de données.
Prédiction n° 7 : Adoption précoce de l’IA pour les bases de données (AI4DB) dans les bases de données vectorielles
En 2023, les bases de données vectorielles ouvriront la voie à une mise en œuvre pratique des technologies d’IA pour les bases de données (AI4DB). Bien que l’AI4DB soit un concept présent dans le domaine des bases de données depuis de nombreuses années, son adoption à grande échelle a été difficile. Le principal obstacle réside dans les exigences élevées de précision et d’explicabilité des bases de données relationnelles, où même un infime pourcentage d’inexactitudes peut entraver les applications d’IA dans des cas d’utilisation réels.
Les bases de données vectorielles, toutefois, fonctionnent intrinsèquement sur une optimisation probabiliste, en se concentrant davantage sur les taux de rappel que sur une précision absolue. Cette caractéristique permet une application plus agressive de l’AI4DB, comme l’ajustement automatique des paramètres, la réécriture des instructions de requête et l’utilisation d’index appris. Des tests ont montré que l’utilisation de prédictions de modèles pour les paramètres de requête peut plus que doubler les performances sur de grands ensembles de données. L’optimisation des index et des paramètres de requête en fonction des ensembles de données et d’un petit ensemble de requêtes est susceptible d’apporter des améliorations encore plus significatives.
Prédiction n° 8 : Une deuxième entreprise commerciale émergeant de l’open source Milvus
En 2023, nous pouvons nous attendre au lancement de nouvelles entreprises commerciales qui tireront parti de la base de données vectorielle open source Milvus. Milvus est l’une des bases de données vectorielles cloud-native les plus avancées et les plus importantes au monde. À l’instar de projets open source à succès comme Hadoop, Presto et Clickhouse, Milvus inspirera des entités commerciales à contribuer à sa fondation et à bâtir dessus. Alors que lancer un projet de base de données vectorielle à partir de zéro devient de plus en plus difficile, le potentiel de développement de SaaS (Software as a Service) basés sur des bases de données vectorielles comme Milvus reste important. Cette tendance se poursuivra probablement avec davantage de contributeurs rejoignant la communauté open source, collaborant au projet Milvus et explorant des opportunités commerciales.
Réflexions finales
Ces dernières années ont vu une expansion significative des capacités et des cas d’utilisation des bases de données vectorielles, grandement favorisée par les progrès de la puissance de calcul, notamment les GPU et le matériel spécialisé. À l’approche de 2023, l’année s’annonce très attendue pour l’industrie et la communauté open source. Elle promet d’être une période d’innovation, de croissance et de collaboration continues.
Cette série de prédictions, bien que brève, vise à offrir un aperçu de l’avenir des bases de données vectorielles, en mettant en lumière les développements et opportunités passionnants qui se profilent à l’horizon. À mesure que nous avançons en 2023, les perspectives de ce domaine sont prometteuses et témoignent de la nature dynamique et évolutive de la technologie. Réjouissons-nous de ce que la prochaine année nous apportera dans le domaine des bases de données vectorielles. Rendez-vous en 2023 !
Continuer à lire
From Vector Database to Vector Lakebase
Zilliz offers a fully managed Vector Lakebase powered by Milvus, unifying real-time vector search, lake-scale discovery, and Al data operations.
Milvus/Zilliz + Surveillance: How Vector Databases Transform Multi-Camera Tracking
See how Milvus vector database enhances multi-camera tracking with similarity-based matching for better surveillance in retail, warehouses and transport hubs.
Cosmos World Foundation Model Platform for Physical AI
NVIDIA's Cosmos platform enables safe, digital twin training of GenAI models for physical applications, overcoming data scarcity and safety challenges.