SingleStore vs Weaviate : choisir la bonne base de données vectorielle pour vos applications d’IA
Qu’est-ce qu’une base de données vectorielle ?
Avant de comparer SingleStore et Weaviate, explorons d’abord le concept de bases de données vectorielles.
Une base de données vectorielle est spécifiquement conçue pour stocker et interroger des vecteurs de grande dimension, qui sont des représentations numériques de données non structurées. Ces vecteurs encodent des informations complexes, telles que le sens sémantique d’un texte, les caractéristiques visuelles d’images ou les attributs de produits. En permettant des recherches de similarité efficaces, les bases de données vectorielles jouent un rôle essentiel dans les applications d’IA, en permettant une analyse et une récupération de données plus avancées.
Les cas d’utilisation courants des bases de données vectorielles incluent les recommandations de produits e-commerce, les plateformes de découverte de contenu, la détection d’anomalies en cybersécurité, l’analyse d’images médicales et les tâches de traitement du langage naturel (NLP). Elles jouent également un rôle crucial dans la génération augmentée par récupération (RAG), une technique qui améliore les performances des grands modèles de langage (LLMs) en fournissant des connaissances externes afin de réduire des problèmes comme les hallucinations de l’IA.
Il existe de nombreux types de bases de données vectorielles disponibles sur le marché, notamment :
- Bases de données vectorielles spécialisées telles que Milvus, Zilliz Cloud (Milvus entièrement géré)
- Bibliothèques de recherche vectorielle telles que Faiss et Annoy.
- Bases de données vectorielles légères telles que Chroma et Milvus Lite.
- Bases de données traditionnelles avec des extensions de recherche vectorielle capables d’effectuer des recherches vectorielles à petite échelle.
SingleStore est un système de gestion de base de données SQL relationnel distribué avec la recherche vectorielle comme extension, et Qdrant est une base de données vectorielle. Cet article compare leurs capacités de recherche vectorielle.
SingleStore : présentation et technologie de base
SingleStore a rendu possible la recherche vectorielle en l’intégrant directement dans la base de données, de sorte que vous n’avez pas besoin de bases de données vectorielles séparées dans votre stack technologique. Les vecteurs peuvent être stockés dans des tables de base de données classiques et recherchés avec des requêtes SQL standard. Par exemple, vous pouvez rechercher des images de produits similaires tout en filtrant par fourchette de prix, ou explorer des embeddings de documents tout en limitant les résultats à des départements spécifiques. Le système prend en charge à la fois la recherche sémantique à l’aide de FLAT, IVF_FLAT, IVF_PQ, IVF_PQFS, HNSW_FLAT et HNSW_PQ pour l’index vectoriel, ainsi que le produit scalaire et la distance euclidienne pour la correspondance de similarité. C’est extrêmement utile pour des applications comme les systèmes de recommandation, la reconnaissance d’images et les chatbots IA où la correspondance de similarité est rapide.
À la base, SingleStore est conçu pour la performance et le passage à l’échelle. La base de données distribue les données sur plusieurs nœuds afin que vous puissiez gérer des opérations de données vectorielles à grande échelle. À mesure que vos données augmentent, vous pouvez simplement ajouter davantage de nœuds et le tour est joué. Le processeur de requêtes peut combiner la recherche vectorielle avec des opérations SQL, vous n’avez donc pas besoin d’effectuer plusieurs requêtes séparées. Contrairement aux bases de données uniquement vectorielles, SingleStore vous offre ces capacités dans le cadre d’une base de données complète, afin que vous puissiez créer des fonctionnalités d’IA sans gérer plusieurs systèmes ni traiter des transferts de données complexes.
Pour l’indexation vectorielle, SingleStore propose deux options. La première est la recherche exacte des k plus proches voisins (kNN), qui trouve l’ensemble exact des k plus proches voisins pour un vecteur de requête. Mais pour les très grands ensembles de données ou une forte concurrence, SingleStore prend également en charge la recherche approximative des plus proches voisins (ANN) à l’aide de l’indexation vectorielle. La recherche ANN peut trouver k voisins proches beaucoup plus rapidement que la recherche kNN exacte, parfois de plusieurs ordres de grandeur. Il existe un compromis entre vitesse et précision : l’ANN est plus rapide, mais peut ne pas renvoyer l’ensemble exact des k plus proches voisins. Pour les applications comportant des milliards de vecteurs qui nécessitent des temps de réponse interactifs et n’ont pas besoin d’une précision absolue, la recherche ANN est la solution à privilégier.
La mise en œuvre technique des index vectoriels dans SingleStore a des exigences spécifiques. Ces index ne peuvent être créés que sur des tables columnstore et doivent être créés sur une seule colonne qui stocke les données vectorielles. Le système prend actuellement en charge le format Vector Type(dimensions[, F32]), F32 étant le seul type d’élément pris en charge. Cette approche structurée rend SingleStore particulièrement adapté aux applications telles que la recherche sémantique utilisant des vecteurs issus de grands modèles de langage, la génération augmentée par récupération (RAG) pour la génération de texte ciblée et la mise en correspondance d’images basée sur des plongements vectoriels. En les combinant avec les fonctionnalités traditionnelles des bases de données, SingleStore permet aux développeurs de créer des applications d’IA complexes à l’aide de la syntaxe SQL tout en maintenant les performances et l’évolutivité.
Weaviate : aperçu et technologie de base
Weaviate est une base de données vectorielle open-source conçue pour simplifier le développement d’applications d’IA. Elle offre des capacités intégrées de recherche vectorielle et hybride, une intégration facile avec les modèles d’apprentissage automatique, ainsi qu’un accent mis sur la confidentialité des données. Ces fonctionnalités visent à aider les développeurs de différents niveaux de compétence à créer, itérer et faire évoluer les applications d’IA plus efficacement.
L’un des points forts de Weaviate est sa recherche de similarité rapide et précise. Elle utilise l’indexation HNSW (Hierarchical Navigable Small World) pour permettre la recherche vectorielle sur de grands ensembles de données. Weaviate prend également en charge la combinaison de recherches vectorielles avec des filtres traditionnels, permettant des requêtes hybrides puissantes qui exploitent à la fois la similarité sémantique et des attributs de données spécifiques.
Les principales fonctionnalités de Weaviate incluent :
- La compression PQ pour un stockage et une récupération efficaces
- La recherche hybride avec un paramètre alpha pour ajuster l’équilibre entre BM25 et la recherche vectorielle
- Des plugins intégrés pour les embeddings et le reranking, qui facilitent le développement
Weaviate constitue un point d’entrée pour les développeurs souhaitant essayer la recherche vectorielle. Elle propose une approche conviviale pour les développeurs, avec une configuration simple et des API bien documentées. Son intégration approfondie avec l’écosystème GenAI la rend adaptée aux petits projets ou aux travaux de preuve de concept. Le public cible de Weaviate est constitué d’ingénieurs logiciels créant des applications d’IA, d’ingénieurs de données travaillant avec de grands ensembles de données et de data scientists déployant des modèles d’apprentissage automatique. Weaviate simplifie la recherche sémantique, les systèmes de recommandation, la classification de contenu et d’autres fonctionnalités d’IA.
Weaviate est conçue pour évoluer horizontalement, afin de pouvoir gérer de grands ensembles de données et des charges de requêtes élevées en distribuant les données sur plusieurs nœuds d’un cluster. Elle prend en charge les données multimodales et fonctionne avec différents types de données (texte, images, audio, vidéo) selon les modules de vectorisation utilisés. Weaviate fournit à la fois des API RESTful et GraphQL pour offrir de la flexibilité dans la manière dont les développeurs interagissent avec la base de données.
Cependant, pour les environnements de production à grande échelle, plusieurs considérations doivent être gardées à l’esprit :
- Fonctionnalités de sécurité de niveau entreprise limitées
- Défis potentiels de scalabilité avec des ensembles de données de plusieurs milliards de vecteurs
- Gestion manuelle requise pour les options de stockage hiérarchisé récemment publiées
- L’extension horizontale nécessite l’assistance des ingénieurs Weaviate et ne peut pas être effectuée automatiquement
Ce dernier point est particulièrement notable, car il signifie que les organisations doivent planifier à l’avance et allouer du temps aux opérations de mise à l’échelle, en s’assurant de ne pas approcher les limites de leur système sans préparation adéquate.
Différences clés
Méthodologie de recherche
SingleStore intègre la recherche vectorielle directement dans la base de données afin que vous puissiez rechercher des éléments similaires en parallèle de vos requêtes SQL. Il prend en charge la recherche exacte des k plus proches voisins (kNN) et la recherche approximative des plus proches voisins (ANN) avec des options comme les algorithmes FLAT, IVF_FLAT, IVF_PQ et HNSW. Le kNN exact est précis mais gourmand en ressources, l’ANN est rapide, mais pour de grands jeux de données qui nécessitent des requêtes interactives rapides.
Weaviate utilise l’indexation Hierarchical Navigable Small World (HNSW) pour une recherche vectorielle efficace sur de grands jeux de données. Il dispose également de capacités de recherche hybride, ce qui permet de combiner la recherche vectorielle et la recherche traditionnelle par mots-clés. Cette flexibilité fait de Weaviate un excellent choix pour les applications qui nécessitent à la fois une compréhension sémantique et un filtrage structuré.
Données
SingleStore est idéal pour les données structurées et semi-structurées. La recherche vectorielle fait partie de la base de données relationnelle. Les vecteurs sont stockés dans des tables columnstore et accessibles via SQL, ce qui facilite l’intégration avec les applications d’IA.
Weaviate est plus large, prend en charge les données multimodales comme le texte, les images, l’audio et la vidéo. Il s’intègre à divers modules de vectorisation, ce qui le rend polyvalent pour les données non structurées. Mais la gestion des données peut nécessiter une configuration supplémentaire pour les cas d’utilisation de données structurées.
Évolutivité
SingleStore distribue les données sur plusieurs nœuds, ce qui le rend fluide pour les grands jeux de données. L’ajout de nœuds est simple et les performances restent constantes à mesure que les données augmentent. Il combine la recherche vectorielle avec les opérations SQL, ce qui réduit la complexité des requêtes.
Weaviate évolue horizontalement, les données sont distribuées entre des clusters. Il prend en charge de grands jeux de données, mais la mise à l’échelle nécessite une intervention manuelle et une collaboration étroite avec les ingénieurs de Weaviate. Cela peut entraîner un retard pour les entreprises qui évoluent rapidement.
Flexibilité et personnalisation
L’approche basée sur SQL de SingleStore offre de la flexibilité dans la modélisation des données et les requêtes. Les développeurs peuvent combiner la recherche vectorielle avec les opérations de base de données traditionnelles, donc des applications d’IA complexes avec un effort minimal d’intégration système.
Weaviate offre de la flexibilité grâce à ses API RESTful et GraphQL, ce qui répond aux préférences variées des développeurs. Ses capacités de recherche hybride et son intégration avec divers modèles d’embedding offrent des options de personnalisation pour des cas d’utilisation spécifiques comme la recherche sémantique ou la classification de contenu.
Intégration et écosystème
SingleStore s’intègre aux pipelines de données et aux flux d’analyse existants. Il peut stocker et interroger des vecteurs aux côtés de données traditionnelles, ce qui en fait une plateforme unifiée pour les applications d’IA.
Weaviate excelle dans le support de l’écosystème, dispose de modules préconstruits pour les embeddings populaires et les techniques de reranking. Mais les intégrations d’entreprise sont limitées par rapport à SingleStore, peuvent nécessiter un développement supplémentaire pour un déploiement complet.
Facilité d’utilisation
L’approche axée sur SQL de SingleStore et son excellente documentation le rendent facile à utiliser pour les développeurs familiers avec les bases de données relationnelles. La mise en place et la maintenance sont simples, en particulier pour les équipes disposant déjà d’une expertise SQL.
Weaviate dispose d’une configuration conviviale pour les développeurs avec des API et une documentation claires. Il est idéal pour les petites équipes ou les projets explorant la recherche vectorielle, mais peut nécessiter plus d’efforts pour la mise à l’échelle et la stabilité opérationnelle dans des environnements à grande échelle.
Coût
SingleStore combine base de données vectorielle et relationnelle, ce qui peut réduire les coûts en éliminant le besoin de systèmes séparés. Le coût opérationnel dépend de l’échelle et de la configuration des nœuds.
Le modèle open-source de Weaviate réduit le coût initial, mais les déploiements d’entreprise entraîneront des coûts supplémentaires pour le support et la mise à l’échelle. Les fonctionnalités récemment publiées comme le stockage hiérarchisé nécessitent une gestion manuelle, donc une surcharge opérationnelle supplémentaire.
Fonctionnalités de sécurité
SingleStore offre une sécurité de niveau entreprise, chiffrement, authentification, contrôle d’accès. Ces éléments sont importants pour les entreprises qui accordent la priorité à la sécurité des données.
La sécurité de Weaviate est limitée. Il prend en charge les contrôles d’accès de base, mais les fonctionnalités avancées comme le chiffrement de bout en bout et les mécanismes d’authentification granulaires ne sont pas aussi matures, ce qui constitue une préoccupation pour les cas d’utilisation en entreprise.
Quand choisir chacun
SingleStore est conçu pour de hautes performances et une grande scalabilité, en particulier lorsqu’il s’agit de combiner la recherche vectorielle avec des requêtes sur des données structurées. Son SQL robuste et sa sécurité de niveau entreprise en font un excellent choix pour les grands environnements de données distribués comme les systèmes de recommandation, l’analyse financière et la business intelligence IA.
Weaviate est destiné aux projets qui nécessitent des capacités de recherche hybride ou multimodale, en particulier lorsqu’ils traitent des données non structurées comme du texte, des images ou des vidéos. C’est un excellent choix pour les développeurs qui travaillent sur des applications IA de preuve de concept, la classification de contenu ou la recherche sémantique, où la facilité de configuration et d’expérimentation est essentielle.
Résumé
SingleStore est excellent pour la recherche vectorielle avec des données structurées, une scalabilité robuste, une sécurité de niveau entreprise et des opérations basées sur SQL. Weaviate est excellent pour la recherche multimodale, une configuration conviviale pour les développeurs et la recherche hybride. En fin de compte, cela dépend de votre cas d’usage, de vos types de données et de vos besoins en performance. Évaluez les exigences de votre projet pour déterminer lequel convient le mieux.
Lisez ceci pour obtenir un aperçu de SingleStore et Weaviate, mais pour les évaluer, vous devez le faire en fonction de votre cas d’usage. Un outil qui peut vous aider dans cette démarche est VectorDBBench, un outil de benchmarking open-source pour la comparaison des bases de données vectorielles. Au final, un benchmarking approfondi avec vos propres jeux de données et modèles de requêtes sera essentiel pour prendre une décision entre ces deux approches puissantes mais différentes de la recherche vectorielle dans les systèmes de bases de données distribuées.
Utiliser VectorDBBench open-source pour évaluer et comparer les bases de données vectorielles par vous-même
VectorDBBench est un outil de benchmarking open-source destiné aux utilisateurs qui ont besoin de systèmes de stockage et de récupération de données haute performance, en particulier des bases de données vectorielles. Cet outil permet aux utilisateurs de tester et de comparer différents systèmes de bases de données vectorielles comme Milvus et Zilliz Cloud (le Milvus managé) en utilisant leurs propres jeux de données afin de trouver celui qui correspond à leurs cas d’usage. Avec VectorDBBench, les utilisateurs peuvent prendre des décisions basées sur les performances réelles des bases de données vectorielles plutôt que sur des affirmations marketing ou des ouï-dire.
VectorDBBench est écrit en Python et publié sous licence open-source MIT, ce qui signifie que chacun peut librement l’utiliser, le modifier et le distribuer. L’outil est activement maintenu par une communauté de développeurs engagés dans l’amélioration de ses fonctionnalités et de ses performances.
Téléchargez VectorDBBench depuis son dépôt GitHub pour reproduire nos résultats de benchmark ou obtenir des résultats de performance sur vos propres jeux de données.
Jetez un rapide coup d’œil aux performances des principales bases de données vectorielles sur le classement VectorDBBench.
Lisez les blogs suivants pour en savoir plus sur l’évaluation des bases de données vectorielles.
Ressources supplémentaires sur VectorDB, GenAI et ML
Continuer à lire
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.