OpenSearch vs ClickHouse : choisir la bonne base de données pour les applications GenAI
À mesure que les applications pilotées par l’IA évoluent, l’importance des capacités de recherche vectorielle pour soutenir ces avancées ne saurait être surestimée. Cet article de blog abordera deux bases de données majeures dotées de capacités de recherche vectorielle : OpenSearch vs ClickHouse. Chacune offre des capacités robustes pour gérer la recherche vectorielle, une fonctionnalité essentielle pour des applications telles que les moteurs de recommandation, la récupération d’images et la recherche sémantique. Notre objectif est de fournir aux développeurs et aux ingénieurs une comparaison claire, afin de les aider à décider quelle base de données correspond le mieux à leurs exigences spécifiques.
Qu’est-ce qu’une base de données vectorielle ?
Avant de comparer OpenSearch et ClickHouse, explorons d’abord le concept de bases de données vectorielles.
Une base de données vectorielle est spécifiquement conçue pour stocker et interroger des vecteurs de grande dimension, qui sont des représentations numériques de données non structurées. Ces vecteurs encodent des informations complexes, telles que la signification sémantique d’un texte, les caractéristiques visuelles d’images ou les attributs de produits. En permettant des recherches de similarité efficaces, les bases de données vectorielles jouent un rôle essentiel dans les applications d’IA, permettant une analyse et une récupération des données plus avancées.
Les cas d’utilisation courants des bases de données vectorielles incluent les recommandations de produits en e-commerce, les plateformes de découverte de contenu, la détection d’anomalies en cybersécurité, l’analyse d’images médicales et les tâches de traitement du langage naturel (NLP). Elles jouent également un rôle crucial dans la génération augmentée par récupération (RAG), une technique qui améliore les performances des grands modèles de langage (LLMs) en fournissant des connaissances externes afin de réduire des problèmes tels que les hallucinations de l’IA.
Il existe de nombreux types de bases de données vectorielles disponibles sur le marché, notamment :
- Bases de données vectorielles conçues à cet effet telles que Milvus, Zilliz Cloud (Milvus entièrement géré)
- Bibliothèques de recherche vectorielle telles que Faiss et Annoy.
- Bases de données vectorielles légères telles que Chroma et Milvus Lite.
- Bases de données traditionnelles avec des modules complémentaires de recherche vectorielle capables d’effectuer des recherches vectorielles à petite échelle.
OpenSearch et ClickHouse sont toutes deux des bases de données traditionnelles qui ont évolué pour inclure des capacités de recherche vectorielle sous forme de module complémentaire.
Qu’est-ce qu’OpenSearch ? Un aperçu
OpenSearch est une suite robuste, open source, de recherche et d’analyse qui gère un large éventail de types de données, des données structurées et semi-structurées aux données non structurées. Lancée en 2021 en tant que fork communautaire d’Elasticsearch et de Kibana, cette suite OpenSearch comprend le magasin de données et moteur de recherche OpenSearch, OpenSearch Dashboards pour la visualisation avancée des données, ainsi que Data Prepper pour une collecte efficace des données côté serveur.
Construit sur les bases solides d’Apache Lucene, OpenSearch permet des recherches en texte intégral (recherche par mots-clés) hautement évolutives et efficaces, ce qui le rend idéal pour gérer de grands ensembles de données. Avec ses dernières versions, OpenSearch a considérablement étendu ses capacités de recherche pour inclure la recherche vectorielle grâce à des plugins supplémentaires, ce qui est essentiel pour créer des applications pilotées par l’IA. OpenSearch prend désormais en charge un éventail de méthodes de recherche alimentées par l’apprentissage automatique, notamment les recherches lexicales traditionnelles, les plus proches voisins (k-NN), la recherche sémantique, la recherche multimodale, la recherche neuronale clairsemée et les modèles de recherche hybrides. Ces améliorations intègrent les modèles neuronaux directement dans le cadre de recherche, permettant la génération d’embeddings à la volée et la recherche au moment de l’ingestion des données. Cette intégration rationalise non seulement les processus, mais améliore également nettement la pertinence et l’efficacité de la recherche.
Les mises à jour récentes ont encore fait progresser les fonctionnalités d’OpenSearch, en introduisant des caractéristiques telles que la recherche vectorielle optimisée pour le disque, la quantification binaire et l’encodage de vecteurs d’octets dans les recherches k-NN. Ces ajouts, ainsi que les améliorations du traitement des tâches d’apprentissage automatique et des performances des requêtes de recherche, réaffirment OpenSearch comme un outil de pointe pour les développeurs et les entreprises visant à exploiter pleinement leurs données. Soutenu par une communauté dynamique et collaborative, OpenSearch continue d’évoluer, offrant une plateforme de recherche et d’analyse complète, évolutive et adaptable qui s’impose comme un choix de premier plan pour les développeurs ayant besoin de capacités de recherche avancées dans leurs applications.
Qu’est-ce que ClickHouse ? Un aperçu
ClickHouse est une base de données OLAP open source pour l’analytique en temps réel, avec une prise en charge complète de SQL et un traitement rapide des requêtes. Elle est excellente pour les requêtes analytiques grâce à son pipeline de requêtes entièrement parallélisé et peut effectuer rapidement de la recherche vectorielle. Elle offre une forte compression (personnalisable via des codecs), ce qui permet de stocker et d’interroger de grands ensembles de données. L’un de ses principaux avantages est qu’elle peut gérer des ensembles de données de plusieurs To sans être limitée par la mémoire, ce qui en fait un excellent outil pour les utilisateurs disposant de grandes quantités de données vectorielles. Elle prend également en charge le filtrage et l’agrégation sur les métadonnées, ce qui permet d’interroger les vecteurs et leurs métadonnées.
ClickHouse dispose de fonctionnalités de recherche vectorielle via SQL, où les opérations de distance vectorielle sont comme n’importe quelle autre fonction SQL. Vous pouvez donc les combiner avec le filtrage et l’agrégation traditionnels. C’est idéal pour les cas d’utilisation où vous devez interroger des données vectorielles ainsi que des métadonnées ou d’autres informations. Elle dispose également d’indices expérimentaux Approximate Nearest Neighbour (ANN) pour une correspondance plus rapide (mais approximative). Et d’une correspondance exacte par balayage linéaire des lignes avec traitement parallèle pour la rapidité et l’efficacité.
ClickHouse est excellente pour la recherche vectorielle lorsque vous devez combiner la correspondance vectorielle avec le filtrage ou l’agrégation de métadonnées. En particulier pour de très grands ensembles de données vectorielles qui doivent être traités en parallèle sur plusieurs cœurs de CPU. ClickHouse est également adaptée lorsque vous avez besoin de la prise en charge de SQL et que votre ensemble de données vectorielles est trop volumineux pour tenir dans des indices uniquement en mémoire. De plus, si vous disposez déjà de données associées dans ClickHouse ou si vous ne voulez pas apprendre un autre outil pour gérer des millions de vecteurs, ClickHouse peut vous faire gagner du temps et des ressources. La correspondance exacte rapide et parallélisée ainsi que la gestion de grands ensembles de données sont les points forts de ClickHouse, elle s’adresse donc aux utilisateurs avancés de la recherche.
ClickHouse est une plateforme polyvalente pour la recherche vectorielle, en particulier pour les grands ensembles de données nécessitant un traitement parallèle et lorsque vous combinez la recherche vectorielle avec le filtrage et l’agrégation basés sur SQL. Elle n’est pas aussi performante que les bases de données vectorielles spécialisées pour les petits ensembles de données limités par la mémoire ou les scénarios à QPS élevé, mais elle peut gérer des requêtes complexes incluant des métadonnées, ce qui la rend idéale pour les développeurs qui connaissent SQL et ont besoin d’une recherche vectorielle rapide.
Comparaison entre OpenSearch et ClickHouse : principales différences pour GenAI
Méthodologie de recherche
OpenSearch : Construit sur Apache Lucene, OpenSearch a considérablement fait progresser ses capacités de recherche, incluant désormais la recherche vectorielle avec la prise en charge de diverses méthodes alimentées par l’apprentissage automatique, telles que les plus proches voisins (k-NN), la recherche sémantique et les modèles de recherche hybrides. Ces fonctionnalités permettent l’intégration directe de modèles neuronaux pour la génération dynamique d’embeddings, améliorant à la fois l’efficacité et la pertinence des opérations de recherche.
ClickHouse : ClickHouse a intégré des capacités de recherche vectorielle dans son moteur SQL, prenant en charge les opérations de distance vectorielle sous forme de fonctions SQL. Cela permet d’interroger efficacement des données vectorielles parallèlement aux requêtes SQL traditionnelles, y compris le filtrage et l’agrégation des métadonnées. ClickHouse offre également des capacités de correspondance approximative et exacte pour les données vectorielles, optimisées par le traitement parallèle afin de gérer efficacement de grands ensembles de données.
Gestion des données
OpenSearch : Gère un large éventail de types de données, notamment les données structurées, semi-structurées et non structurées. Les récentes mises à jour avec la recherche vectorielle optimisée pour le disque et les améliorations de l’encodage des vecteurs d’octets ont renforcé sa capacité à gérer des ensembles de données volumineux et complexes, en particulier dans les applications axées sur l’IA.
ClickHouse : Principalement optimisé pour l’OLAP avec un modèle de données en colonnes, ClickHouse gère désormais également efficacement de grands ensembles de données vectorielles, en prenant en charge une forte compression et un traitement des données parallélisé. Il est apte à gérer de grands volumes de données sans être limité par la mémoire, ce qui le rend adapté aux requêtes analytiques étendues.
Évolutivité et performances
OpenSearch : Hautement évolutif, exploitant sa base Lucene pour effectuer des recherches plein texte et vectorielles efficaces sur de grands ensembles de données. La plateforme est conçue pour évoluer horizontalement, améliorant sa capacité à gérer sans heurts la croissance du volume de données.
ClickHouse : Reconnu pour sa capacité à traiter rapidement les requêtes grâce à son pipeline de requêtes entièrement parallélisé, ClickHouse excelle en matière d’évolutivité, en particulier pour l’analytique en temps réel sur des ensembles de données de plusieurs téraoctets. Son architecture lui permet d’exécuter rapidement des requêtes sur des ensembles de données volumineux et complexes.
Flexibilité et personnalisation
OpenSearch : Offre une grande flexibilité en matière de modélisation et d’interrogation des données, soutenue par un riche ensemble d’API et de plugins. Les récentes améliorations des capacités de recherche permettent un haut degré de personnalisation, répondant à des besoins applicatifs divers et évolutifs.
ClickHouse : Tout en offrant une prise en charge SQL robuste et des options de personnalisation via des fonctions SQL pour la recherche vectorielle, la flexibilité de ClickHouse est davantage axée sur les capacités analytiques que sur la recherche textuelle. Son approche centrée sur SQL fournit des outils familiers à ceux qui possèdent une expertise SQL, permettant des requêtes complexes combinées à des opérations vectorielles.
Intégration et écosystème
OpenSearch : Maintient un solide écosystème d’intégration, compatible avec une variété d’outils de collecte, de traitement et de visualisation des données. Cet écosystème est soutenu par une communauté dynamique et collaborative qui contribue à son évolution continue.
ClickHouse : Dispose également de capacités d’intégration importantes, en particulier avec les outils prenant en charge l’analytique et l’entreposage de données. Sa capacité à gérer les requêtes SQL permet une intégration simple avec les systèmes et flux de travail existants basés sur SQL.
Facilité d’utilisation
OpenSearch : Malgré ses capacités sophistiquées, OpenSearch conserve une courbe d’apprentissage maîtrisable, soutenue par une documentation complète et une communauté bienveillante qui facilite la configuration et la maintenance.
ClickHouse : ClickHouse nécessite une familiarité avec le SQL avancé et l’optimisation des bases de données, ce qui peut présenter une courbe d’apprentissage plus abrupte. Cependant, sa documentation détaillée et sa communauté active fournissent un soutien précieux aux nouveaux utilisateurs.
Considérations relatives aux coûts
OpenSearch : En tant que solution open source, OpenSearch peut être rentable s’il est autogéré. Cependant, les coûts opérationnels, en particulier pour les grands déploiements, peuvent être significatifs. Les services gérés comme Amazon OpenSearch Service sont pratiques, mais augmentent le coût.
ClickHouse : Les taux élevés de compression des données de ClickHouse et ses capacités de traitement efficaces en font une option rentable pour l’analyse de données à grande échelle. Bien qu’il offre des avantages en matière de coûts, notamment pour le traitement de grands ensembles de données, les services gérés et les fonctionnalités premium peuvent augmenter les coûts globaux.
Fonctionnalités de sécurité
OpenSearch : Offre des fonctionnalités de sécurité robustes, notamment le chiffrement, le contrôle d’accès basé sur les rôles et la journalisation d’audit, garantissant une sécurité complète des données en transit et au repos.
ClickHouse : Fournit des fonctionnalités de sécurité essentielles telles que le chiffrement SSL/TLS et le contrôle d’accès basé sur les rôles. Des mesures de sécurité supplémentaires peuvent être nécessaires pour égaler les fonctionnalités de sécurité complètes offertes par OpenSearch.
Quand choisir OpenSearch et ClickHouse pour la GenAI
Choisissez OpenSearch pour la recherche vectorielle lorsque :
- Besoins de recherche intégrée : Vous souhaitez combiner la recherche vectorielle avec des capacités traditionnelles de recherche en texte intégral. OpenSearch prend en charge diverses méthodologies de recherche, notamment les k plus proches voisins (k-NN), la recherche sémantique et les modèles hybrides, permettant des scénarios de recherche sophistiqués.
- Recherche et analytique en temps réel : Vous avez besoin de pouvoir effectuer une recherche vectorielle en temps réel tout en nécessitant également des capacités d’analytique et de visualisation des données. OpenSearch peut gérer le traitement des données en temps réel et offre des outils pour une visualisation immédiate des données et des insights.
- Améliorations par apprentissage automatique : Votre application bénéficie de modèles d’apprentissage automatique qui améliorent la précision et la pertinence de la recherche, en particulier lorsque vous travaillez avec des types de données complexes ou que vous avez besoin de générer des embeddings à la volée.
Choisissez ClickHouse pour la recherche vectorielle lorsque :
- Analytique haute performance : Vous avez besoin d’interrogations rapides et efficaces sur de très grands ensembles de données, en particulier lorsque vous devez combiner la correspondance vectorielle avec un filtrage et une agrégation détaillés des données basés sur SQL.
- Gestion d’ensembles de données massifs : Vos opérations de recherche vectorielle doivent évoluer vers de grands volumes de données sans compromettre les performances. ClickHouse est optimisé pour gérer efficacement des ensembles de données de plusieurs téraoctets, ce qui le rend idéal pour les charges de travail analytiques intensives.
- Opérations vectorielles basées sur SQL : Vous préférez utiliser SQL pour les opérations de recherche vectorielle, en intégrant les calculs de distance vectorielle directement dans les requêtes SQL. Cela est particulièrement utile lorsque votre recherche vectorielle doit être combinée à des requêtes SQL complexes impliquant de grands ensembles de données.
Quand choisir une base de données vectorielle spécialisée ?
Bien qu’OpenSearch et ClickHouse offrent des capacités de recherche vectorielle via une extension, ils ne sont pas optimisés pour les tâches de recherche vectorielle à grande échelle et haute performance. Si votre application repose sur des recherches de similarité rapides et précises sur des millions ou des milliards de vecteurs à haute dimension, comme dans la reconnaissance d’images, les recommandations e-commerce ou les tâches de NLP, des bases de données vectorielles spécialisées comme Milvus et Zilliz Cloud (le Milvus managé) sont mieux adaptées. Ces bases de données sont conçues pour gérer les données vectorielles à grande échelle, en utilisant des algorithmes avancés de voisin le plus proche approximatif (ANN) (p. ex., HNSW, IVF ) et en offrant des fonctionnalités avancées comme la recherche hybride (y compris la recherche hybride sparse and dense, la recherche multimodale, la recherche vectorielle avec filtrage des métadonnées, et la recherche hybride dense et en texte intégral), l’ingestion en temps réel et la scalabilité distribuée pour des performances élevées dans des environnements dynamiques.
D’autre part, les systèmes polyvalents commeOpenSearch et ClickHouse conviennent lorsque la recherche vectorielle n’est pas l’objectif principal, et que vous gérez des données structurées ou semi-structurées avec des ensembles de données vectorielles plus petits ou des exigences de performance modérées. Si vous utilisez déjà ces systèmes et souhaitez éviter la surcharge liée à l’introduction d’une nouvelle infrastructure, les plugins de recherche vectorielle peuvent étendre leurs capacités et fournir une solution rentable pour des tâches de recherche vectorielle plus simples et à plus petite échelle.
Utiliser VectorDBBench open source pour évaluer et comparer vous-même les bases de données vectorielles
VectorDBBench est un outil de benchmarking open source conçu pour les utilisateurs qui ont besoin de systèmes de stockage et de récupération de données haute performance, en particulier les bases de données vectorielles. Cet outil permet aux utilisateurs de tester et de comparer les performances de différents systèmes de bases de données vectorielles tels que Milvus et Zilliz Cloud (le Milvus managé) à l’aide de leurs propres jeux de données, et de déterminer celui qui convient le mieux à leurs cas d’utilisation. Avec VectorDBBench, les utilisateurs peuvent prendre des décisions éclairées basées sur les performances réelles des bases de données vectorielles plutôt que de s’appuyer sur des affirmations marketing ou des preuves anecdotiques.
VectorDBBench est écrit en Python et distribué sous licence open source MIT, ce qui signifie que chacun peut l’utiliser, le modifier et le distribuer librement. L’outil est activement maintenu par une communauté de développeurs déterminés à améliorer ses fonctionnalités et ses performances.
Téléchargez VectorDBBench depuis son dépôt GitHub pour reproduire nos résultats de benchmark ou obtenir des résultats de performance sur vos propres jeux de données.
Jetez un coup d’œil rapide aux performances des bases de données vectorielles grand public sur le classement VectorDBBench.
Lisez les blogs suivants pour en savoir plus sur l’évaluation des bases de données vectorielles.
Ressources supplémentaires sur VectorDB, GenAI et ML
Continuer à lire
Zilliz Cloud Update: Smarter Autoscaling for Cost Savings, Stronger Compliance with Audit Logs, and More
What's new in Zilliz Cloud? Smarter autoscaling with scale-down, audit logs GA, enhanced SSO, and Milvus 2.6 in Private Preview.
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.
The Great AI Agent Protocol Race: Function Calling vs. MCP vs. A2A
Compare Function Calling, MCP, and A2A protocols for AI agents. Learn which standard best fits your development needs and future-proof your applications.
The Definitive Guide to Choosing a Vector Database
Overwhelmed by all the options? Learn key features to look for & how to evaluate with your own data. Choose with confidence.