Comment sélectionner le type et la taille de CU les plus appropriés pour votre entreprise ?
Une Compute Unit (CU) dans Zilliz Cloud désigne les ressources matérielles qui prennent en charge les requêtes de recherche et les index. Zilliz Cloud fournit trois types de CU : Performance-optimized, Capacity-optimized, et Extended-Capacity CU. Chaque type de CU comprend différentes combinaisons de ressources CPU, mémoire et stockage pour différents besoins métier. Par conséquent, sélectionner les options et tailles de CU appropriées est crucial lors de la configuration d’un cluster Zilliz Cloud.
CU Performance-optimized
Une CU performance-optimized est idéale pour les tâches de récupération par similarité qui nécessitent un temps de réponse rapide en millisecondes avec un débit élevé d’au moins 100 requêtes par seconde (QPS). Chaque CU peut gérer environ 1,5 million de vecteurs 768-dim.
Ce type de CU est essentiel pour (sans s’y limiter) les cas d’utilisation suivants :
- Applications d’IA générative
- Systèmes de recommandation
- Moteurs de recherche
- Chatbots
- Modération de contenu
- Enrichissement de la base de connaissances des LLMs
- Systèmes antifraude
CU Capacity-optimized
Si votre application gère des dizaines de millions de vecteurs, envisagez d’utiliser une CU capacity-optimized. Chaque CU peut gérer environ 5 millions de vecteurs 768-dim. Ce type de CU peut stocker beaucoup plus de données qu’une CU performance-optimized à un coût inférieur, mais aussi avec des performances moindres.
Les CU capacity-optimized sont particulièrement utiles pour (sans s’y limiter) les scénarios suivants :
- Recherche dans des données non structurées à grande échelle, telles que du texte, des images, des vidéos et des structures moléculaires
- Détection des violations de droits d’auteur
- Vérification des identités.
Extended-Capacity CU
L’Extended-Capacity CU est idéale si vous n’êtes pas préoccupé par le temps de réponse et disposez d’un budget très serré. Chaque CU peut gérer 20 millions de vecteurs à 768 dimensions à un prix relativement raisonnable. Bien qu’elle présente une latence de recherche plus élevée, elle peut contenir jusqu’à 4 fois plus de données qu’une CU capacity-optimized.
Ce type de CU est parfait pour les tâches hors ligne telles que :
- Étiquetage ou clustering des données
- Déduplication
- Détection des valeurs aberrantes dans les jeux de données ou équilibrage des classes.
Évaluation des trois types de CU
Le tableau ci-dessous fournit un aperçu des différences entre les types de CU de Zilliz Cloud.
| Type de CU | Latence | Débit | Capacité | Coût par million de vecteurs (note : basé sur des vecteurs 768-dim) |
|---|---|---|---|---|
| Performance-optimized | Faible | Élevé | Faible | À partir de $65/mois |
| Capacity-optimized | Moyenne | Moyen | Moyenne | À partir de $20/mois |
| Extended-Capacity CU | Élevée | Faible | Élevée | À partir de $10/mois |
Comparaison des performances
Pour mesurer les performances des différentes options de CU, nous avons examiné deux indicateurs clés : la latence de recherche et le débit. Nous avons testé les trois types de CU de Zilliz Cloud à l’aide de deux jeux de données avec diverses valeurs topk (10, 100, 250, 1000). Le premier jeu de données se compose de 1 000 000 de vecteurs à 768 dimensions, et le second contient 5 000 000 de vecteurs de même dimension.
| top_k | / | / | 10 | 100 | 250 | 1000 |
|---|---|---|---|---|---|---|
| Latence | CU Performance-optimized | 1M 768dim | <10ms | <10ms | <10ms | 10-20ms |
| CU Capacity-optimized | 5M 768dim | <50ms | <50ms | <50ms | 50-100ms | |
| Extended-Capacity CU |
Le tableau ci-dessus montre que le CU optimisé pour les performances est le meilleur choix pour une faible latence, surpassant le CU optimisé pour la capacité. Il maintient une latence inférieure à dix millisecondes pour des valeurs topk typiques de 10 à 250, soit cinq à dix fois plus rapide que le CU optimisé pour la capacité. Lorsqu’il s’agit de valeurs topk de l’ordre de milliers, la latence pour chaque type de CU varie de 10 à 20 ms pour le CU optimisé pour les performances et de 50 à 100 ms pour le CU optimisé pour la capacité. Cependant, il convient de noter que même si le CU optimisé pour les performances ralentit dans ses réponses lors de l’exécution de tâches avec des valeurs detopk de l’ordre de milliers, sa latence de recherche reste adaptée à de nombreuses applications en temps réel.
| top_k | 10 | 100 | 250 | 1000 | ||
|---|---|---|---|---|---|---|
| QPS | CU optimisé pour les performances | 1M 768dim | 520 | 440 | 270 | 150 |
| CU optimisé pour la capacité | 5M 768dim | 100 | 80 | 60 | 40 | |
| CU à capacité étendue |
En matière de débit, le CU optimisé pour les performances est supérieur. Il surpasse le CU optimisé pour la capacité de quatre à cinq fois.
Comparaison des capacités
Nous avons testé les trois types de CU de Zilliz Cloud à l’aide d’un ensemble standard de dimensions vectorielles : 128, 256, 512, 768 et 1024.
| Dimensions vectorielles | Nombre de vecteurs par CU (millions) | Nombre de vecteurs par CU (millions) | Nombre de vecteurs par CU (millions) |
|---|---|---|---|
| / | CU optimisé pour les performances | CU optimisé pour la capacité | CU à capacité étendue |
| 128 | 5 | 25 | Bientôt disponible |
| 256 | 2.96 | 14.87 | Bientôt disponible |
| 512 | 1.63 | 8.22 | Bientôt disponible |
| 768 | 1.5 | 5 | 20 |
| 1024 | 0.86 | 4.34 | Bientôt disponible |
D’après le résultat du test présenté dans le tableau ci-dessus, nous constatons que :
- Les CU à capacité étendue offrent les plus grandes capacités pour le stockage de vecteurs à 768 dimensions, respectivement 13 fois et 4 fois supérieures à celles des CU optimisés pour les performances et optimisés pour la capacité.
- À mesure que les dimensions vectorielles augmentent, davantage d’espace de stockage est nécessaire pour contenir les données. Par exemple, un CU peut stocker environ deux fois plus de vecteurs à 512 dimensions que de vecteurs à 1024 dimensions.
Remarque : Cette expérience s’est concentrée uniquement sur la clé primaire et les vecteurs, sans ajouter de champs scalaires. Cependant, s’il existe des champs scalaires supplémentaires comme id, label, keywords, summary, URL, etc., la capacité réelle de chaque type de CU peut différer de celle indiquée dans le tableau ci-dessus. Il est donc essentiel de s’appuyer sur des mesures empiriques pour garantir l’exactitude.
Voyons quelques exemples !
Nous avons comparé les trois options de CU de Zilliz Cloud sous l’angle de la latence, du débit, de la capacité et du coût. Mais comment choisir l’option la plus adaptée à votre entreprise ? Examinons deux exemples pour vous aider à faire le bon choix.
Exemple 1
Supposons que vous construisiez un chatbot augmenté par un LLM qui adopte Zilliz Cloud pour stocker plus de 10 millions de fragments de texte de documents privés avec un vecteur d’embedding de 768 dimensions. Votre application exige que Zilliz Cloud prenne en charge 1 000 QPS et récupère les 10 meilleurs résultats avec une latence de bout en bout inférieure à 30 millisecondes.
Une CU optimisée pour les performances est le seul moyen d’atteindre une latence inférieure à 30 ms. Comme chaque CU optimisée pour les performances peut contenir jusqu’à 1,5 million de vecteurs à 768 dimensions, vous aurez besoin d’au moins sept CU pour gérer les 10 millions de vecteurs. Une CU peut atteindre un QPS maximal de 520 pour le débit lorsque la valeur topk est de 10. Pour atteindre 1 000 QPS, vous aurez besoin de deux réplicas.
Par conséquent, la meilleure approche pour ce scénario consiste à utiliser deux réplicas d’une CU optimisée pour les performances, chacun contenant sept CU.
Exemple 2
Supposons que votre application détecte les violations de droits d’auteur dans des images et doive trouver des images similaires parmi un ensemble de 100 millions. Chaque image est intégrée dans un vecteur à 768 dimensions. Vous n’avez pas besoin de réponses en temps réel, mais vous attendez les 100 meilleurs résultats avec un débit de 50 QPS.
Les CU optimisées pour la capacité comme celles optimisées pour les performances peuvent gérer 50 requêtes par seconde lorsque vous récupérez les 100 meilleurs résultats. Cependant, la CU optimisée pour la capacité peut stocker trois fois plus de vecteurs que la CU optimisée pour les performances. Par conséquent, la CU optimisée pour la capacité est l’option la plus adaptée à vos besoins.
D’après les résultats des tests, une seule CU optimisée pour la capacité peut stocker jusqu’à 5,6 millions de vecteurs à 768 dimensions. Pour accueillir vos 100 millions de vecteurs, vous aurez besoin d’un minimum de 20 CU. Lorsque la valeur topk est de 100, une seule CU peut atteindre un QPS maximal de 80 pour le débit. Pour 50 QPS, un seul réplica suffit. Par conséquent, vous aurez besoin d’un cluster avec 20 CU optimisées pour la capacité.
Résumé
Zilliz Cloud propose trois types de CU. Si vous avez besoin que votre application soit ultra-rapide et réactive en temps réel, la CU optimisée pour les performances est la solution à privilégier. La CU optimisée pour la capacité est le meilleur choix pour les applications qui nécessitent de stocker et de récupérer des dizaines de millions de vecteurs. Si votre budget est serré et que vous acceptez de sacrifier la vitesse et le débit, la CU à capacité étendue est parfaite pour vous.
Bien démarrer avec Zilliz Cloud
Explorez avec notre niveau gratuit (aucune carte de crédit requise), ou essayez notre essai entreprise de 30 jours avec jusqu’à 200 $ de crédits. Abonnez-vous via n’importe quelle marketplace cloud et recevez un crédit supplémentaire de 100 $.
Approfondissez vos connaissances avec la documentation de Zilliz Cloud.
Continuer à lire
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.
Zilliz Cloud Introduces Advanced BYOC-I Solution for Ultimate Enterprise Data Sovereignty
Explore Zilliz Cloud BYOC-I, the solution that balances AI innovation with data control, enabling secure deployments in finance, healthcare, and education sectors.