Migrer de S3 Vectors vers Zilliz Cloud : libérer la puissance du stockage hiérarchisé
Les données non structurées représentent désormais près de 90 % de toutes les nouvelles données générées. L’essor de ChatGPT a rendu cette évolution encore plus évidente. La recherche vectorielle est depuis devenue la méthode par défaut pour donner du sens aux données non structurées — alimentant des systèmes GenAI tels que les pipelines RAG, les agents IA, les moteurs de recommandation et les chatbots.
Mais la recherche vectorielle n’est pas bon marché. Elle peut nécessiter 10 à 100 fois plus de calcul qu’une charge de travail NoSQL, en particulier avec des index non optimisés, et dans certains cas, elle est même plus coûteuse qu’un appel à un LLM. Lorsque chaque requête sollicite du stockage et de la mémoire haute performance, les coûts peuvent croître plus vite que les performances.
AWS a introduit S3 Vectors pour répondre à ce problème, en combinant la recherche vectorielle avec l’efficacité économique du stockage objet. C’est une idée astucieuse, mais elle n’est pas sans compromis : une latence plus élevée, un rappel plus faible et une flexibilité limitée pour les systèmes à grande échelle. Le Tiered Storage de Zilliz Cloud adopte une approche plus équilibrée. Il stocke l’intégralité de votre jeu de données dans le stockage objet tout en utilisant les SSD locaux et la mémoire de chaque cluster comme caches intelligents afin d’accélérer les requêtes et l’accès aux données.
Dans cet article, nous expliquerons où S3 Vectors excelle et où il montre ses limites, puis nous montrerons comment le Tiered Storage de Zilliz Cloud résout ces limitations. Vous trouverez également un court tutoriel sur la migration de vos données de S3 Vectors vers Zilliz Cloud en quelques étapes seulement.
S3 Vectors : bon marché, mais avec des limites claires
Commençons par ce qui fonctionne. S3 Vectors est bon marché. Le stockage ne coûte que $0.06 par Go, soit environ cinq fois moins cher que la plupart des bases de données vectorielles serverless. Dans un exemple de charge de travail de 400 millions de vecteurs et 10 millions de requêtes par mois, la facture totale s’élève à environ $1,200 par mois — une baisse considérable par rapport aux factures à cinq chiffres que vous verriez généralement ailleurs. Pour les charges de travail à faible trafic ou tolérantes à la latence, il est difficile de contester ce calcul.
Les performances ont des limites : Les compromis commencent à apparaître dès que vous cherchez à gagner en échelle ou en réactivité :
Taille des collections : Chaque table S3 peut contenir jusqu’à 50 millions de vecteurs, avec un plafond global de 10 000 tables.
Latence des requêtes : Comptez environ 500 ms pour une collection de 1 million de vecteurs et 700 ms pour 10 millions — acceptable pour des tâches en arrière-plan, pas pour des applications en temps réel.
Débit : Vous obtiendrez une latence inférieure à 200 ms jusqu’à 200 QPS, mais passer à l’échelle au-delà n’est pas simple.
Vitesse d’écriture : Limitée à moins de 2 Mo/s, bien plus lente que des moteurs comme Milvus qui maintiennent des écritures au niveau du Go/s. L’avantage est que les écritures ne bloquent pas les lectures — mais dans l’ensemble, le système est clairement optimisé pour des jeux de données statiques et majoritairement lus.
Précision et flexibilité des requêtes : Le rappel se situe généralement entre 85 et 90 %, sans paramètres de réglage pour l’augmenter. Dès que vous ajoutez des filtres, le rappel peut chuter fortement, parfois sous les 50 %. Dans un benchmark, après la suppression de la moitié du jeu de données, une requête Top-K=20 n’a renvoyé que 15 résultats — un signe clair que le contrôle de la précision est limité.
Fonctionnalités manquantes : S3 Vectors fait également l’impasse sur plusieurs fonctionnalités que les développeurs attendent souvent dans les systèmes de production :
Requêtes Top-K plafonnées à 30 résultats.
Limites strictes de métadonnées par enregistrement.
Pas de recherche hybride, de multi-tenancy, de prise en charge du filtrage avancé, ni de nombreuses autres fonctionnalités prêtes pour l’entreprise.
S3 Vectors est bon marché et constitue une solution solide pour des tâches de récupération simples et à grande échelle, où la fréquence des requêtes est faible et où la latence n’est pas critique. Mais lorsque les charges de travail exigent une recherche en temps réel, une récupération hybride ou des architectures multi-tenant, sa simplicité devient rapidement un goulot d’étranglement.
Zilliz Cloud Tiered Storage : économique, rapide et prêt pour la production
AWS a combiné le stockage objet avec la recherche vectorielle pour réduire les coûts. Zilliz Cloud pousse cette idée plus loin avec son nouveau Tiered Storage, en offrant la même efficacité économique tout en fournissant de véritables performances de production.
Construit sur Milvus open source, Zilliz Cloud est une base de données vectorielle entièrement managée, conçue pour les charges de travail d’IA à grande échelle. Son architecture Tiered Storage stocke toutes les données vectorielles dans un stockage objet (comme AWS S3), tout en utilisant les SSD locaux et la mémoire de chaque cluster comme caches intelligents pour accélérer les requêtes et l’accès aux données. Le résultat : le faible coût de S3 avec la vitesse et la flexibilité d’une base de données vectorielle dédiée.
Sous le capot, Tiered Storage gère trois couches — Hot (mémoire), Warm (SSD) et Cold (stockage objet) :
Les données Hot restent en mémoire pour des temps de réponse instantanés.
Les données Warm résident sur des SSD locaux afin d’équilibrer vitesse et coût.
Les données Cold sont stockées efficacement dans un stockage objet pour une conservation à long terme.
Le système déplace automatiquement les données entre les niveaux en fonction des schémas de requêtes réels, maintenant des taux de réussite du cache supérieurs à 90 % lors des tests en production. En pratique, cela signifie que la plupart des requêtes sont servies directement depuis les couches rapides — combinant l’économie du stockage objet avec la réactivité en mémoire.
Cas d’utilisation pratiques de Zilliz Cloud Tiered Storage
1. Applications RAG/IA multi-locataires à grande échelle
De nombreux systèmes d’IA en production servent des millions de locataires, mais seule une petite fraction — généralement 1 à 5 % — est active à un moment donné. Pensez aux assistants de codage IA, aux applications de chat ou aux copilotes de support client.
Avec Tiered Storage, Zilliz Cloud équilibre automatiquement le stockage en fonction de l’activité :
Environ 95 % des données des locataires inactifs restent dans le stockage objet, maintenant les coûts de stockage proches des niveaux S3 bruts.
Les 5 % actifs résident en mémoire ou sur un SSD, garantissant une récupération à faible latence pendant les sessions en cours.
2. Analyse de données à grande échelle et à faible fréquence
Des domaines comme la conduite autonome, l’entraînement de modèles robotiques et la découverte de médicaments génèrent des ensembles de données à l’échelle du pétaoctet — mais leurs charges de requêtes sont souvent légères, allant de quelques requêtes à quelques centaines par jour. Dans ces cas, un stockage constant en mémoire est excessif.
Tiered Storage de Zilliz Cloud conserve les données froides dans le stockage objet tout en mettant en cache les échantillons fréquemment interrogés dans des niveaux plus rapides. Il réduit les coûts de stockage à une fraction de ceux des systèmes entièrement en mémoire, tout en préservant une latence utilisable, permettant aux équipes de recherche d’explorer d’immenses ensembles de données efficacement et à moindre coût — sans modifier leurs flux de travail d’analyse.
Comment déplacer vos données de S3 Vectors vers Zilliz Cloud
Maintenant que Tiered Storage de Zilliz Cloud vous offre une efficacité économique de niveau S3 sans compromis sur les performances, la question suivante est simple — comment déplacer vos données ?
Prenons un exemple simple. Supposons que vous ayez stocké 200 enregistrements de livres dans la région AWS us-west-2, sous un index vectoriel nommé books. Chaque enregistrement contient :
Un vecteur de contenu à 768 dimensions
Le titre du livre comme clé primaire
Les informations sur l’auteur stockées dans les métadonnées
Prérequis
Docker est installé et en cours d’exécution.
Le nœud exécutant VTS a accès à la fois à S3 Vectors et à Zilliz Cloud.
Votre utilisateur ou rôle IAM inclut l’autorisation
s3vectors:ListVectors.
Validation avant migration
Avant de déployer VTS, vérifiez vos données et votre accès S3 Vectors.
import boto3
import os
aws_access_key_id = os.getenv("AWS_ACCESS_KEY_ID")
aws_secret_access_key = os.getenv("AWS_SECRET_ACCESS_KEY")
s3vectors = boto3.client("s3vectors", region_name="us-west-2", aws_access_key_id=aws_access_key_id, aws_secret_access_key=aws_secret_access_key)
resp = s3vectors.list_vectors(vectorBucketName="vectors", indexName="books", returnMetadata=True, returnData=True)
for vector in resp["vectors"]:
print(vector)
Vous devriez voir 200 enregistrements renvoyés.
{'key': 'First foot situation land bad.', 'data': {'float32': [0.7183347940444946……]}, 'metadata': {'author': 'Wendy Jones'}}
{'key': 'Face industry bit true.', 'data': {'float32': [0.9061349630355835……]}, 'metadata': {'author': 'Steven Smith'}}
{'key': 'Republican agreement probably home choose see.', 'data': {'float32': [0.26946496963500977……]}, 'metadata': {'author': 'Misty Lynch'}}
{'key': 'Before arrive design soon finally discuss.', 'data': {'float32': [0.35728317499160767……]}, 'metadata': {'author': 'Mark Johnson'}}
…………
Démarrer la migration
1.Extrayez la dernière image VTS (version 1.2.0 ou supérieure) :
docker pull zilliz/vector-transport-service:v1.2.0
2.Créez un fichier de configuration :
vim ./s3-vector_to_milvus.conf
3.Ajoutez le contenu suivant (modifiez-le si nécessaire) :
env {
execution.parallelism = 1
job.mode = "BATCH"
}
source {
S3Vector {
region = "us-west-2"
vector_bucket_name = "vector-bucket" # Name of your vector bucket
index_name = "books" # Name of your vector index
ak = "ak" # aws_access_key_id
sk = "sk" # aws_secret_access_key
}
}
sink {
Milvus {
url="https://in01-***.<region>.zilliz.com.cn:19530"
token="***"
database="default" # Target database
batch_size=1 # Number of records per batch (larger batches are faster but use more memory)
}
}
Enregistrez le fichier.
4.Exécutez le conteneur VTS et montez votre fichier de configuration :
docker run -v ./s3-vector_to_milvus.conf:/config/s3-vector_to_milvus.conf -it zilliz/vector-transport-service:v1.2.0 /bin/bash
5.Démarrez le processus VTS à l’intérieur du conteneur :
./bin/seatunnel.sh --config /config/s3-vector_to_milvus.conf -m local
Attendez que le processus se termine. Une fois terminé, vos données auront été transférées avec succès vers Zilliz Cloud.
Vérification après migration
Une fois la migration terminée, vérifiez vos données dans la console Zilliz Cloud.
VTS détecte automatiquement les champs de métadonnées et crée des colonnes pour chaque attribut. Le champ key est utilisé comme clé primaire.
Créez un index vectoriel sur le champ vectoriel.
Effectuez Load Collection pour prévisualiser les données.
Vous devriez constater que le nombre d’enregistrements et leur contenu correspondent exactement à ceux de S3 Vectors, confirmant ainsi une migration réussie.
Conclusion
S3 Vectors maintient les coûts bas en stockant les embeddings dans du stockage objet — mais il est limité en matière de performances, de rappel et de fonctionnalités d’entreprise. Zilliz Cloud pousse cette même idée plus loin, en conservant l’avantage en termes de coût tout en ajoutant la vitesse, la flexibilité et la fiabilité dont les applications d’IA réelles ont besoin.
Pour les développeurs, cela signifie que vous n’avez plus à choisir entre accessibilité financière et performance. Vous pouvez évoluer jusqu’à des milliards de vecteurs, servir des charges de travail actives depuis des niveaux rapides, tout en conservant les données froides de manière rentable dans du stockage objet — le tout dans une seule plateforme managée.
Si vous utilisez actuellement S3 Vectors, la migration ne prend que quelques étapes, et vous constaterez immédiatement les avantages en matière de vitesse de requête et de simplicité opérationnelle. Essayez-le, comparez-le avec vos propres données et découvrez comment Zilliz Cloud change ce qui est possible avec la recherche vectorielle à grande échelle.
Découvrez Zilliz Cloud par vous-même
Vous ne savez toujours pas si Zilliz Cloud est la solution qu’il vous faut ? Inscrivez-vous gratuitement et bénéficiez de 100 $ de crédits pour découvrir par vous-même la première base de données vectorielle managée au monde.
Vous utilisez déjà une autre base de données vectorielle ? Zilliz Cloud prend en charge la migration fluide depuis Pinecone, Qdrant, Elasticsearch, PostgreSQL, OpenSearch, Weaviate, et même Milvus sur site — afin que vous puissiez déplacer vos données sans le moindre tracas.
Si vous avez d’autres questions à l’avenir sur la migration, consultez notre documentation ou contactez-nous—nous sommes là pour vous aider à tirer le meilleur parti de Zilliz Cloud.
Continuer à lire
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
Bringing AI to Legal Tech: The Role of Vector Databases in Enhancing LLM Guardrails
Discover how vector databases enhance AI reliability in legal tech, ensuring accurate, compliant, and trustworthy AI-powered legal solutions.
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
Explore DeepSeek-VL2, the open-source MoE vision-language model. Discover its architecture, efficient training pipeline, and top-tier performance.