Migración de S3 Vectors a Zilliz Cloud: desbloqueando el poder del almacenamiento por niveles
Los datos no estructurados ahora representan casi el 90% de todos los datos nuevos generados. El auge de ChatGPT hizo que este cambio fuera aún más claro. Desde entonces, la búsqueda vectorial se ha convertido en la forma predeterminada de dar sentido a los datos no estructurados, impulsando sistemas GenAI como pipelines RAG, agentes de IA, motores de recomendación y chatbots.
Pero la búsqueda vectorial no es barata. Puede requerir entre 10 y 100 veces más cómputo que una carga de trabajo NoSQL, especialmente con índices no optimizados, y en algunos casos, es incluso más costosa que una llamada a un LLM. Cuando cada consulta accede a almacenamiento y memoria de alto rendimiento, los costos pueden escalar más rápido que el rendimiento.
AWS presentó S3 Vectors para abordar esto, combinando la búsqueda vectorial con la eficiencia de costos del almacenamiento de objetos. Es una idea inteligente, pero no exenta de compromisos: mayor latencia, menor recall y flexibilidad limitada para sistemas a gran escala. Tiered Storage de Zilliz Cloud toma un camino más equilibrado. Almacena tu conjunto de datos completo en almacenamiento de objetos mientras utiliza los SSD locales y la memoria de cada clúster como cachés inteligentes para acelerar las consultas y el acceso a los datos.
En esta publicación, desglosaremos dónde brillan S3 Vectors y dónde se quedan cortos, luego mostraremos cómo Tiered Storage de Zilliz Cloud resuelve estas limitaciones. También encontrarás un breve tutorial sobre cómo migrar tus datos de S3 Vectors a Zilliz Cloud en solo unos pasos.
S3 Vectors: Barato, pero con límites claros
Empecemos por lo que funciona. S3 Vectors es barato. El almacenamiento cuesta solo $0.06 por GB, aproximadamente cinco veces más barato que la mayoría de las bases de datos vectoriales serverless. En una carga de trabajo de ejemplo de 400 millones de vectores y 10 millones de consultas al mes, la factura total asciende a alrededor de $1,200 al mes, una enorme caída frente a las facturas de cinco cifras que normalmente verías en otros lugares. Para cargas de trabajo de bajo tráfico o tolerantes a la latencia, es difícil discutir esos números.
El rendimiento tiene límites: Los compromisos comienzan a notarse una vez que buscas escala o capacidad de respuesta:
Tamaño de la colección: Cada tabla de S3 admite hasta 50 millones de vectores, y hay un límite global de 10,000 tablas.
Latencia de consulta: Espera alrededor de 500 ms para una colección de 1M de vectores y 700 ms para 10M: aceptable para trabajos en segundo plano, no para aplicaciones en tiempo real.
Throughput: Obtendrás una latencia inferior a 200 ms hasta 200 QPS, pero escalar más allá de eso no es fácil.
Velocidad de escritura: Limitada a menos de 2 MB/s, mucho más lenta que motores como Milvus, que sostienen escrituras a nivel de GB/s. La ventaja es que las escrituras no bloquean las lecturas, pero en general, está claramente optimizado para conjuntos de datos estáticos y con mucha lectura.
Precisión y flexibilidad de consulta: El recall suele situarse entre el 85 y el 90%, sin controles de ajuste para aumentarlo. Una vez que agregas filtros, el recall puede caer bruscamente, a veces por debajo del 50%. En un benchmark, después de eliminar la mitad del conjunto de datos, una consulta Top-K=20 solo devolvió 15 resultados, una señal clara de que el control de precisión es limitado.
Funciones faltantes: S3 Vectors también omite varias funciones que los desarrolladores suelen esperar en sistemas de producción:
Consultas Top-K limitadas a 30 resultados.
Límites estrictos de metadatos por registro.
Sin búsqueda híbrida, multi-tenancy, soporte de filtrado avanzado y muchas otras funciones listas para empresas.
S3 Vectors es barato y encaja bien en tareas de recuperación simples y a gran escala donde la frecuencia de consulta es baja y la latencia no es crítica. Pero cuando las cargas de trabajo exigen búsqueda en tiempo real, recuperación híbrida o arquitecturas multi-tenant, su simplicidad se convierte rápidamente en un cuello de botella.
Zilliz Cloud Tiered Storage: rentable, rápido y listo para producción
AWS combinó el almacenamiento de objetos con la búsqueda vectorial para reducir costos. Zilliz Cloud lleva esa idea más lejos con su nuevo Tiered Storage, igualando la misma eficiencia de costos mientras ofrece rendimiento real de producción.
Basado en Milvus de código abierto, Zilliz Cloud es una base de datos vectorial totalmente gestionada, diseñada para cargas de trabajo de IA a gran escala. Su arquitectura de almacenamiento por niveles almacena todos los datos vectoriales en almacenamiento de objetos (como AWS S3), mientras utiliza los SSD locales y la memoria de cada clúster como cachés inteligentes para acelerar las consultas y el acceso a los datos. El resultado: el bajo coste de S3 con la velocidad y flexibilidad de una base de datos vectorial dedicada.
En segundo plano, el almacenamiento por niveles gestiona tres capas: caliente (memoria), templada (SSD) y fría (almacenamiento de objetos):
Los datos calientes permanecen en memoria para tiempos de respuesta instantáneos.
Los datos templados residen en SSD locales para equilibrar velocidad y coste.
Los datos fríos se almacenan de forma eficiente en almacenamiento de objetos para la retención a largo plazo.
El sistema mueve automáticamente los datos entre niveles según patrones de consulta reales, manteniendo tasas de acierto de caché superiores al 90% en pruebas de producción. En la práctica, eso significa que la mayoría de las consultas se atienden directamente desde las capas rápidas, combinando la economía del almacenamiento de objetos con la capacidad de respuesta en memoria.
Casos de uso prácticos para el almacenamiento por niveles de Zilliz Cloud
1. Aplicaciones RAG/IA multiinquilino a gran escala
Muchos sistemas de IA en producción atienden a millones de inquilinos, pero solo una pequeña fracción —normalmente entre el 1% y el 5%— está activa en un momento dado. Piensa en asistentes de programación con IA, aplicaciones de chat o copilotos de atención al cliente.
Con el almacenamiento por niveles, Zilliz Cloud equilibra automáticamente el almacenamiento en función de la actividad:
Alrededor del 95% de los datos de inquilinos inactivos permanece en almacenamiento de objetos, manteniendo los costes de almacenamiento cerca de los niveles brutos de S3.
El 5% activo vive en memoria o en un SSD, lo que garantiza una recuperación de baja latencia durante las sesiones en curso.
2. Análisis de datos a gran escala y baja frecuencia
Dominios como la conducción autónoma, el entrenamiento de modelos de robótica y el descubrimiento de fármacos generan conjuntos de datos a escala de petabytes; sin embargo, sus cargas de trabajo de consulta suelen ser ligeras, desde unas pocas hasta unos pocos cientos de consultas al día. Para estos casos, el almacenamiento constante en memoria es excesivo.
El almacenamiento por niveles de Zilliz Cloud mantiene los datos fríos en almacenamiento de objetos mientras almacena en caché las muestras consultadas con frecuencia en niveles más rápidos. Reduce los costes de almacenamiento a una fracción de los sistemas completamente en memoria, al tiempo que conserva una latencia utilizable, lo que permite a los equipos de investigación explorar conjuntos de datos masivos de forma eficiente y asequible, sin cambiar sus flujos de trabajo de análisis.
Cómo mover tus datos de S3 Vectors a Zilliz Cloud
Ahora que el almacenamiento por niveles de Zilliz Cloud te ofrece eficiencia de costes al nivel de S3 sin sacrificar rendimiento, la siguiente pregunta es sencilla: ¿cómo trasladas tus datos?
Usemos un ejemplo sencillo. Supón que has almacenado 200 registros de libros en la región de AWS us-west-2, bajo un índice vectorial llamado books. Cada registro contiene:
Un vector de contenido de 768 dimensiones
El título del libro como clave primaria
Información del autor almacenada en metadatos
Requisitos previos
Docker está instalado y en ejecución.
El nodo que ejecuta VTS tiene acceso tanto a S3 Vectors como a Zilliz Cloud.
Tu usuario o rol de IAM incluye el permiso
s3vectors:ListVectors.
Validación previa a la migración
Antes de desplegar VTS, verifica tus datos y acceso de S3 Vectors.
import boto3
import os
aws_access_key_id = os.getenv("AWS_ACCESS_KEY_ID")
aws_secret_access_key = os.getenv("AWS_SECRET_ACCESS_KEY")
s3vectors = boto3.client("s3vectors", region_name="us-west-2", aws_access_key_id=aws_access_key_id, aws_secret_access_key=aws_secret_access_key)
resp = s3vectors.list_vectors(vectorBucketName="vectors", indexName="books", returnMetadata=True, returnData=True)
for vector in resp["vectors"]:
print(vector)
Deberías ver 200 registros devueltos.
{'key': 'First foot situation land bad.', 'data': {'float32': [0.7183347940444946……]}, 'metadata': {'author': 'Wendy Jones'}}
{'key': 'Face industry bit true.', 'data': {'float32': [0.9061349630355835……]}, 'metadata': {'author': 'Steven Smith'}}
{'key': 'Republican agreement probably home choose see.', 'data': {'float32': [0.26946496963500977……]}, 'metadata': {'author': 'Misty Lynch'}}
{'key': 'Before arrive design soon finally discuss.', 'data': {'float32': [0.35728317499160767……]}, 'metadata': {'author': 'Mark Johnson'}}
…………
Iniciar la migración
1.Extrae la imagen más reciente de VTS (versión 1.2.0 o superior):
docker pull zilliz/vector-transport-service:v1.2.0
2.Crea un archivo de configuración:
vim ./s3-vector_to_milvus.conf
3.Añade el siguiente contenido (modifícalo según sea necesario):
env {
execution.parallelism = 1
job.mode = "BATCH"
}
source {
S3Vector {
region = "us-west-2"
vector_bucket_name = "vector-bucket" # Name of your vector bucket
index_name = "books" # Name of your vector index
ak = "ak" # aws_access_key_id
sk = "sk" # aws_secret_access_key
}
}
sink {
Milvus {
url="https://in01-***.<region>.zilliz.com.cn:19530"
token="***"
database="default" # Target database
batch_size=1 # Number of records per batch (larger batches are faster but use more memory)
}
}
Guarda el archivo.
4.Ejecuta el contenedor de VTS y monta tu archivo de configuración:
docker run -v ./s3-vector_to_milvus.conf:/config/s3-vector_to_milvus.conf -it zilliz/vector-transport-service:v1.2.0 /bin/bash
5.Inicia el proceso de VTS dentro del contenedor:
./bin/seatunnel.sh --config /config/s3-vector_to_milvus.conf -m local
Espera a que el proceso se complete. Una vez finalizado, tus datos se habrán transferido correctamente a Zilliz Cloud.
Verificación posterior a la migración
Después de que se complete la migración, verifica tus datos en la Consola de Zilliz Cloud.
VTS detecta automáticamente los campos de metadatos y crea columnas para cada atributo. El campo key se utiliza como clave primaria.
Crea un índice vectorial en el campo vectorial.
Realiza Load Collection para previsualizar los datos.
Deberías ver que el número de registros y su contenido coinciden exactamente con los de S3 Vectors, lo que confirma una migración exitosa.
Conclusión
S3 Vectors mantiene los costos bajos al almacenar embeddings en almacenamiento de objetos, pero se queda corto en rendimiento, recall y funciones empresariales. Zilliz Cloud lleva esa misma idea más lejos, manteniendo la ventaja de costos mientras añade la velocidad, flexibilidad y fiabilidad que las aplicaciones de IA reales necesitan.
Para los desarrolladores, esto significa que ya no tienes que elegir entre asequibilidad y rendimiento. Puedes escalar a miles de millones de vectores, atender cargas de trabajo activas desde niveles rápidos y, aun así, mantener los datos fríos de forma rentable en almacenamiento de objetos, todo en una sola plataforma gestionada.
Si actualmente usas S3 Vectors, la migración requiere solo unos pocos pasos, y verás de inmediato los beneficios en velocidad de consulta y simplicidad operativa. Pruébalo, haz benchmarks con tus propios datos y descubre cómo Zilliz Cloud cambia lo que es posible con la búsqueda vectorial a gran escala.
Experimenta Zilliz Cloud por ti mismo
¿Aún no estás seguro de si Zilliz Cloud es la opción adecuada? Regístrate gratis y obtén $100 en créditos para explorar de primera mano la base de datos vectorial gestionada líder del mundo.
¿Ya usas otra base de datos vectorial? Zilliz Cloud admite la migración sin inconvenientes desde Pinecone, Qdrant, Elasticsearch, PostgreSQL, OpenSearch, Weaviate e incluso Milvus on-prem — para que puedas trasladar tus datos sin complicaciones.
Si tienes preguntas futuras sobre la migración, consulta nuestra documentación o contáctanos—estamos aquí para ayudarte a sacar el máximo provecho de Zilliz Cloud.
Sigue leyendo
Introducing Zilliz Cloud Global Cluster: Region-Level Resilience for Mission-Critical AI
Zilliz Cloud Global Cluster delivers multi-region resilience, automatic failover, and fast global AI search with built-in security and compliance.
Why I’m Against Claude Code’s Grep-Only Retrieval? It Just Burns Too Many Tokens
Learn how vector-based code retrieval cuts Claude Code token consumption by 40%. Open-source solution with easy MCP integration. Try claude-context today.
DeepSeek Always Busy? Deploy It Locally with Milvus in Just 10 Minutes—No More Waiting!
Learn how to set up DeepSeek-R1 on your local machine using Ollama, AnythingLLM, and Milvus in just 10 minutes. Bypass busy servers and enhance AI responses with custom data.