Migrando do S3 Vectors para o Zilliz Cloud: Desbloqueando o poder do armazenamento em camadas
Dados não estruturados agora representam quase 90% de todos os novos dados gerados. O boom do ChatGPT tornou essa mudança ainda mais clara. Desde então, a busca vetorial se tornou a forma padrão de dar sentido a dados não estruturados — impulsionando sistemas de GenAI como pipelines RAG, agentes de IA, mecanismos de recomendação e chatbots.
Mas a busca vetorial não é barata. Ela pode exigir 10–100× mais computação do que uma carga de trabalho NoSQL, especialmente com índices não otimizados, e, em alguns casos, é ainda mais cara do que uma chamada a um LLM. Quando cada consulta atinge armazenamento e memória de alto desempenho, os custos podem escalar mais rápido do que a performance.
A AWS lançou o S3 Vectors para lidar com isso, combinando busca vetorial com a eficiência de custos do armazenamento de objetos. É uma ideia inteligente, mas não sem trade-offs: maior latência, menor recall e flexibilidade limitada para sistemas em larga escala. O Tiered Storage da Zilliz Cloud segue um caminho mais equilibrado. Ele armazena seu conjunto de dados completo em armazenamento de objetos enquanto usa os SSDs locais e a memória de cada cluster como caches inteligentes para acelerar consultas e o acesso aos dados.
Neste post, vamos detalhar onde o S3 Vectors se destaca e onde ele deixa a desejar, depois mostrar como o Tiered Storage da Zilliz Cloud resolve essas limitações. Você também encontrará um breve tutorial sobre como migrar seus dados do S3 Vectors para a Zilliz Cloud em apenas alguns passos.
S3 Vectors: Barato, mas com limites claros
Vamos começar pelo que funciona. O S3 Vectors é barato. O armazenamento custa apenas $0.06 por GB, cerca de cinco vezes mais barato do que a maioria dos bancos de dados vetoriais serverless. Em uma carga de trabalho de exemplo com 400 milhões de vetores e 10 milhões de consultas por mês, a conta total fica em torno de $1,200 por mês — uma grande queda em relação às contas de cinco dígitos que você normalmente veria em outros lugares. Para cargas de trabalho de baixo tráfego ou tolerantes à latência, é difícil contestar essa matemática.
A performance tem limites: Os trade-offs começam a aparecer quando você busca escala ou responsividade:
Tamanho da coleção: Cada tabela S3 comporta até 50 milhões de vetores, e há um limite global de 10.000 tabelas.
Latência de consulta: Espere cerca de 500 ms para uma coleção de 1M de vetores e 700 ms para 10M — aceitável para tarefas em segundo plano, não para aplicações em tempo real.
Throughput: Você terá latência abaixo de 200 ms até 200 QPS, mas escalar além disso não é fácil.
Velocidade de escrita: Limitada a menos de 2 MB/s, muito mais lenta do que mecanismos como Milvus, que sustentam escritas em nível de GB/s. O lado positivo é que as escritas não bloqueiam as leituras — mas, no geral, ele é claramente otimizado para conjuntos de dados estáticos e com predominância de leitura.
Precisão e flexibilidade de consulta: O recall normalmente fica entre 85–90%, sem opções de ajuste para aumentá-lo. Quando você adiciona filtros, o recall pode cair drasticamente, às vezes abaixo de 50%. Em um benchmark, depois de excluir metade do conjunto de dados, uma consulta Top-K=20 retornou apenas 15 resultados — um sinal claro de que o controle de precisão é limitado.
Recursos ausentes: O S3 Vectors também deixa de fora vários recursos que desenvolvedores costumam esperar em sistemas de produção:
Consultas Top-K limitadas a 30 resultados.
Limites rígidos de metadados por registro.
Sem busca híbrida, multi-tenancy, suporte a filtragem avançada e muitos outros recursos prontos para empresas.
O S3 Vectors é barato e se encaixa bem em tarefas simples de recuperação em larga escala, onde a frequência de consulta é baixa e a latência não é crítica. Mas quando as cargas de trabalho exigem busca em tempo real, recuperação híbrida ou arquiteturas multi-tenant, sua simplicidade rapidamente se torna um gargalo.
Tiered Storage da Zilliz Cloud: econômico, rápido e pronto para produção
A AWS combinou armazenamento de objetos com busca vetorial para reduzir custos. A Zilliz Cloud leva essa ideia adiante com seu novo Tiered Storage, alcançando a mesma eficiência de custos enquanto entrega performance real de produção.
Construído sobre o Milvus open-source, o Zilliz Cloud é um banco de dados vetorial totalmente gerenciado, projetado para cargas de trabalho de IA em larga escala. Sua arquitetura de Tiered Storage armazena todos os dados vetoriais em armazenamento de objetos (como AWS S3), enquanto usa os SSDs locais e a memória de cada cluster como caches inteligentes para acelerar consultas e acesso a dados. O resultado: o baixo custo do S3 com a velocidade e a flexibilidade de um banco de dados vetorial dedicado.
Por baixo dos panos, o Tiered Storage gerencia três camadas — Hot (memória), Warm (SSD) e Cold (armazenamento de objetos):
Dados Hot permanecem na memória para tempos de resposta instantâneos.
Dados Warm residem em SSDs locais para equilibrar velocidade e custo.
Dados Cold são armazenados de forma eficiente em armazenamento de objetos para retenção de longo prazo.
O sistema move automaticamente os dados entre as camadas com base em padrões reais de consulta, mantendo taxas de acerto de cache acima de 90% em testes de produção. Na prática, isso significa que a maioria das consultas é atendida diretamente pelas camadas rápidas—combinando a economia do armazenamento de objetos com a responsividade em memória.
Casos de Uso Práticos para o Tiered Storage do Zilliz Cloud
1. Aplicativos RAG/IA Multi-Tenant em Larga Escala
Muitos sistemas de IA em produção atendem milhões de tenants, mas apenas uma pequena fração — normalmente 1–5% — está ativa em um dado momento. Pense em assistentes de programação com IA, aplicativos de chat ou copilotos de suporte ao cliente.
Com o Tiered Storage, o Zilliz Cloud equilibra automaticamente o armazenamento com base na atividade:
Cerca de 95% dos dados de tenants inativos permanecem em armazenamento de objetos, mantendo os custos de armazenamento próximos aos níveis brutos do S3.
Os 5% ativos ficam na memória ou em um SSD, garantindo recuperação de baixa latência durante sessões em andamento.
2. Análise de Dados em Larga Escala e Baixa Frequência
Domínios como direção autônoma, treinamento de modelos de robótica e descoberta de medicamentos geram conjuntos de dados em escala de petabytes — ainda assim, suas cargas de trabalho de consulta costumam ser leves, variando de algumas a algumas centenas de consultas por dia. Para esses casos, o armazenamento constante em memória é excessivo.
O Tiered Storage do Zilliz Cloud mantém dados frios em armazenamento de objetos enquanto armazena em cache amostras consultadas com frequência em camadas mais rápidas. Ele reduz os custos de armazenamento para uma fração dos sistemas totalmente em memória, preservando uma latência utilizável, permitindo que equipes de pesquisa explorem conjuntos de dados massivos de forma eficiente e econômica — sem alterar seus fluxos de trabalho de análise.
Como Mover Seus Dados de S3 Vectors para o Zilliz Cloud
Agora que o Tiered Storage do Zilliz Cloud oferece eficiência de custo no nível do S3 sem comprometer o desempenho, a próxima pergunta é simples — como você move seus dados para lá?
Vamos usar um exemplo simples. Suponha que você tenha armazenado 200 registros de livros na região da AWS us-west-2, sob um índice vetorial chamado books. Cada registro contém:
Um vetor de conteúdo de 768 dimensões
O título do livro como chave primária
Informações do autor armazenadas em metadados
Pré-requisitos
O Docker está instalado e em execução.
O nó que executa o VTS tem acesso tanto ao S3 Vectors quanto ao Zilliz Cloud.
Seu usuário ou função IAM inclui a permissão
s3vectors:ListVectors.
Validação Pré-Migração
Antes de implantar o VTS, verifique seus dados e acesso do S3 Vectors.
import boto3
import os
aws_access_key_id = os.getenv("AWS_ACCESS_KEY_ID")
aws_secret_access_key = os.getenv("AWS_SECRET_ACCESS_KEY")
s3vectors = boto3.client("s3vectors", region_name="us-west-2", aws_access_key_id=aws_access_key_id, aws_secret_access_key=aws_secret_access_key)```
resp = s3vectors.list_vectors(vectorBucketName="vectors", indexName="books", returnMetadata=True, returnData=True)
for vector in resp["vectors"]:
print(vector)
Você deve ver 200 registros retornados.
{'key': 'First foot situation land bad.', 'data': {'float32': [0.7183347940444946……]}, 'metadata': {'author': 'Wendy Jones'}}
{'key': 'Face industry bit true.', 'data': {'float32': [0.9061349630355835……]}, 'metadata': {'author': 'Steven Smith'}}
{'key': 'Republican agreement probably home choose see.', 'data': {'float32': [0.26946496963500977……]}, 'metadata': {'author': 'Misty Lynch'}}
{'key': 'Before arrive design soon finally discuss.', 'data': {'float32': [0.35728317499160767……]}, 'metadata': {'author': 'Mark Johnson'}}
…………
Iniciar a migração
1.Baixe a imagem VTS mais recente (versão 1.2.0 ou superior):
docker pull zilliz/vector-transport-service:v1.2.0
2.Crie um arquivo de configuração:
vim ./s3-vector_to_milvus.conf
3.Adicione o seguinte conteúdo (modifique conforme necessário):
env {
execution.parallelism = 1
job.mode = "BATCH"
}
source {
S3Vector {
region = "us-west-2"
vector_bucket_name = "vector-bucket" # Name of your vector bucket
index_name = "books" # Name of your vector index
ak = "ak" # aws_access_key_id
sk = "sk" # aws_secret_access_key
}
}
sink {
Milvus {
url="https://in01-***.<region>.zilliz.com.cn:19530"
token="***"
database="default" # Target database
batch_size=1 # Number of records per batch (larger batches are faster but use more memory)
}
}
Salve o arquivo.
4.Execute o contêiner VTS e monte seu arquivo de configuração:
docker run -v ./s3-vector_to_milvus.conf:/config/s3-vector_to_milvus.conf -it zilliz/vector-transport-service:v1.2.0 /bin/bash
5.Inicie o processo VTS dentro do contêiner:
./bin/seatunnel.sh --config /config/s3-vector_to_milvus.conf -m local
Aguarde a conclusão do processo. Quando terminar, seus dados terão sido transferidos com sucesso para o Zilliz Cloud.
Verificação pós-migração
Após a conclusão da migração, verifique seus dados no Console do Zilliz Cloud.
O VTS detecta automaticamente os campos de metadados e cria colunas para cada atributo. O campo key é usado como chave primária.
Crie um índice vetorial no campo vetorial.
Execute Load Collection para visualizar os dados.
Você deve ver que o número de registros e seu conteúdo correspondem exatamente aos do S3 Vectors, confirmando uma migração bem-sucedida.
Conclusão
O S3 Vectors mantém os custos baixos armazenando embeddings em armazenamento de objetos — mas fica aquém em desempenho, recall e recursos empresariais. O Zilliz Cloud leva essa mesma ideia mais adiante, mantendo a vantagem de custo enquanto adiciona a velocidade, a flexibilidade e a confiabilidade de que aplicações reais de IA precisam.
Para desenvolvedores, isso significa que você não precisa mais escolher entre acessibilidade e desempenho. Você pode escalar para bilhões de vetores, atender cargas de trabalho ativas a partir de camadas rápidas e ainda manter dados frios de forma econômica em armazenamento de objetos — tudo em uma única plataforma gerenciada.
Se você está usando o S3 Vectors atualmente, a migração leva apenas alguns passos, e você verá imediatamente os benefícios em velocidade de consulta e simplicidade operacional. Experimente, faça benchmarks com seus próprios dados e veja como o Zilliz Cloud muda o que é possível com busca vetorial em larga escala.
Experimente o Zilliz Cloud você mesmo
Ainda não tem certeza se o Zilliz Cloud é a escolha certa? Cadastre-se gratuitamente e ganhe US$ 100 em créditos para explorar em primeira mão o banco de dados vetorial gerenciado líder mundial.
Já usa outro banco de dados vetorial? O Zilliz Cloud oferece suporte à migração sem interrupções a partir de Pinecone, Qdrant, Elasticsearch, PostgreSQL, OpenSearch, Weaviate e até mesmo Milvus on-premises — para que você possa mover seus dados sem nenhuma complicação.
Se tiver alguma dúvida futura sobre migração, consulte nossa documentação ou entre em contato conosco—estamos aqui para ajudar você a aproveitar ao máximo o Zilliz Cloud.
Continue lendo
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.
Similarity Metrics for Vector Search
Exploring five similarity metrics for vector search: L2 or Euclidean distance, cosine distance, inner product, and hamming distance.
Legal Document Analysis: Harnessing Zilliz Cloud's Semantic Search and RAG for Legal Insights
Enhance legal document analysis with Zilliz Cloud’s Semantic Search and RAG. Improve accuracy, efficiency, and scalability for contracts, case law, and compliance.