Migration von S3 Vectors zu Zilliz Cloud: Die Leistungsfähigkeit von Tiered Storage erschließen
Unstrukturierte Daten machen inzwischen fast 90 % aller neu erzeugten Daten aus. Der ChatGPT-Boom hat diese Verschiebung noch deutlicher gemacht. Die Vektorsuche ist seitdem zum Standardweg geworden, um unstrukturierte Daten zu verstehen — und treibt GenAI-Systeme wie RAG-Pipelines, KI-Agenten, Empfehlungssysteme und Chatbots an.
Aber Vektorsuche ist nicht billig. Sie kann 10–100× mehr Rechenleistung erfordern als ein NoSQL-Workload, insbesondere bei nicht optimierten Indizes, und ist in manchen Fällen sogar teurer als ein LLM-Aufruf. Wenn jede Abfrage auf Hochleistungsspeicher und Arbeitsspeicher zugreift, können die Kosten schneller skalieren als die Performance.
AWS hat S3 Vectors eingeführt, um dieses Problem anzugehen, indem Vektorsuche mit der Kosteneffizienz von Objektspeicher kombiniert wird. Das ist eine clevere Idee, aber nicht ohne Kompromisse: höhere Latenz, geringere Recall-Rate und begrenzte Flexibilität für groß angelegte Systeme. Zilliz Cloud’s Tiered Storage verfolgt einen ausgewogeneren Ansatz. Es speichert Ihren vollständigen Datensatz im Objektspeicher und nutzt gleichzeitig die lokalen SSDs und den Arbeitsspeicher jedes Clusters als intelligente Caches, um Abfragen und Datenzugriffe zu beschleunigen.
In diesem Beitrag erläutern wir, wo S3 Vectors glänzt und wo es an seine Grenzen stößt, und zeigen anschließend, wie Zilliz Cloud’s Tiered Storage diese Einschränkungen löst. Außerdem finden Sie ein kurzes Tutorial zur Migration Ihrer Daten von S3 Vectors zu Zilliz Cloud in nur wenigen Schritten.
S3 Vectors: Günstig, aber mit klaren Grenzen
Beginnen wir mit dem, was funktioniert. S3 Vectors ist günstig. Speicher kostet nur $0.06 pro GB, etwa fünfmal günstiger als die meisten serverlosen Vektordatenbanken. Bei einem Beispiel-Workload mit 400 Millionen Vektoren und 10 Millionen Abfragen pro Monat beläuft sich die Gesamtrechnung auf rund $1,200 pro Monat — ein enormer Rückgang gegenüber den fünfstelligen Rechnungen, die man anderswo typischerweise sehen würde. Für Workloads mit geringem Traffic oder hoher Latenztoleranz ist diese Rechnung schwer zu bestreiten.
Performance hat Grenzen: Die Kompromisse werden sichtbar, sobald Sie auf Skalierung oder Reaktionsfähigkeit drängen:
Sammlungsgröße: Jede S3-Tabelle enthält bis zu 50 Millionen Vektoren, und es gibt eine globale Obergrenze von 10,000 Tabellen.
Abfragelatenz: Rechnen Sie mit etwa 500 ms für eine Sammlung mit 1M Vektoren und 700 ms für 10M — akzeptabel für Hintergrundjobs, nicht für Echtzeit-Apps.
Durchsatz: Sie erhalten unter 200 ms Latenz bis zu 200 QPS, aber darüber hinaus zu skalieren ist nicht einfach.
Schreibgeschwindigkeit: Begrenzt auf unter 2 MB/s, deutlich langsamer als Engines wie Milvus, die Schreibvorgänge im GB/s-Bereich aufrechterhalten. Der Vorteil ist, dass Schreibvorgänge Lesevorgänge nicht blockieren — insgesamt ist es jedoch eindeutig für leseintensive, statische Datensätze optimiert.
Genauigkeit und Abfrageflexibilität: Die Recall-Rate liegt typischerweise zwischen 85–90 %, ohne Stellschrauben, um sie weiter zu erhöhen. Sobald Sie Filter hinzufügen, kann die Recall-Rate stark abfallen, manchmal unter 50 %. In einem Benchmark gab eine Top-K=20-Abfrage nach dem Löschen der Hälfte des Datensatzes nur 15 Ergebnisse zurück — ein klares Zeichen dafür, dass die Präzisionskontrolle begrenzt ist.
Fehlende Funktionen: S3 Vectors lässt außerdem mehrere Funktionen aus, die Entwickler in Produktionssystemen häufig erwarten:
Top-K-Abfragen sind auf 30 Ergebnisse begrenzt.
Strenge Metadatenlimits pro Datensatz.
Keine hybride Suche, Multi-Tenancy, Unterstützung für erweiterte Filter und viele weitere Enterprise-taugliche Funktionen.
S3 Vectors ist günstig und eignet sich gut für einfache, groß angelegte Retrieval-Aufgaben, bei denen die Abfragehäufigkeit gering ist und Latenz nicht kritisch ist. Wenn Workloads jedoch Echtzeitsuche, hybrides Retrieval oder mandantenfähige Architekturen erfordern, wird seine Einfachheit schnell zum Engpass.
Zilliz Cloud Tiered Storage: Kosteneffizient, schnell und produktionsreif
AWS hat Objektspeicher mit Vektorsuche kombiniert, um Kosten zu senken. Zilliz Cloud führt diese Idee mit seinem neuen Tiered Storage weiter und erreicht dieselbe Kosteneffizienz, während es echte Produktions-Performance liefert.
Basierend auf dem Open-Source-Projekt Milvus ist Zilliz Cloud eine vollständig verwaltete Vektordatenbank, die für KI-Workloads im großen Maßstab entwickelt wurde. Ihre Tiered-Storage-Architektur speichert alle Vektordaten in Objektspeicher (wie AWS S3), während die lokalen SSDs und der Arbeitsspeicher jedes Clusters als intelligente Caches genutzt werden, um Abfragen und Datenzugriff zu beschleunigen. Das Ergebnis: die niedrigen Kosten von S3 mit der Geschwindigkeit und Flexibilität einer dedizierten Vektordatenbank.
Unter der Haube verwaltet Tiered Storage drei Ebenen — Hot (Arbeitsspeicher), Warm (SSD) und Cold (Objektspeicher):
Hot data bleibt für sofortige Antwortzeiten im Arbeitsspeicher.
Warm data befindet sich auf lokalen SSDs, um Geschwindigkeit und Kosten auszubalancieren.
Cold data wird effizient in Objektspeicher für die langfristige Aufbewahrung gespeichert.
Das System verschiebt Daten automatisch zwischen den Ebenen basierend auf realen Abfragemustern und hält in Produktionstests Cache-Trefferraten von über 90% aufrecht. In der Praxis bedeutet das, dass die meisten Abfragen direkt aus den schnellen Ebenen bedient werden—wodurch die Wirtschaftlichkeit von Objektspeicher mit der Reaktionsfähigkeit im Arbeitsspeicher kombiniert wird.
Praktische Anwendungsfälle für Zilliz Cloud Tiered Storage
1. Großskalige mandantenfähige RAG/KI-Apps
Viele produktive KI-Systeme bedienen Millionen von Mandanten, aber nur ein kleiner Anteil — typischerweise 1–5% — ist zu einem bestimmten Zeitpunkt aktiv. Denken Sie an KI-Coding-Assistenten, Chat-Apps oder Customer-Support-Copiloten.
Mit Tiered Storage gleicht Zilliz Cloud den Speicher automatisch auf Basis der Aktivität aus:
Rund 95% der inaktiven Mandantendaten verbleiben im Objektspeicher, wodurch die Speicherkosten nahe am reinen S3-Niveau bleiben.
Die aktiven 5% befinden sich im Arbeitsspeicher oder auf einer SSD, um während laufender Sitzungen eine Abfrage mit niedriger Latenz sicherzustellen.
2. Großskalige Datenanalyse mit niedriger Abfragefrequenz
Bereiche wie autonomes Fahren, Training von Robotikmodellen und Wirkstoffforschung erzeugen Datensätze im Petabyte-Maßstab — dennoch sind ihre Abfrage-Workloads oft gering und reichen von wenigen bis zu einigen Hundert Abfragen pro Tag. Für diese Fälle ist eine dauerhafte Speicherung im Arbeitsspeicher überdimensioniert.
Zilliz Cloud Tiered Storage hält kalte Daten im Objektspeicher, während häufig abgefragte Stichproben in schnelleren Ebenen zwischengespeichert werden. Es senkt die Speicherkosten auf einen Bruchteil vollständiger In-Memory-Systeme und bewahrt gleichzeitig nutzbare Latenz, sodass Forschungsteams riesige Datensätze effizient und kostengünstig erkunden können — ohne ihre Analyse-Workflows zu ändern.
So verschieben Sie Ihre Daten von S3 Vectors zu Zilliz Cloud
Da Zilliz Cloud Tiered Storage Ihnen nun Kosteneffizienz auf S3-Niveau ohne Leistungskompromisse bietet, ist die nächste Frage einfach — wie verschieben Sie Ihre Daten dorthin?
Nehmen wir ein einfaches Beispiel. Angenommen, Sie haben 200 Buchdatensätze in der AWS-Region us-west-2 unter einem Vektorindex namens books gespeichert. Jeder Datensatz enthält:
Einen 768-dimensionalen Inhaltsvektor
Den Buchtitel als Primärschlüssel
In Metadaten gespeicherte Autoreninformationen
Voraussetzungen
Docker ist installiert und läuft.
Der Node, auf dem VTS ausgeführt wird, hat Zugriff sowohl auf S3 Vectors als auch auf Zilliz Cloud.
Ihr IAM-Benutzer oder Ihre Rolle enthält die Berechtigung
s3vectors:ListVectors.
Validierung vor der Migration
Überprüfen Sie vor der Bereitstellung von VTS Ihre S3 Vectors-Daten und den Zugriff.
import boto3
import os
aws_access_key_id = os.getenv("AWS_ACCESS_KEY_ID")
aws_secret_access_key = os.getenv("AWS_SECRET_ACCESS_KEY")
s3vectors = boto3.client("s3vectors", region_name="us-west-2", aws_access_key_id=aws_access_key_id, aws_secret_access_key=aws_secret_access_key)
resp = s3vectors.list_vectors(vectorBucketName="vectors", indexName="books", returnMetadata=True, returnData=True)
for vector in resp["vectors"]:
print(vector)
Es sollten 200 Datensätze zurückgegeben werden.
{'key': 'First foot situation land bad.', 'data': {'float32': [0.7183347940444946……]}, 'metadata': {'author': 'Wendy Jones'}}
{'key': 'Face industry bit true.', 'data': {'float32': [0.9061349630355835……]}, 'metadata': {'author': 'Steven Smith'}}
{'key': 'Republican agreement probably home choose see.', 'data': {'float32': [0.26946496963500977……]}, 'metadata': {'author': 'Misty Lynch'}}
{'key': 'Before arrive design soon finally discuss.', 'data': {'float32': [0.35728317499160767……]}, 'metadata': {'author': 'Mark Johnson'}}
…………
Migration starten
1.Ziehen Sie das neueste VTS-Image (Version 1.2.0 oder höher):
docker pull zilliz/vector-transport-service:v1.2.0
2.Erstellen Sie eine Konfigurationsdatei:
vim ./s3-vector_to_milvus.conf
3.Fügen Sie den folgenden Inhalt hinzu (bei Bedarf anpassen):
env {
execution.parallelism = 1
job.mode = "BATCH"
}
source {
S3Vector {
region = "us-west-2"
vector_bucket_name = "vector-bucket" # Name of your vector bucket
index_name = "books" # Name of your vector index
ak = "ak" # aws_access_key_id
sk = "sk" # aws_secret_access_key
}
}
sink {
Milvus {
url="https://in01-***.<region>.zilliz.com.cn:19530"
token="***"
database="default" # Target database
batch_size=1 # Number of records per batch (larger batches are faster but use more memory)
}
}
Speichern Sie die Datei.
4.Führen Sie den VTS-Container aus und mounten Sie Ihre Konfigurationsdatei:
docker run -v ./s3-vector_to_milvus.conf:/config/s3-vector_to_milvus.conf -it zilliz/vector-transport-service:v1.2.0 /bin/bash
5.Starten Sie den VTS-Prozess im Container:
./bin/seatunnel.sh --config /config/s3-vector_to_milvus.conf -m local
Warten Sie, bis der Prozess abgeschlossen ist. Sobald er abgeschlossen ist, wurden Ihre Daten erfolgreich in Zilliz Cloud übertragen.
Verifizierung nach der Migration
Überprüfen Sie nach Abschluss der Migration Ihre Daten in der Zilliz Cloud Console.
VTS erkennt Metadatenfelder automatisch und erstellt Spalten für jedes Attribut. Das Feld key wird als Primärschlüssel verwendet.
Erstellen Sie einen Vektorindex für das Vektorfeld.
Führen Sie Load Collection aus, um eine Vorschau der Daten anzuzeigen.
Sie sollten sehen, dass die Anzahl der Datensätze und deren Inhalt exakt mit denen aus S3 Vectors übereinstimmen, was eine erfolgreiche Migration bestätigt.
Zusammenfassung
S3 Vectors hält die Kosten niedrig, indem Embeddings in Objektspeicher gespeichert werden — aber es bleibt bei Leistung, Recall und Enterprise-Funktionen zurück. Zilliz Cloud führt dieselbe Idee weiter und erhält den Kostenvorteil, während es die Geschwindigkeit, Flexibilität und Zuverlässigkeit hinzufügt, die echte KI-Anwendungen benötigen.
Für Entwickler bedeutet das, dass Sie sich nicht mehr zwischen Erschwinglichkeit und Leistung entscheiden müssen. Sie können auf Milliarden von Vektoren skalieren, aktive Workloads aus schnellen Tiers bereitstellen und kalte Daten dennoch kosteneffizient in Objektspeicher halten — alles in einer einzigen verwalteten Plattform.
Wenn Sie derzeit S3 Vectors verwenden, erfordert die Migration nur wenige Schritte, und Sie werden sofort die Vorteile bei Abfragegeschwindigkeit und operativer Einfachheit sehen. Probieren Sie es aus, benchmarken Sie es mit Ihren eigenen Daten und sehen Sie, wie Zilliz Cloud die Möglichkeiten der Vektorsuche im großen Maßstab verändert.
Zilliz Cloud selbst erleben
Immer noch nicht sicher, ob Zilliz Cloud das Richtige für Sie ist? Melden Sie sich kostenlos an und erhalten Sie 100 $ Guthaben, um die weltweit führende verwaltete Vektordatenbank aus erster Hand zu erkunden.
Nutzen Sie bereits eine andere Vektordatenbank? Zilliz Cloud unterstützt die nahtlose Migration von Pinecone, Qdrant, Elasticsearch, PostgreSQL, OpenSearch, Weaviate und sogar On-Prem-Milvus — damit Sie Ihre Daten völlig unkompliziert übertragen können.
Wenn Sie künftig Fragen zur Migration haben, lesen Sie unsere Dokumentation oder kontaktieren Sie uns—wir helfen Ihnen gerne dabei, das Beste aus Zilliz Cloud herauszuholen.
Weiterlesen
Introducing Zilliz Cloud Global Cluster: Region-Level Resilience for Mission-Critical AI
Zilliz Cloud Global Cluster delivers multi-region resilience, automatic failover, and fast global AI search with built-in security and compliance.
Milvus/Zilliz + Surveillance: How Vector Databases Transform Multi-Camera Tracking
See how Milvus vector database enhances multi-camera tracking with similarity-based matching for better surveillance in retail, warehouses and transport hubs.
Why Deepseek is Waking up AI Giants Like OpenAI And Why You Should Care
Discover how DeepSeek R1's open-source AI model with superior reasoning capabilities and lower costs is disrupting the AI landscape and challenging tech giants like OpenAI.