Bis zu 50-fache Kosteneinsparungen beim Erstellen von GenAI-Apps mit Zilliz Cloud Serverless
Einführung
Mit den jüngsten Fortschritten in der Generativen KI wächst der Anwendungsfall für Vektordatenbanken exponentiell. Zum Beispiel nutzt Retrieval Augmented Generation (RAG), eine beliebte Technik zur Verbesserung großer Sprachmodelle (LLM), Vektordatenbanken wie Milvus und Zilliz Cloud (das verwaltete Milvus), um relevante Informationen zu speichern, zu indexieren und abzurufen, damit LLMs genauere Ergebnisse generieren können.
Bei einem kürzlich stattgefundenen Unstructured Data Meetup in San Francisco erläuterte James Luan, VP of Engineering bei Zilliz, wie Entwickler Zilliz Cloud Serverless, ein neues Angebot von Zilliz, in ihren Generative-AI-Anwendungen nutzen können. Kurz gesagt ermöglicht dieser neue Service von Zilliz den Nutzern, riesige Mengen an Vektor-Embeddings zu nur einem Bruchteil der Kosten zu speichern, zu indexieren und abzufragen. Die gute Nachricht ist, dass die Leistung von Zilliz Cloud Serverless im Vergleich zu In-Memory-Vektordatenbanken ebenfalls sehr wettbewerbsfähig ist.
In diesem Artikel fassen wir die wichtigsten Punkte von James zusammen und beleuchten Zilliz Cloud Serverless genauer. Sie können sich auch seinen Vortrag auf YouTube ansehen, um weitere Details zu erfahren.
Warum Vektordatenbanken im Zeitalter der KI wichtig sind
Moderne KI-Anwendungen und -Techniken wie Retrieval Augmented Generation (RAG), Empfehlungssysteme, KI-gestützte Chatbots und semantische Suchmaschinen erfordern ein zuverlässiges System, um riesige Mengen an unstrukturierten Daten effizient zu verarbeiten. Vektordatenbanken sind Speichersysteme, die es uns ermöglichen, diese Daten effektiv zu speichern, zu indexieren und abzurufen.
Vektordatenbanken wie Milvus und Zilliz Cloud sind mit fortschrittlichen Indexierungsmethoden ausgestattet, aus denen Nutzer für eine effiziente und schnelle Datenabfrage wählen können. Viele von ihnen, insbesondere Milvus und Zilliz Cloud, bieten zudem einfache Integrationen mit beliebten KI-Frameworks und -Plattformen wie LangChain, Spark, Snowflake und Hugging Face, was es Entwicklern generativer KI erleichtert, anspruchsvolle KI-Anwendungen zu entwickeln. Mit verschiedenen Ansätzen für die semantische Suche, wie dichter Vektorsuche und hybrider Suche mit dichten und dünn besetzten Vektoren, können Entwickler die relevantesten Ergebnisse für jeden Anwendungsfall erhalten.
Eine aktuelle Umfrage aus dem Jahr 2024 unter 1.000 Generative-AI-Entwicklern in der Milvus-Community identifizierte sieben Aspekte, auf die sie bei einer Vektordatenbank achten, bevor sie deren Einsatz in ihren KI-Anwendungen in Betracht ziehen:
Suchqualität: Wie relevant sind die abgerufenen Ergebnisse für eine bestimmte Abfrage?
Kosteneffizienz: Wie wirtschaftlich ist die Datenbank in Bezug auf Betriebs- und Wartungskosten?
Benutzerfreundlichkeit: Wie benutzerfreundlich und intuitiv ist die Datenbank für Entwickler zu implementieren und zu verwalten?
Leistung: Wie schnell und effizient kann die Datenbank Abfragen verarbeiten und Ergebnisse zurückgeben?
Skalierbarkeit: Wie gut kann die Datenbank mit zunehmenden Datenmengen und Tenants umgehen, ohne die Leistung zu beeinträchtigen?
Hohe Verfügbarkeit: Wie zuverlässig kann die Datenbank die Betriebszeit aufrechterhalten und Datenverlust im Falle von Ausfällen verhindern?
Sicherheit: Wie gut schützt die Datenbank sensible Daten und verhindert unbefugten Zugriff?
Abbildung 1: Wichtige Überlegungen zur Auswahl einer Vektordatenbank, gesammelt von 1000 Gen-AI-Entwicklern
Milvus wird aufgrund seiner Suchqualität sehr hoch bewertet. Es ermöglicht Benutzern, verschiedene Indexierungs- und Vektorsuchmethoden auszuwählen, um Leistung und Recall auszubalancieren und relevante Informationen sowohl in Tiefe als auch im Kontext abzurufen.
Benutzer können zwischen Flat, IVFFlat, HNSW und vielen weiteren Indexierungsmethoden wählen. Jede Indexierungsmethode hat Vor- und Nachteile, und Sie können eine detaillierte Erklärung dieser Methoden in diesem Artikel über die Auswahl eines Vektorindex sehen.
Für Vektorsuchoperationen können dense, sparse oder hybride Suche verwendet werden, um relevante Ergebnisse für eine Abfrage zu erhalten. Wir können während einer Suchoperation auch Skalarfilterung mit dem Ansatz der booleschen Operation verwenden, um das Ergebnis weiter zu verfeinern.
Die Einführung von Zilliz Cloud Serverless verbessert die oben genannten zweit- und drittwichtigsten erwünschten Aspekte einer Vektordatenbank erheblich: Kosteneffizienz und Benutzerfreundlichkeit. Die folgenden Abschnitte zeigen, wie Zilliz Cloud Serverless Milvus in diesen beiden Aspekten verbessert.
Häufige Probleme bei der Entwicklung von KI-Anwendungen
Bei der Entwicklung einer KI-Anwendung ist die Entwicklung eines Prototyps der nächste Schritt, nachdem entschieden wurde, welche Vektordatenbank verwendet werden soll. In dieser Phase speichern wir in der Regel alle oder einen Teil unserer Daten in der Vektordatenbank, wählen dann ein großes Sprachmodell (LLM) aus und entwickeln die Prompts. Dann wählen wir ein LLM und eine Reihe von Prompts aus, die die Qualitätsziele unseres Anwendungsfalls erfüllen. Schließlich stellen wir unsere KI-Anwendung in der Produktion bereit.
Wenn jedoch die Benutzerbasis unserer KI-Anwendung wächst, wird die Komplexität der Wartung und Skalierung unserer Infrastruktur deutlicher. Wir müssen Aspekte wie Kosten pro Benutzer, Überwachung der Anwendungsleistung in der Produktion, Umgang mit Multi-Tenancy, Verwaltung von Lastspitzen, Behebung von Softwarefehlern und mehr berücksichtigen.
Je größer unsere Benutzerbasis ist, desto teurer wird es, die Bedürfnisse der Benutzer zu erfüllen und gleichzeitig zentrale Leistungskennzahlen wie Suchqualität, Latenz und Verfügbarkeit aufrechtzuerhalten. Daher ist die Wahl der richtigen Infrastruktur und Softwarearchitektur entscheidend, wenn Sie Ihre KI-Anwendung in einer Produktionsumgebung bereitstellen.
Eine Lösung zur Skalierung Ihrer KI-Anwendung sind dedizierte Cluster in Zilliz Cloud.
Abbildung 2: Die Architektur dedizierter Zilliz-Cluster
Dedizierte Cluster bieten eine dedizierte Umgebung und Ressourcen für Ihre KI-Anwendung, sodass Sie größere Datensätze mit verbesserter Leistung verarbeiten können. Sie bieten erweiterte Funktionen wie:
Trennung von Speicherung und Berechnung.
Elastischer Ressourcenpool für Batch-Workloads.
Datensicherung in Objektspeichersysteme wie S3.
Daten-Caching für noch schnellere Abrufgeschwindigkeiten.
Diese Cluster werden in der Cloud gehostet, wodurch die Verwaltung lokaler Infrastruktur entfällt.
Ein großer Nachteil dedizierter Cluster sind jedoch die hohen anfänglichen und laufenden Kosten. Selbst wenn der Cluster im Leerlauf ist und keine Suchaktivität stattfindet, könnte er potenziell mehr als 100 $ pro Monat kosten. Darüber hinaus kann die Leistung abnehmen, wenn die Nutzerbasis der gespeicherten Daten und das Volumen wachsen. Daher wird eine bessere Lösung benötigt, um eine Architektur aufzubauen, die nicht nur kosteneffizient ist, sondern auch skalieren kann, wenn unsere KI-Anwendung eine größere Nutzerbasis erreicht.
Zilliz Cloud Serverless, bis zu 50x Kosteneinsparungen
Zilliz Cloud Serverless steht für die neuesten architektonischen Fortschritte, die Zilliz bietet, um die Infrastrukturkosten für den reibungslosen Betrieb Ihrer KI-Anwendungen in der Produktion zu minimieren. Es bietet bis zu 50x Kosteneinsparungen im Vergleich zu In-Memory-Vektordatenbanken durch Funktionen wie nutzungsbasierte Preisgestaltung und Auto-Scaling, die sich an verschiedene Workloads anpassen. Das Serverless-Angebot ist bei großen Cloud-Anbietern einschließlich AWS und GCP verfügbar und wird bald auf Azure verfügbar sein.
Figure 3- Zilliz Cloud Serverless Key Benefits
Zilliz Cloud Serverless implementiert vier Schlüsseltechnologien, um die Kosten Ihrer KI-Anwendungen zu optimieren:
Logische Cluster und Auto-Scaling
Entkopplung von Streaming- und historischen Daten
Gestaffelter Speicher, zugeschnitten auf unterschiedliche Datenspeicheranforderungen
Multi-Tenancy und Trennung von heißen und kalten Daten
Lassen Sie uns nun jede dieser Technologien genauer betrachten.
Logische Cluster und Auto Scaling
Zilliz Cloud Serverless führt das Konzept logischer Cluster und Auto-Scaling ein. Ein logischer Cluster entspricht einer Datenbank in einem physischen Cluster. Ein physischer Cluster besteht aus mehreren Knotentypen, jeweils mit eigener Funktionalität:
Proxy-Knoten: Leitet Datenverkehr weiter, drosselt Anfragen basierend auf Kontingenten und skaliert entsprechend CPU- und Netzwerkbandbreite.
Streaming-Knoten: Bedient die Suche in Streaming-Daten und skaliert basierend auf der Schreibwarteschlangenzeit sowie CPU-/Speichernutzung.
Query-Knoten: Bearbeitet Suchanfragen für historische Daten und skaliert entsprechend Suchwarteschlangenzeit sowie CPU/Speicher.
Index-Knoten: Erstellt Indizes für die in Object Storage gespeicherten Blob-Daten.
Figure 4: The diagram of logical clusters
Der logische Cluster arbeitet mit einem Authentifizierungsmechanismus für jeden Mandanten über einen API-Schlüssel. Jeder Mandant hat einen eindeutigen API-Schlüssel, den das System verwendet, um Anfragen weiterzuleiten und sicherzustellen, dass bei Abfrageoperationen die richtigen Daten abgerufen werden.
Während Datenschreibvorgängen werden alle spontan generierten Daten für ein bestimmtes Zeitintervall innerhalb der Streaming-Knoten gespeichert. Dadurch wird sichergestellt, dass frische Daten mit geringer Latenz abgerufen werden können. Nach einer Weile werden diese Streaming-Daten in einen Blob-Speicher (z. B. S3) geschrieben, wo der Index-Knoten einen Index aller Daten erstellt.
Während Abfrageoperationen werden alle indizierten Daten auf den lokalen Festplatten der Query-Knoten zwischengespeichert. Diese Methode reduziert die Speicherkosten im Vergleich zur In-Memory-Indexierung erheblich.
Entkopplung von Streaming- und historischen Daten
Wie im vorherigen Abschnitt besprochen, trennt Zilliz Cloud Serverless Streaming-Daten effektiv von historischen Daten, indem es verschiedene Knotentypen in seiner Architektur implementiert.
Streaming-Daten beziehen sich auf in Echtzeit kontinuierlich generierte Daten, die unmittelbar verarbeitet werden, während historische Daten zuvor erfasste und gespeicherte Daten bezeichnen. Die Streaming-Daten enthalten frische, aktuelle Informationen, die für einen bestimmten Zeitraum innerhalb der Streaming-Knoten gespeichert werden, wodurch ein schneller Abruf während Abfrageoperationen gewährleistet wird.
Nach einem vordefinierten Zeitraum werden die Daten innerhalb der Streaming-Knoten in einen Blob-Speicher geschrieben und werden damit effektiv Teil der historischen Daten. Dieser Übergang ist entscheidend, da Blob-Speicher im Allgemeinen eine kostengünstigere Lösung für große Datenmengen ist, die nicht dasselbe Maß an sofortigem Zugriff erfordern wie Echtzeit- oder frische Daten.
Abbildung 5- Der Workflow verschiedener Knoten in einem logischen Cluster
Während Suchvorgängen werden alle historischen Daten in Query-Knoten zwischengespeichert. Das System führt anschließend die Suchergebnisse aus Streaming- und Query-Knoten zusammen, um umfassende Ergebnisse bereitzustellen.
Gestufter Speicher
Ein Hauptgrund für die hohen Betriebskosten von Vektordatenbanken ist, dass alle Daten im RAM gespeichert werden. Um dieses Problem zu lösen, führt Zilliz Cloud Serverless in seiner Architektur eine Technologie für gestufte Datenspeicherung ein.
Gestufte Datenspeicherung ist unkompliziert: Daten werden basierend auf Leistungsanforderungen, Kosten und Zugriffshäufigkeit in verschiedene Ebenen organisiert. Die allgemeine Regel lautet, dass häufig abgerufene Daten in teurerem, leistungsstarkem Speicher abgelegt werden, während weniger häufig abgerufene Daten in günstigerem, langsamerem Speicher gespeichert werden. Durch die Implementierung verschiedener Speicherebenen für jede Datenkategorie können wir die Gesamtkosten der Datenspeicherung optimieren.
Abbildung 6- Diagramm des gestuften Speichers
Häufig abgerufene Daten, die mit geringer Latenz abgerufen werden müssen, werden im RAM gespeichert. Wie oben dargestellt, kostet das Speichern von Daten im RAM ungefähr 5 $ pro GB Speicher. Im Gegenzug erhalten wir jedoch Ergebnisse in ungefähr 100 Nanosekunden, was im Vergleich zu anderen Ebenen am schnellsten ist.
Andererseits werden weniger häufig abgerufene Daten in Blob-Speicher wie Amazon S3 gespeichert. Dies kostet ungefähr 0,023 $ pro GB Speicher, benötigt jedoch mehr als 10 Millisekunden, um Ergebnisse abzurufen.
Mandantenfähigkeit und Hot-Cold-Trennung
Zilliz Cloud Serverless führt mehrschichtiges Daten-Caching ein, insbesondere für Anwendungsfälle mit Mandantenfähigkeit. Es unterscheidet zwischen Datenspeicherung für „heiße“ und „kalte“ Mandanten.
Ein heißer Mandant ist ein sehr aktiver Benutzer, der häufig Datensuchen oder Abfragen durchführt. Umgekehrt ist ein kalter Mandant weniger aktiv und führt Datensuchen nur selten durch.
Wenn Mandanten als heiß kategorisiert werden, werden ihre Daten im lokalen Speicher abgelegt, was einen Abruf mit geringer Latenz gewährleistet. Wenn ein Mandant hingegen als kalt kategorisiert wird und eine Datensuche durchführen möchte, müssen alle Daten zunächst aus dem Blob-Speicher (z. B. S3) geladen werden, was zu längeren Abrufzeiten führt als bei heißen Mandanten.
Abbildung 7: Hot-Cold-Trennung in einem Multi-Tenant-Anwendungsfall
Eine Anwendung kann vorgewärmt werden, um die Latenz zu verbessern, indem alle Daten aus dem Blob-Speicher in den lokalen Speicher geladen werden. Wenn Benutzer dann auf ihre KI-Anwendung zugreifen, kann der Abrufprozess mit geringer Latenz abgeschlossen werden.
Zilliz Cloud Serverless implementiert zudem im Hintergrund Daten-Clustering nach Partitionsschlüsseln, um den Datensuchprozess weiter zu beschleunigen. Während des Datenabrufs durchsucht das System nur Daten innerhalb vielversprechender Partitionen statt alle verfügbaren Daten.
Unten finden Sie einen Kostenvergleich zwischen kalten, warmen und heißen Suchen:
| Kalte Suche | Warme Suche | Heiße Suche | |
| 1M, 768Dim | 2,3s | 80ms | 4ms |
| 10M, 768Dim | 7s | 150ms | 7ms |
Tabelle: Latenzvergleich zwischen kalter und heißer Suche bei einem einzelnen Mandanten.
Wie dargestellt, benötigt eine Cold Search (bei der sich alle Daten im Blob-Speicher befinden) mehr Zeit für den Datenabruf während Suchvorgängen. Für 10 Millionen Embeddings, die jeweils aus einem 768-dimensionalen Vektor bestehen, benötigt das System ungefähr 7 Sekunden, um einen Suchvorgang abzuschließen. Diese Geschwindigkeit ist für gängige Anwendungsfälle generativer KI wie RAG weiterhin akzeptabel. Im Gegensatz dazu erfordert dasselbe Szenario nur 7 Millisekunden, wenn sich alle Daten im lokalen Speicher befinden.
Die Durchführung einer Cold Search führt jedoch zu erheblichen Kosteneinsparungen. Eine Datenbank für Cold Search kostet ungefähr 16 US-Dollar, verglichen mit 915 US-Dollar für eine Hot Search. Dies entspricht einer 50-fachen Kosteneinsparung durch die Zilliz Cloud Serverless-Architektur.
Was ist neu bei Zilliz Cloud?
Zusätzlich zum Serverless-Angebot hat Zilliz kürzlich neue Funktionen in Zilliz Cloud angekündigt, um die Unterstützung für den Betrieb von KI-Workloads in Produktionsumgebungen zu verbessern. Hier ist ein kurzer Überblick über diese neuen Ergänzungen und Verbesserungen:
Allgemeine Verfügbarkeit (GA) von Serverless.
Migrationsdienst ****für die nahtlose Übertragung von Vektordaten zwischen Datenbanken und anderen Datensystemen
Fivetran Connector: eine neue Integration mit Fivetran, die die Aufnahmemöglichkeiten für unstrukturierte Daten aus über 500 Quellen erheblich erweitert
Multi-replica: ermöglicht Replikation auf Cluster-Ebene und verbessert die Abfrageleistung und Systemverfügbarkeit erheblich.
Auto-scaling (private preview): Zilliz Cloud führt in der privaten Vorschau eine Auto-scaling-Funktion ein, die eine häufige Herausforderung in Produktionsumgebungen adressiert: die Verwaltung der Cluster-Kapazität als Reaktion auf schwankende Anforderungen.
Eine neue Zilliz Cloud-Region online: AWS Tokio (ap-northeast-1), was geringere Latenz, bessere Leistung und größere Datensouveränität für Nutzer im asiatisch-pazifischen Raum und in benachbarten Regionen bedeutet.
Und mehr! Ausführlichere Informationen finden Sie im neuesten Zilliz Cloud Launch-Blog.
Fazit
Zilliz Cloud Serverless stellt den neuesten Fortschritt dar, den Zilliz implementiert hat, um den Betrieb und die Kosten von KI-Anwendungssystemen zu optimieren. Durch die Nutzung von vier Schlüsseltechnologien können Nutzer ihre KI-Anwendungen potenziell zu Kosten betreiben, die bis zu 50-mal niedriger sind als bei In-Memory-Vektordatenbanken. Zu diesen Technologien gehören logische Cluster, Disaggregation von Streaming- und historischen Daten, mehrstufiger Speicher und mandantenfähige Hot-Cold-Trennung.
Wenn Sie mit Zilliz Cloud Serverless loslegen möchten, können Sie es kostenlos ausprobieren. Besuchen Sie diese Seite, um mehr zu erfahren!
Weiterlesen
Context Engineering Strategies for AI Agents: A Developer’s Guide
Learn practical context engineering strategies for AI agents. Explore frameworks, tools, and techniques to improve reliability, efficiency, and cost.
Why I’m Against Claude Code’s Grep-Only Retrieval? It Just Burns Too Many Tokens
Learn how vector-based code retrieval cuts Claude Code token consumption by 40%. Open-source solution with easy MCP integration. Try claude-context today.
Building RAG Pipelines for Real-Time Data with Cloudera and Milvus
explore how Cloudera can be integrated with Milvus to effectively implement some of the key functionalities of RAG pipelines.