Zilliz Cloud bietet bessere Leistung und niedrigere Kosten mit Arm Neoverse-basiertem AWS Graviton
Da sich die Cloud-Infrastruktur weiterentwickelt, um das exponentielle Wachstum von KI zu unterstützen, nutzt Zilliz Cloud —die vollständig verwaltete Vektordatenbank auf Basis von Milvus —Arm Neoverse-basierte CPUs, um unübertroffene Kosteneffizienz und Leistung für KI-Workloads im Unternehmensmaßstab zu liefern. Dieser Blog untersucht, wie Zilliz Cloud für rechenintensive Workloads von x86- auf Arm-CPUs umgestiegen ist, wodurch Betriebskosten gesenkt und Vektorsuche im Milliardenmaßstab für geschäftskritische KI-Workloads wie RAG und multimodale Suche ermöglicht werden.
Zilliz Cloud: Vollständig verwaltete Vektordatenbank für Produktions-Workloads
Zilliz Cloud ist eine vollständig verwaltete Vektordatenbank, die für KI-Anwendungen in der Produktion entwickelt wurde und groß angelegte Vektorsuche zu niedrigen Kosten bietet. Basierend auf dem Open-Source-Projekt Milvus unterstützt sie bis zu 100 Milliarden Vektoren über unstrukturierte Daten (Bilder, Text, Audio) hinweg mit Vektorähnlichkeitssuche bei einer Latenz von unter 20 ms. Damit ist sie ideal für Anwendungen wie RAG, AI Agents, visuelle Suche, Empfehlungssysteme und Anomalieerkennung. Zu den wichtigsten Funktionen von Zilliz Cloud gehören AutoIndex, das dynamisch optimale Indexierungsstrategien für hohe Suchgenauigkeit ohne manuelle Feinabstimmung auswählt, eine Cardinal indexing engine, die eine 10x schnellere Suche als Open-Source-Milvus ermöglicht, sowie hybride Retrieval-Unterstützung, die dichte Vektorsuche und full-text search für bessere Ergebnisse kombiniert.
Kernvorteile von Zilliz Cloud
Hohe Leistung: Kann Vektordaten im Milliardenmaßstab mit Tausenden von QPS bereitstellen. Flexible Auswahl von Cluster-Typen, um ein Gleichgewicht zwischen Latenz, Genauigkeit und Kosten zu erreichen
Skalierbarkeit: Skaliert horizontal, um durch die verteilte, cloudnative Architektur bis zu 100 Milliarden Vektoren zu verarbeiten
Kosteneffizienz: Reduziert Infrastrukturkosten um 70 % durch RaBitQ-Binärquantisierung, Optimierungen des Vektorindex und gestaffelten Speicher
Benutzerfreundlichkeit: Vereinfacht Bereitstellung und Betrieb mit AutoIndex und einem vollständig verwalteten Service
Sicherheit & Zuverlässigkeit: Bietet Sicherheit auf Unternehmensniveau und ein SLA mit 99,95 % Verfügbarkeit
Verständnis von Vektordatenbanken
Vektordatenbanken sind auf die Speicherung hochdimensionaler Vektoren spezialisiert, die von Embedding-Modellen erzeugt werden. Diese Vektoren ermöglichen semantische Suche über Approximate Nearest Neighbour Search, die für KI-Workflows in der Verarbeitung natürlicher Sprache, Computer Vision und Empfehlungssystemen entscheidend ist. Durch die Handhabung von Echtzeit-Indexierung und multimodalen Abfragen bewältigen Vektordatenbanken die Herausforderungen einer effizienten Verwaltung unstrukturierter Daten. Zilliz Cloud nutzt diese Fähigkeiten, um KI-Anwendungen mit einer Latenz von unter 20 ms zu betreiben und hohe Leistung für Produktions-Workloads sicherzustellen.
Die Rolle von Milvus
Milvus, die beliebteste Open-Source-Vektordatenbank mit über 36K Sternen auf GitHub, ist mit ihrer skalierbaren, cloudnativen Architektur die Grundlage von Zilliz Cloud. Ihr verteiltes Design ermöglicht es Zilliz Cloud, horizontal über Milliarden von Vektoren hinweg zu skalieren und gleichzeitig niedrige Latenz beizubehalten, was eine effiziente Verarbeitung riesiger Datensätze ermöglicht.
Ab Milvus 2.3 wurde Unterstützung für Arm-CPUs zusammen mit offiziellen Docker-Images für Arm64 hinzugefügt, wodurch Installation und Bereitstellung auf kostengünstigen, energieeffizienten Plattformen vereinfacht werden. Der Betrieb von Milvus auf Arm-CPUs bietet eine Leistungssteigerung von 20 % gegenüber herkömmlichem x86, was zu schnelleren Abfragen für Anwendungen führt, die auf schnelle Vektorsuche und -abfrage angewiesen sind.
Weg zu Arm-basierten CPUs
Die Einführung von Arm-basierten AWS Graviton3-Prozessoren durch Zilliz Cloud markiert einen strategischen Sprung in der Performance und Kosteneffizienz von KI-Workloads. Die AWS Graviton3-Prozessoren, die von der Arm Neoverse-Architektur angetrieben werden, nutzen SVE- und BFloat16-Instruktionsunterstützung, um überlegene Performance und Effizienz zu liefern. Zu diesen architektonischen Verbesserungen gehören außerdem breitere Vektoreinheiten und ein verbesserter Software-Stack, wodurch Graviton3 eine ideale Wahl für GenAI-Aufgaben wie semantische Suche und RAG-Pipelines ist, die Vektoroperationen mit hohem Durchsatz und Echtzeitverarbeitung erfordern.
Kosten sind ein großes Hindernis für die Einführung groß angelegter KI-Suche in Unternehmen. Um dem zu begegnen, hat Zilliz Cloud zahlreiche technische Optimierungen implementiert, die die Kosten erheblich senken und die Effizienz verbessern, wodurch Vektorsuche für ihre Kunden selbst im Milliardenmaßstab zugänglicher wird.
Seitdem das Zilliz Cloud-Team die fortschrittliche Rechenleistung und das optimierte Instruktionsdesign für Vektoroperationen kennengelernt hat, arbeitet es eng mit den Teams von Arm und AWS zusammen, um die rechenintensiven Indexierungs-Workloads auf AWS Graviton3 zu migrieren.
Einer der bemerkenswertesten Vorteile der Einführung von AWS Graviton3-Prozessoren ist die erhebliche Steigerung von Performance und Kosteneffizienz. Konkret hat Zilliz Cloud Folgendes beobachtet:
Performance beim Indexaufbau: Die Performance beim Indexaufbau ist im Vergleich zur x86-Implementierung um 50 % gestiegen, wodurch die Vektorindexierung – ein kritischer Vorgang während der Datenaufnahme, um die Abfrage zum Abrufzeitpunkt zu beschleunigen – drastisch beschleunigt wird. Diese Verbesserung ermöglicht eine schnellere Datenverarbeitung und eine effizientere Handhabung von Vektordatensätzen im Milliardenmaßstab.
Suchoperationen: Suchoperationen verzeichneten einen Effizienzgewinn von 10 % im Benchmark gegenüber x86, was zu schnelleren Abfrageausführungsergebnissen und einer reaktionsschnelleren Datenabfrage führt. Diese Verbesserung ermöglicht eine reibungslosere Navigation durch große Datensätze und stellt sicher, dass Benutzer bestimmte Datensätze schnell finden oder große Informationsmengen erkunden können.
Über die Performance-Gewinne hinaus reduzierte die Einführung von AWS Graviton3-basierten Cloud-Instanzen die Betriebskosten von Zilliz Cloud um 10 %, bedingt durch die Energieeffizienz der Prozessoren und den Preis-Leistungs-Vorteil im Vergleich zu x86-Instanzen. Dieses Upgrade steht im Einklang mit der Mission von Zilliz Cloud, leistungsstarke, kosteneffiziente Lösungen für KI-Anwendungen bereitzustellen. Durch die Nutzung von AWS Graviton3-Prozessoren verbessert Zilliz Cloud seine Fähigkeit, anspruchsvolle GenAI-Workloads zu bewältigen und gleichzeitig die Gesamtbetriebskosten zu senken.
"Die auf Arm Neoverse basierende Architektur von AWS Graviton bietet eine kosteneffiziente und energieeffiziente Lösung für Vektorsuche im massiven Maßstab in der Produktion und stellt sicher, dass Unternehmen die Einführung von KI-Suche ausweiten können, ohne die Performance zu beeinträchtigen", sagte James Luan, VP of Engineering bei Zilliz. "Durch die Integration des innovativen Designs von Arm ermöglicht Zilliz Cloud Unternehmen, KI-Anwendungen mit größerer Effizienz zu skalieren und gleichzeitig die hohe Performance aufrechtzuerhalten, die erforderlich ist, um wettbewerbsfähig zu bleiben."
Fazit
Die Integration von Arm-basierten AWS Graviton3-Prozessoren durch Zilliz Cloud bietet einen Wettbewerbsvorteil in der KI-Infrastruktur, indem sie Skalierbarkeit und kostenoptimierte Performance für kritische Workloads kombiniert. Durch die Nutzung seiner verbesserten Rechen- und Energieeffizienzarchitektur beschleunigt die Plattform KI/ML-Bereitstellungen durch schnelleren Indexaufbau, beschleunigte Suchfunktionen und reduzierte Infrastrukturkosten. Da Unternehmen zunehmend skalierbare, kosteneffiziente Lösungen für KI-gesteuerte Workloads priorisieren, stellt die Einführung leistungsstarker, kosteneffizienter Rechentechnologie durch Zilliz Cloud sicher, dass das Unternehmen weiterhin führend bei der Bereitstellung innovativer und effizienter Cloud-Dienste bleibt. Dieser zukunftsorientierte Ansatz ermöglicht es Kunden, komplexe Datenherausforderungen zu bewältigen und gleichzeitig in einer zunehmend komplexen und sich weiterentwickelnden technologischen Landschaft agil zu bleiben.
Besuchen Sie den Arm Developer Hub für praxiserprobte Tools, Demos und Schritt-für-Schritt-Anleitungen, um Ihre KI-Anwendungen auf der Arm-Architektur zu beschleunigen.
Bereit, die semantische Suche zu revolutionieren? Entdecken Sie unser Tutorial zum Erstellen einer RAG-gestützten Anwendung mit Zilliz Cloud auf Arm-basierten Servern.
Migrieren Sie nahtlos mit Arm Cloud Migration – Ihrer Abkürzung zu mehr Effizienz und optimierter Leistung auf Arm.
Jiang ChenJiang is currently Director of Technical GTM at Zilliz. He has years of experience in data infrastructures and cloud security. Before joining Zilliz, he had previously served as a tech lead and product manager at Google, where he led the development of web-scale semantic understanding and search indexing that powers innovative search products such as short video search. He has extensive industry experience handling massive unstructured data and multimedia content retrieval. He has also worked on cloud authorization systems and research on data privacy technologies. Jiang holds a Master's degree in Computer Science from the University of Michigan.
Ashok BhatAshok Bhat is the Senior Product Manager at Arm.
Weiterlesen
Introducing Zilliz MCP Server: Natural Language Access to Your Vector Database
Developers can easily manage and query vector databases with natural language via Zilliz MCP Server in AI-native environments.
Similarity Metrics for Vector Search
Exploring five similarity metrics for vector search: L2 or Euclidean distance, cosine distance, inner product, and hamming distance.
Optimizing Embedding Model Selection with TDA Clustering: A Strategic Guide for Vector Databases
Discover how Topological Data Analysis (TDA) reveals hidden embedding model weaknesses and helps optimize vector database performance.