Neu bei Zilliz Cloud: Migration Service, Fivetran Connector, Multi-Replica und mehr
Wir freuen uns, neue Funktionen in Zilliz Cloud anzukündigen, die darauf ausgelegt sind, die Unterstützung für den Betrieb von AI-Workloads in Produktionsumgebungen zu verbessern. Dieses Update stattet Entwickler und technische Führungskräfte mit fortschrittlichen Tools aus, um KI-gestützte Anwendungen effizient bereitzustellen und zu skalieren.
Die neuen Funktionen ermöglichen technischen Teams Folgendes:
Die volle Kontrolle über ihre unstrukturierten Daten behalten und gleichzeitig Best-of-Breed-Technologien nutzen
Die Anforderungen an Geschwindigkeit und Skalierung groß angelegter Produktions-GenAI-Anwendungen unterstützen
Einen robusten und sicheren Betrieb von GenAI-Workloads in Produktionsumgebungen gewährleisten
Da Unternehmen zunehmend KI-gestützte Anwendungen bereitstellen, werden die Verwaltung großer Mengen unstrukturierter Daten, die Sicherstellung hoher Leistung in großem Maßstab und die Aufrechterhaltung operativer Robustheit zu kritischen Herausforderungen. Unsere neuen Funktionen adressieren diese Probleme und ermöglichen es Entwicklungsteams, sich auf Innovation statt auf Infrastrukturmanagement zu konzentrieren.
Hier ist ein Überblick über unsere neuen Funktionen – lesen Sie weiter, um mehr Details zu erfahren:
- Migration Service
- Fivetran source connector
- Multi-replica
- Auto-scaling
- Weitere Updates zur Produktionsbereitschaft
Nehmen Sie an unserem Launch-Webinar teil, um diese Innovationen in Aktion zu sehen.
Ein Überblick über den Zilliz Sep 2024 Launch
Abbildung 1: Ein Überblick über den Zilliz Sep 2024 Launch
Migration Service: Sichere und effiziente Vektordatenmigration
Zilliz Cloud führt Migration Services für Vektordaten ein, eine neu veröffentlichte Funktion, die kritische Herausforderungen adressiert, denen Entwickler bei der Arbeit mit Vektordatenbanken in KI-Anwendungen begegnen. Mit der Weiterentwicklung von Projekten wird die Notwendigkeit, Vektordaten zwischen Datenbanken und anderen Datensystemen zu übertragen, aus mehreren Gründen entscheidend:
Vermeidung von Anbieterbindung
Implementierung robuster Strategien für Datensicherung und Wiederherstellung
Sicherstellung der Interoperabilität zwischen verschiedenen Systemen
Dieser Prozess ist jedoch oft komplexer als erwartet und birgt das Risiko des Verlusts von Informationen oder Funktionalität während der Übertragung.
Migration Services vereinfacht diese Herausforderungen durch Folgendes:
Verlustfreie Migration zwischen Vektordatenbanken (z. B. Milvus, pgvector, Elastic)
Unterstützung sowohl für Massenimport als auch für inkrementelle Datenmigration
Integrierte Datenvalidierung zur Sicherstellung der Konsistenz und zum Erhalt der Funktionalität
Hochleistungsoperationen, die für die Verarbeitung groß angelegter Vektordatensätze ausgelegt sind
Mit Migration Services können Entwickler die vollständige Kontrolle über ihre Daten über verschiedene Plattformen und Szenarien hinweg behalten. Durch die Optimierung des Migrationsprozesses ermöglicht Migration Services Ihnen, sich auf den Aufbau und die Verbesserung Ihrer KI-Modelle und -Anwendungen zu konzentrieren und gleichzeitig Datenportabilität, Sicherheit und Integrität sicherzustellen.
Fivetran Connector: Optimierte Integration unstrukturierter Daten aus über 500 Quellen
Zilliz Cloud ist jetzt in Fivetran integriert und erweitert die Datenaufnahmefähigkeiten erheblich. Dieser neue Connector ermöglicht den effizienten Abruf unstrukturierter Daten aus über 500 verschiedenen Systemen und erweitert so den Umfang der für Ihre KI-Anwendungen zugänglichen Daten.
So funktioniert es:
Unstrukturierte Daten aus über 500 Quellen (wie Snowflake, MongoDB, Salesforce usw.) fließen in Fivetran.
Die Connectors und Transformationslogik von Fivetran verarbeiten die Daten.
Der Milvus source connector (erstellt mit Fivetran SDK) leitet die verarbeiteten Daten in Zilliz/Milvus.
Die unstrukturierten Daten können mithilfe von OpenAI Embedding Services über OpenAIs Fivetran connector vektorisiert werden.
Schließlich werden die Vektordaten in Zilliz Cloud/ Milvus aufgenommen und stehen für Vektorsuche und KI-Anwendungen bereit.
Funktionsweise des Fivetran Source Connector
Abbildung 2: Funktionsweise des Fivetran Source Connector
Diese Integration optimiert den gesamten Prozess der Erfassung, Transformation und Vektorisierung unstrukturierter Daten aus verschiedenen Quellen. Sie macht benutzerdefinierte ETL-Pipelines überflüssig, spart Entwicklern Zeit und Aufwand und gewährleistet gleichzeitig einen reibungslosen Datenfluss in Milvus/ Zilliz.
Durch die Nutzung dieses Fivetran-Connectors können Sie Ihre KI-Anwendungen problemlos mit einer Vielzahl unstrukturierter Daten erstellen und so neue Möglichkeiten für semantische Suche und KI-gestützte Erkenntnisse eröffnen.
Multi-replica: Verbesserung von Leistung und Verfügbarkeit
Neu in der öffentlichen Vorschau verfügbar, stärkt die Multi-replica-Funktionalität die Fähigkeiten von Zilliz Cloud für Produktionsumgebungen. Diese Funktion ermöglicht Replikation auf Clusterebene und verbessert die Abfrageleistung und Systemverfügbarkeit erheblich.
Viele Verbraucher-KI-Anwendungen stoßen in der Produktion aufgrund ihres hohen Nutzeraufkommens auf Abfragen-pro-Sekunde-Engpässe (QPS). Multi-replica begegnet dem, indem Abfrage-Workloads auf Replikate verteilt werden, wodurch parallele Verarbeitung ermöglicht wird, die die gesamte QPS linear verbessern kann, wenn Replikate hinzugefügt werden. Dies führt zu geringerer Latenz und verbesserter Effizienz, was für die Aufrechterhaltung der Reaktionsfähigkeit in stark frequentierten Produktionsumgebungen unerlässlich ist.
Darüber hinaus erhöht Multi-replica die Systemzuverlässigkeit, indem Replikate über mehrere Availability Zones (AZs) verteilt werden. Diese Architektur gewährleistet kontinuierlichen Datenzugriff selbst während eines AZ-Ausfalls und bietet die hohe Verfügbarkeit, die für geschäftskritische Anwendungen erforderlich ist. Während Multi-replica die gesamte Clusterkapazität nicht erhöht, bietet es ein leistungsstarkes Werkzeug zur Optimierung der Abfrageleistung und zur Sicherstellung der in Produktionsumgebungen erforderlichen Systemresilienz, sodass Teams ihre KI-Anwendungen vertrauensvoll skalieren können.
Auto-scaling: Dynamisches Kapazitätsmanagement
Zilliz Cloud führt eine Auto-scaling-Funktion (in privater Vorschau) ein, die eine häufige Herausforderung in Produktionsumgebungen adressiert: die Verwaltung der Clusterkapazität als Reaktion auf schwankende Anforderungen. Diese Funktion passt dynamisch an, wenn die Kapazität des Clusters basierend auf der Echtzeitnutzung schrumpft, und hilft dabei, Schreibzugriffsbeschränkungen aufgrund unzureichender Ressourcen zu verhindern und den Betriebsaufwand zu reduzieren.
Auto-scaling wird ausgelöst, wenn die Compute-Unit-(CU)-Kapazität des Clusters zwei aufeinanderfolgende Minuten lang einen festgelegten Schwellenwert überschreitet (standardmäßig 70% und anpassbar). Entwickler können eine maximale CU-Größe für die Skalierung festlegen und behalten so die Kontrolle über Ressourcenzuweisung und Kosten.
Hinweis: Auto-scaling befindet sich derzeit in privater Vorschau und ist nur für Dedicated-(Enterprise)-Cluster verfügbar. Organisationen, die diese Funktion ausprobieren möchten, sollten sich an den Zilliz-Support wenden, um Zugriff zu erhalten.
Weitere Updates zur Produktionsreife
Zilliz Cloud führt einige weitere wichtige Updates ein, um die Produktionsreife zu stärken:
Zuverlässigkeit: 99,95% Verfügbarkeits-SLAs für geschäftskritische KI-Anwendungen.
Monitoring und Alerting:
39 Organisations- und Projektwarnungen für Kosten- und Leistungsmanagement.
18 wichtige Metriken zu Ressourcennutzung, QPS, Anfrageergebnissen und Datenoperationen.
Anpassbare Diagramme für eine eingehende Analyse des Systemzustands.
- Sicherheit: Auth0-basiertes SSO (Private Preview) mit Anmeldeoptionen über Google, Github, SSO und E-Mail.
- Eine neue Zilliz-Cloud-Region online: Zilliz Cloud wurde gerade um eine neue Region erweitert—AWS Tokyo (ap-northeast-1)! Das bedeutet geringere Latenz, bessere Leistung und größere Datenhoheit für unsere Nutzer im asiatisch-pazifischen Raum und in benachbarten Regionen.
Diese Funktionen bieten Entwicklern Werkzeuge, um leistungsstarke, sichere und kosteneffiziente KI-Anwendungen in der Produktion zu betreiben.
Produktionsreife KI-Anwendungen mit Zilliz Cloud ermöglichen
Die neuesten Funktionen von Zilliz Cloud sind darauf ausgelegt, Ihre Fähigkeit zu verbessern, robuste KI-Anwendungen in Produktionsumgebungen zu erstellen und zu warten. Von sicherer Datenmigration über dynamische Skalierung bis hin zu umfassendem Monitoring adressieren diese Updates zentrale Herausforderungen, mit denen Entwickler und technische Führungskräfte konfrontiert sind.
Möchten Sie mehr erfahren? Nehmen Sie an unserem bevorstehenden Webinar teil, um zu erfahren, wie diese neuen Funktionen Ihr Management unstrukturierter Daten und Ihre KI-Anwendungen transformieren können. Unser Produktteam wird die neuesten Entwicklungen und Best Practices für den Einsatz von Zilliz Cloud in der Produktion vorstellen.
Bereit, loszulegen? Beginnen Sie Ihre Reise mit Zilliz Cloud kostenlos – keine Installation und keine Kreditkarte erforderlich. Sie können auch eine 30-tägige kostenlose Testversion unseres dedizierten Angebots starten, das bei der Registrierung Guthaben im Wert von $100 enthält. Sie erhalten ein zusätzliches Guthaben von $100, wenn Sie Zilliz Cloud über einen Cloud-Marktplatz abonnieren!
Wenn Sie Fragen haben oder Unterstützung benötigen, während Sie Zilliz Cloud erkunden, ist unser Support-Team bereit zu helfen. Kontaktieren Sie uns über unser Support-Portal, und wir helfen Ihnen gerne dabei, diese neuen Funktionen für Ihre KI-Anwendungen zu nutzen.
Beginnen Sie noch heute mit der Entwicklung produktionsreifer KI-Anwendungen mit Zilliz Cloud!
Weiterlesen
Zilliz Cloud Update: Smarter Autoscaling for Cost Savings, Stronger Compliance with Audit Logs, and More
What's new in Zilliz Cloud? Smarter autoscaling with scale-down, audit logs GA, enhanced SSO, and Milvus 2.6 in Private Preview.
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
Explore DeepSeek-VL2, the open-source MoE vision-language model. Discover its architecture, efficient training pipeline, and top-tier performance.