Ankündigung des Kafka Connectors von Confluent für Milvus und Zilliz Cloud: Die Leistungsfähigkeit von Echtzeit-KI erschließen
Wir freuen uns, die Verfügbarkeit des Confluent Kafka Sink Connector mit Open-Source-Milvus und Zilliz Cloud (der vollständig verwalteten Version von Milvus) bekannt zu geben. Diese Zusammenarbeit ermöglicht nahtloses Echtzeit-Streaming von Vektordaten von Confluent zu Milvus- oder Zilliz-Vektordatenbanken, erschließt das volle Potenzial unstrukturierter Daten und verbessert erheblich die Echtzeit-Generative AI, die von Large Language Models (LLMs) wie OpenAIs GPT-4 unterstützt wird.
Die Synergie von Zilliz und Confluent: Ermöglichung von Echtzeit-Vektorströmen
Im digitalen Zeitalter werden unstrukturierte Daten in beispiellosem Tempo erzeugt und machen über 80 % der neu erstellten Informationen aus. Ihr enormes Volumen und ihre ständigen Aktualisierungen stellen eine erhebliche Herausforderung dar, wenn es darum geht, sie schnell zu verarbeiten und in Echtzeit aussagekräftige Erkenntnisse zu gewinnen. Vektor-Embedding ist ein praxiserprobter Ansatz, um Erkenntnisse aus diesem Chaos unstrukturierter Daten zu destillieren. Der Kern des Problems liegt nun darin, effiziente Lösungen zu finden, um die gewaltigen Ströme von Echtzeit-Vektordaten zu speichern, zu verarbeiten und leicht durchsuchbar zu machen.
Die Synergie zwischen Confluent und der Milvus/Zilliz-Vektordatenbank bietet eine perfekte Lösung. Diese Zusammenarbeit ermöglicht es, den kontinuierlichen Fluss von Echtzeit-Confluent-Vektorströmen, die aus unstrukturierten Daten konvertiert wurden, nach Milvus/Zilliz zu übertragen, und befähigt Entwickler, Anwendungen für verschiedene Anwendungsfälle wie semantische Echtzeitsuche, Ähnlichkeitssuche für Bilder/Videos/Audio und retrieval augmented generation zu erstellen.
Wie Sie von der Integration von Zilliz und Confluent profitieren können
Die Integration von Confluent und Zilliz eröffnet Möglichkeiten für verschiedene Branchen und Anwendungen. Hier sind einige Wege, wie Sie diese Integration nutzen können.
Verbesserung von Generative AI mit einer Echtzeit-Wissensbasis
Indem inkrementelle Vektordaten sofort durchsuchbar gemacht werden, bringt die Integration von Zilliz und Confluent aktuelles Gedächtnis in GenAI-Anwendungen, um frischere und genauere Ergebnisse zu erzielen. In der Finanzbranche können beispielsweise Investmentfirmen Confluent nutzen, um Echtzeit-Datenpipelines für das Streaming von Vektor-Embeddings einzurichten, die aus SEC-Einreichungen und den neuesten Finanznachrichten aus mehreren Quellen abgeleitet werden. Diese Daten werden dann in Echtzeit über den Kafka Sink Connector in Milvus/Zilliz aufgenommen, um Vektorähnlichkeitssuchen durchzuführen. Milvus/Zilliz ruft schnell die Top-K der relevantesten Ergebnisse ab und versorgt Large Language Models (LLMs) mit dem aktuellsten Kontext, um zeitnahe und umsetzbare Erkenntnisse für Händler, Ökonomen und andere Entscheidungsträger zu generieren.
Optimierung personalisierter Empfehlungen für E-Commerce-Plattformen
Mit diesem Kafka Sink Connector können E-Commerce-Unternehmen Empfehlungssysteme aufbauen, die sich schnell an Echtzeit-Bestandsaktualisierungen und Kundenverhalten anpassen. Vektoren, die aus Produktattributen wie Bildern, Namen und Beschreibungen generiert werden, werden in Echtzeit über den Kafka Sink Connector zu Milvus/Zilliz gestreamt. Milvus/Zilliz verwendet diese Vektor-Embeddings dann für unmittelbare Ähnlichkeitssuchen, sodass das System Empfehlungen auf der Grundlage minutengenauer Daten anpassen kann.
Erste Schritte: einfache Schritte zu Echtzeit-Innovation
Sind Sie begeistert davon, das Potenzial von Echtzeit-KI mit Confluent und Zilliz zu nutzen? So können Sie loslegen.
Schritt 1: Laden Sie den Kafka Sink Connector herunter
Greifen Sie auf die neueste Connector-Zip-Datei aus unserem GitHub-Repository oder Confluent Hub zu.
Schritt 2: Konfigurieren Sie Ihre Konten
Registrieren Sie sich für kostenlose Confluent- und Zilliz-Konten. Erstellen Sie ein Topic in Confluent Cloud und eine Collection mit einem Vektorfeld in Zilliz Cloud. Stellen Sie sicher, dass sie denselben Feldnamen haben.
Schritt 3: Connector laden
Laden Sie die ZIP-Datei im Bereich Connectors Ihres Confluent-Cloud-Clusters hoch. Konfigurieren Sie sensible Eigenschaften wie Tokens. Weitere Details finden Sie auf der Seite custom-connector.
Schritt 4: Connector konfigurieren
Geben Sie Ihren Confluent Cloud API Key und Ihr Secret ein. Stellen Sie die Milvus-Connector-Konfiguration bereit, einschließlich öffentlichem Endpunkt, Token, Name der Vektor-Collection und Kafka-Topic.
Schritt 5: Connector starten
Starten Sie den Connector, um Daten nahtlos von Kafka nach Milvus zu streamen. Überprüfen Sie die Dateneinfügung in Zilliz Cloud und erleben Sie die Magie der Echtzeit-Datenaufnahme.
Detaillierte Informationen und Beispiele finden Sie in unserem GitHub-Repository.
Echtzeit-KI mit Zilliz und Confluent nutzen
Wagen Sie den Sprung in die Zukunft der KI-Innovationen, indem Sie unsere Confluent-Integrationsseite mit detaillierten Ressourcen erkunden.
Neu bei Zilliz? Starten Sie kostenlos mit dem neuen Starter Plan, ohne Installationsaufwand und ohne Kreditkarte. Sie können auch Ihre 30-tägige kostenlose Testversion des Standard-Plans mit Credits im Wert von $100 bei der Registrierung starten und haben die Möglichkeit, insgesamt bis zu $200 an Credits zu verdienen. Wenn Sie bei der Nutzung von Zilliz Cloud auf Probleme stoßen oder Fragen haben, können Sie uns über unser Support-Portal kontaktieren.
Noch kein Confluent-Kunde? Starten Sie Ihre kostenlose Testversion von Confluent Cloud und erhalten Sie $400 an Credits für die ersten 30 Tage – keine Kreditkarte erforderlich.
Die Ära der Echtzeit-Generativen KI ist angebrochen. Gestalten Sie mit uns die Zukunft der KI-Innovation. Lassen Sie uns gemeinsam das wahre Potenzial von KI erschließen.
Zilliz ist führend in der Vektordatenbanktechnologie und bietet eine ultraschnelle Plattform, die einen 10-mal schnelleren Vektorabruf ermöglicht. Auf Basis cloudnativer Prinzipien entwickelt, ist Zilliz als Rückgrat für Anwendungen konzipiert, die eine komplexe Ähnlichkeitssuche erfordern und GenAI-Funktionen nutzen, wie etwa Retrieval-Augmented Generation. Mit Zilliz können Entwickler fortschrittliche Such- und Abruffunktionen nahtlos in ihre Anwendungen integrieren und so die Benutzererfahrung und Backend-Performance erheblich verbessern. Weitere Informationen finden Sie unter www.zilliz.com.
Confluent ist die Data-Streaming-Plattform, die eine grundlegend neue Kategorie von Dateninfrastruktur vorantreibt, die Daten in Bewegung setzt. Das cloudnative Angebot von Confluent ist die grundlegende Plattform für Data in Motion — entwickelt als intelligentes verbindendes Gewebe, das Echtzeitdaten aus mehreren Quellen kontinuierlich durch das gesamte Unternehmen streamen lässt. Mit Confluent können Unternehmen der neuen geschäftlichen Notwendigkeit gerecht werden, umfassende, digitale Frontend-Kundenerlebnisse bereitzustellen und zu anspruchsvollen, echtzeitfähigen, softwaregesteuerten Backend-Abläufen überzugehen. Weitere Informationen finden Sie unter www.confluent.io.
Weiterlesen
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
Vector Databases vs. Object-Relational Databases
Use a vector database for AI-powered similarity search; use an object-relational database for complex data modeling with both relational integrity and object-oriented features.
Similarity Metrics for Vector Search
Exploring five similarity metrics for vector search: L2 or Euclidean distance, cosine distance, inner product, and hamming distance.