Confluent
Real-time data ingestion for your RAG applications with Kafka
Verwenden Sie diese Integration kostenlosZilliz x Confluent: RAG-Echtzeitanwendungen ohne Halluzinationen erstellen
Kafka ist eine Open-Source-Plattform für Echtzeit-Datenströme und ein Nachrichtenbroker, der es Anwendungen ermöglicht, Datenströme effizient zu veröffentlichen (schreiben) und zu abonnieren (lesen). Entwickler verwenden Kafka zum Aufbau skalierbarer, fehlertoleranter Datenpipelines, die in Vektordatenbanken eingespeist werden können, um Retrieval Augmented Generation (RAG) Anwendungen zu verbessern. Confluent ist ein Unternehmen, das kommerzielle Lösungen und Tools rund um Kafka anbietet, um dessen Einsatz für ereignisgesteuerte Anwendungen und Streaming-Data-Architekturen zu vereinfachen.
Generative KI (LLMs, Diffusionsmodelle, GANs usw.) ist in vielen verschiedenen Branchen und Bereichen anwendbar. Die Einbindung von Domaindaten in diese Modelle durch RAG wird auf der Anwendungsebene immer üblicher - das CVP (ChatGPT, Vektordatenbank, Prompting) Framework ist eine häufig verwendete Instanziierung von RAG, die eine Vektordatenbank zur Durchführung einer semantischen Suche nutzt.
Die Confluent-Integration nutzt Zilliz Cloud (Hosted Milvus) und Confluent Kafka, um Daten in Echtzeit aufzunehmen, zu parsen und zu verarbeiten, um Halluzinationen in Large Language Models (LLMs) zu reduzieren, indem aktuelle und kontextrelevante Informationen bereitgestellt werden, die zur Verbesserung der Benutzererfahrung beitragen.
Es gibt eine große Anzahl von [Anwendungsfällen] (https://zilliz.com/use-cases), die von dieser Integration profitieren können, wie z. B. Chatbots, Echtzeit-Stimmungsanalyse und Kundensupport.
Neben GenAI können Sie diese Integration auch nutzen, um Echtzeit-Empfehlungssysteme zu erstellen, Anomalien zu erkennen und verschiedene andere Anwendungen zu entwickeln, die von Echtzeit-KI profitieren.
So funktioniert die Integration von Confluent und Zilliz in die Cloud
So funktioniert die Integration
- Echtzeitdaten werden über Topic Producer an Confluent geschrieben; diese Daten werden geparst und an Confluent zurückgeschickt.
- Milvus-Konsumenten lesen und verarbeiten die Echtzeitdaten von Confluent.
- Die Echtzeitdaten werden über Einbettungsmodelle in Vektoreinbettungen umgewandelt.
- Die Vektoreinbettungen werden in der Zilliz Cloud gespeichert.
- Die Nutzer stellen ihre Fragen an den Chatbot (oder die RAG-App).
- Die Frage wird in Vektoreinbettungen für Abfragen umgewandelt.
- Zilliz Cloud findet durch eine Ähnlichkeitssuche die besten k Ergebnisse, die für die Frage am relevantesten sind.
- Die von Zilliz Cloud abgerufenen Ergebnisse werden an die Eingabeaufforderung angehängt und an den LLM gesendet.
- Der LLM generiert die Antwort und sendet sie über den Chatbot an den Nutzer.
Wie lernen
In diesen Tutorials erfahren Sie, wie Sie die Confluent-Integration nutzen können.