Confluent
Real-time data ingestion for your RAG applications with Kafka
Используйте эту интеграцию бесплатноZilliz x Confluent: Создавайте RAG-приложения в реальном времени без галлюцинаций
Kafka - это платформа для потоковой передачи данных в реальном времени с открытым исходным кодом и брокер сообщений, позволяющий приложениям эффективно публиковать (записывать) и подписываться на потоки данных (читать). Разработчики используют Kafka для создания масштабируемых, отказоустойчивых конвейеров данных, которые могут поступать в векторные базы данных для улучшения retrieval augmented generation (RAG) приложений. Confluent - это компания, которая предоставляет коммерческие решения и инструменты, построенные на базе Kafka, чтобы упростить его использование для событийно-ориентированных приложений и архитектур потоковых данных.
Генеративный ИИ (LLM, диффузионные модели, GAN и т. д.) широко применяется в различных отраслях и вертикалях. Внедрение доменных данных в эти модели с помощью RAG становится все более распространенным на уровне приложений - фреймворк CVP (ChatGPT, векторная база данных, подсказки) является часто используемой инстанцией RAG, которая использует векторную базу данных для выполнения семантического поиска.
Интеграция Confluent использует Zilliz Cloud (Hosted Milvus) и Confluent Kafka для выполнения приема, разбора и обработки данных в реальном времени, чтобы уменьшить галлюцинации в больших языковых моделях (LLM), предоставляя актуальную и контекстуально релевантную информацию, которая помогает улучшить пользовательский опыт.
Существует огромное количество сценариев использования, которые могут выиграть от такой интеграции, например, чат-боты, анализ настроения в реальном времени и поддержка клиентов.
Помимо GenAI, вы можете использовать эту интеграцию для создания рекомендательных систем в реальном времени, обнаружения аномалий и разработки других приложений, которые выигрывают от использования ИИ в реальном времени.
Как работает облачная интеграция Confluent и Zilliz
Как работает интеграция
- Данные в реальном времени записываются в Confluent через производителей тем; эти данные анализируются и отправляются обратно в Confluent.
- Потребители Milvus считывают и обрабатывают данные из Confluent в режиме реального времени.
- Данные в реальном времени преобразуются в векторные вкрапления с помощью моделей вкрапления.
- Векторные эмбеддинги хранятся в облаке Zilliz.
- Пользователи задают свои вопросы чат-боту (или приложению RAG).
- Вопрос преобразуется в векторные вкрапления для запросов.
- Zilliz Cloud находит k лучших результатов, наиболее релевантных вопросу, с помощью поиска по сходству.
- Полученные результаты из Zilliz Cloud добавляются к подсказке и отправляются в LLM.
- LLM генерирует ответ и отправляет его пользователю через чатбота.
Узнайте, как
Ознакомьтесь с этими руководствами, чтобы узнать, как использовать интеграцию с Confluent.