Confluent

Kafka - это платформа для потоковой передачи данных в реальном времени с открытым исходным кодом и брокер сообщений, позволяющий приложениям эффективно публиковать (записывать) и подписываться на потоки данных (читать). Разработчики используют Kafka для создания масштабируемых, отказоустойчивых конвейеров данных, которые могут поступать в векторные базы данных для улучшения retrieval augmented generation (RAG) приложений. Confluent - это компания, которая предоставляет коммерческие решения и инструменты, построенные на базе Kafka, чтобы упростить его использование для событийно-ориентированных приложений и архитектур потоковых данных.

Генеративный ИИ (LLM, диффузионные модели, GAN и т. д.) широко применяется в различных отраслях и вертикалях. Внедрение доменных данных в эти модели с помощью RAG становится все более распространенным на уровне приложений - фреймворк CVP (ChatGPT, векторная база данных, подсказки) является часто используемой инстанцией RAG, которая использует векторную базу данных для выполнения семантического поиска.

Интеграция Confluent использует Zilliz Cloud (Hosted Milvus) и Confluent Kafka для выполнения приема, разбора и обработки данных в реальном времени, чтобы уменьшить галлюцинации в больших языковых моделях (LLM), предоставляя актуальную и контекстуально релевантную информацию, которая помогает улучшить пользовательский опыт.

Существует огромное количество сценариев использования, которые могут выиграть от такой интеграции, например, чат-боты, анализ настроения в реальном времени и поддержка клиентов.

Помимо GenAI, вы можете использовать эту интеграцию для создания рекомендательных систем в реальном времени, обнаружения аномалий и разработки других приложений, которые выигрывают от использования ИИ в реальном времени.

Как работает интеграция

1. Данные в реальном времени записываются в Confluent через производителей тем; эти данные анализируются и отправляются обратно в Confluent.
2. Потребители Milvus считывают и обрабатывают данные из Confluent в режиме реального времени.
3. Данные в реальном времени преобразуются в векторные вкрапления с помощью моделей вкрапления.
4. Векторные эмбеддинги хранятся в облаке Zilliz.
5. Пользователи задают свои вопросы чат-боту (или приложению RAG).
6. Вопрос преобразуется в векторные вкрапления для запросов.
7. Zilliz Cloud находит k лучших результатов, наиболее релевантных вопросу, с помощью поиска по сходству.
8. Полученные результаты из Zilliz Cloud добавляются к подсказке и отправляются в LLM.
9. LLM генерирует ответ и отправляет его пользователю через чатбота.

Ознакомьтесь с этими руководствами, чтобы узнать, как использовать интеграцию с Confluent.

Скачать интеграцию и быстрый старт .