Анонсируем Kafka Connector от Confluent для Milvus и Zilliz Cloud: раскрываем возможности ИИ в реальном времени

Мы рады объявить о доступности Confluent Kafka Sink Connector с open-source Milvus и Zilliz Cloud (полностью управляемой версией Milvus). Это сотрудничество обеспечивает бесшовную потоковую передачу векторных данных в реальном времени из Confluent в векторные базы данных Milvus или Zilliz, раскрывая весь потенциал неструктурированных данных и значительно усиливая Generative AI в реальном времени на базе large language models (LLMs), таких как GPT-4 от OpenAI.

Синергия Zilliz и Confluent: обеспечение векторных потоков в реальном времени

В цифровую эпоху неструктурированные данные генерируются беспрецедентными темпами, составляя более 80% вновь создаваемой информации. Их огромный объем и постоянные обновления представляют значительную проблему для быстрого усвоения и извлечения значимых инсайтов в реальном времени. Векторные вложения — это проверенный на практике подход к извлечению инсайтов из хаоса неструктурированных данных. Суть проблемы теперь заключается в поиске эффективных решений для хранения, обработки и обеспечения легкого поиска в огромных потоках векторных данных в реальном времени.

Синергия между Confluent и векторной базой данных Milvus/Zilliz предлагает идеальное решение. Это сотрудничество обеспечивает непрерывный поток векторных потоков Confluent в реальном времени, преобразованных из неструктурированных данных, в Milvus/Zilliz, позволяя разработчикам создавать приложения для различных сценариев использования, таких как семантический поиск в реальном времени, поиск похожих изображений/видео/аудио и retrieval augmented generation.

Как вы можете извлечь выгоду из интеграции Zilliz и Confluent

Интеграция Confluent и Zilliz открывает возможности для различных отраслей и приложений. Вот несколько способов, как вы можете использовать эту интеграцию.

Усиление Generative AI с помощью базы знаний в реальном времени

Делая инкрементальные векторные данные мгновенно доступными для поиска, интеграция Zilliz и Confluent добавляет актуальную память в приложения GenAI для более свежих и точных результатов. Например, в финансовой отрасли инвестиционные компании могут использовать Confluent для создания конвейеров данных в реальном времени для потоковой передачи векторных вложений, полученных из документов SEC и последних финансовых новостей из нескольких источников. Затем эти данные загружаются в Milvus/Zilliz в реальном времени через Kafka sink connector для поиска по векторному сходству. Milvus/Zilliz быстро извлекает Top-K наиболее релевантных результатов, предоставляя Large Language Models (LLMs) самый актуальный контекст для генерации своевременных и практических инсайтов для трейдеров, экономистов и других лиц, принимающих решения.

Оптимизация персонализированных рекомендаций для e-commerce платформ

С помощью этого Kafka sink connector компании электронной коммерции могут создавать рекомендательные системы, которые быстро адаптируются к обновлениям ассортимента и поведению клиентов в реальном времени. Векторы, генерируемые из атрибутов товаров, таких как изображения, названия и описания, передаются в реальном времени в Milvus/Zilliz через Kafka sink connector. Затем Milvus/Zilliz использует эти векторные вложения для немедленного поиска по сходству, позволяя системе корректировать рекомендации на основе самых актуальных данных.

Начало работы: простые шаги к инновациям в реальном времени

Вы готовы использовать потенциал AI в реальном времени с Confluent и Zilliz? Вот как вы можете начать.

Шаг 1: Скачайте Kafka Sink Connector

Получите доступ к последнему zip-файлу коннектора из нашего GitHub repository или Confluent Hub.

Шаг 2: Настройте свои учетные записи

Зарегистрируйте бесплатные аккаунты Confluent и Zilliz. Создайте топик в Confluent Cloud и коллекцию с векторным полем в Zilliz Cloud. Убедитесь, что у них одинаковое имя поля.

Шаг 3: Загрузите коннектор

Загрузите zip-файл в разделе Connectors вашего кластера Confluent Cloud. Настройте конфиденциальные свойства, такие как токены. Подробнее см. на странице custom-connector.

Шаг 4: Настройте коннектор

Введите API Key и Secret вашего Confluent Cloud. Укажите конфигурацию коннектора Milvus, включая публичный endpoint, токен, имя векторной коллекции и топик Kafka.

Шаг 5: Запустите коннектор

Запустите коннектор, чтобы без проблем передавать данные из Kafka в Milvus. Проверьте вставку данных в Zilliz Cloud и убедитесь в магии приема данных в реальном времени.

Для подробной информации и примеров ознакомьтесь с нашим репозиторием GitHub.

Переход к ИИ в реальном времени с Zilliz и Confluent

Сделайте шаг в будущее инноваций ИИ, изучив нашу страницу интеграции с Confluent, где представлены подробные ресурсы.

Впервые пользуетесь Zilliz? Начните бесплатно с новым планом Starter без сложностей с установкой и без необходимости указывать кредитную карту. Вы также можете начать 30-дневную бесплатную пробную версию плана Standard с кредитами на сумму $100 при регистрации и возможностью заработать в общей сложности до $200 кредитами. Вы можете связаться с нами через наш портал поддержки, если у вас возникнут проблемы или вопросы при использовании Zilliz Cloud.

Еще не клиент Confluent? Начните бесплатную пробную версию Confluent Cloud и получите $400 кредитами на первые 30 дней — кредитная карта не требуется.

Эра генеративного ИИ в реальном времени наступила. Присоединяйтесь к нам, чтобы формировать будущее инноваций ИИ. Давайте вместе раскроем истинный потенциал ИИ.

Zilliz — лидер в технологии векторных баз данных, предлагающий сверхбыструю платформу, которая обеспечивает в 10 раз более быстрое векторное извлечение. Созданная на принципах cloud-native, Zilliz предназначена для использования в качестве основы приложений, которым требуется сложный поиск по сходству и использование возможностей GenAI, таких как retrieval-augmented generation. С Zilliz разработчики могут легко интегрировать расширенные функции поиска и извлечения в свои приложения, значительно улучшая пользовательский опыт и производительность backend. Чтобы узнать больше, посетите www.zilliz.com.

Confluent — это платформа потоковой передачи данных, которая создает принципиально новую категорию инфраструктуры данных, приводящую данные в движение. Cloud-native предложение Confluent — это базовая платформа для данных в движении, разработанная как интеллектуальная соединительная ткань, позволяющая данным из нескольких источников постоянно передаваться в реальном времени по всей организации. С Confluent организации могут соответствовать новому бизнес-требованию: предоставлять насыщенный цифровой клиентский опыт на front-end и переходить к сложным, работающим в реальном времени, программно-управляемым операциям back-end. Чтобы узнать больше, посетите www.confluent.io.