Анонсируем Kafka Connector от Confluent для Milvus и Zilliz Cloud: раскрываем возможности ИИ в реальном времени
Мы рады объявить о доступности Confluent Kafka Sink Connector с open-source Milvus и Zilliz Cloud (полностью управляемой версией Milvus). Это сотрудничество обеспечивает бесшовную потоковую передачу векторных данных в реальном времени из Confluent в векторные базы данных Milvus или Zilliz, раскрывая весь потенциал неструктурированных данных и значительно усиливая Generative AI в реальном времени на базе large language models (LLMs), таких как GPT-4 от OpenAI.
Синергия Zilliz и Confluent: обеспечение векторных потоков в реальном времени
В цифровую эпоху неструктурированные данные генерируются беспрецедентными темпами, составляя более 80% вновь создаваемой информации. Их огромный объем и постоянные обновления представляют значительную проблему для быстрого усвоения и извлечения значимых инсайтов в реальном времени. Векторные вложения — это проверенный на практике подход к извлечению инсайтов из хаоса неструктурированных данных. Суть проблемы теперь заключается в поиске эффективных решений для хранения, обработки и обеспечения легкого поиска в огромных потоках векторных данных в реальном времени.
Синергия между Confluent и векторной базой данных Milvus/Zilliz предлагает идеальное решение. Это сотрудничество обеспечивает непрерывный поток векторных потоков Confluent в реальном времени, преобразованных из неструктурированных данных, в Milvus/Zilliz, позволяя разработчикам создавать приложения для различных сценариев использования, таких как семантический поиск в реальном времени, поиск похожих изображений/видео/аудио и retrieval augmented generation.
Как вы можете извлечь выгоду из интеграции Zilliz и Confluent
Интеграция Confluent и Zilliz открывает возможности для различных отраслей и приложений. Вот несколько способов, как вы можете использовать эту интеграцию.
Усиление Generative AI с помощью базы знаний в реальном времени
Делая инкрементальные векторные данные мгновенно доступными для поиска, интеграция Zilliz и Confluent добавляет актуальную память в приложения GenAI для более свежих и точных результатов. Например, в финансовой отрасли инвестиционные компании могут использовать Confluent для создания конвейеров данных в реальном времени для потоковой передачи векторных вложений, полученных из документов SEC и последних финансовых новостей из нескольких источников. Затем эти данные загружаются в Milvus/Zilliz в реальном времени через Kafka sink connector для поиска по векторному сходству. Milvus/Zilliz быстро извлекает Top-K наиболее релевантных результатов, предоставляя Large Language Models (LLMs) самый актуальный контекст для генерации своевременных и практических инсайтов для трейдеров, экономистов и других лиц, принимающих решения.
Оптимизация персонализированных рекомендаций для e-commerce платформ
С помощью этого Kafka sink connector компании электронной коммерции могут создавать рекомендательные системы, которые быстро адаптируются к обновлениям ассортимента и поведению клиентов в реальном времени. Векторы, генерируемые из атрибутов товаров, таких как изображения, названия и описания, передаются в реальном времени в Milvus/Zilliz через Kafka sink connector. Затем Milvus/Zilliz использует эти векторные вложения для немедленного поиска по сходству, позволяя системе корректировать рекомендации на основе самых актуальных данных.
Начало работы: простые шаги к инновациям в реальном времени
Вы готовы использовать потенциал AI в реальном времени с Confluent и Zilliz? Вот как вы можете начать.
Шаг 1: Скачайте Kafka Sink Connector
Получите доступ к последнему zip-файлу коннектора из нашего GitHub repository или Confluent Hub.
Шаг 2: Настройте свои учетные записи
Зарегистрируйте бесплатные аккаунты Confluent и Zilliz. Создайте топик в Confluent Cloud и коллекцию с векторным полем в Zilliz Cloud. Убедитесь, что у них одинаковое имя поля.
Шаг 3: Загрузите коннектор
Загрузите zip-файл в разделе Connectors вашего кластера Confluent Cloud. Настройте конфиденциальные свойства, такие как токены. Подробнее см. на странице custom-connector.
Шаг 4: Настройте коннектор
Введите API Key и Secret вашего Confluent Cloud. Укажите конфигурацию коннектора Milvus, включая публичный endpoint, токен, имя векторной коллекции и топик Kafka.
Шаг 5: Запустите коннектор
Запустите коннектор, чтобы без проблем передавать данные из Kafka в Milvus. Проверьте вставку данных в Zilliz Cloud и убедитесь в магии приема данных в реальном времени.
Для подробной информации и примеров ознакомьтесь с нашим репозиторием GitHub.
Переход к ИИ в реальном времени с Zilliz и Confluent
Сделайте шаг в будущее инноваций ИИ, изучив нашу страницу интеграции с Confluent, где представлены подробные ресурсы.
Впервые пользуетесь Zilliz? Начните бесплатно с новым планом Starter без сложностей с установкой и без необходимости указывать кредитную карту. Вы также можете начать 30-дневную бесплатную пробную версию плана Standard с кредитами на сумму $100 при регистрации и возможностью заработать в общей сложности до $200 кредитами. Вы можете связаться с нами через наш портал поддержки, если у вас возникнут проблемы или вопросы при использовании Zilliz Cloud.
Еще не клиент Confluent? Начните бесплатную пробную версию Confluent Cloud и получите $400 кредитами на первые 30 дней — кредитная карта не требуется.
Эра генеративного ИИ в реальном времени наступила. Присоединяйтесь к нам, чтобы формировать будущее инноваций ИИ. Давайте вместе раскроем истинный потенциал ИИ.
Zilliz — лидер в технологии векторных баз данных, предлагающий сверхбыструю платформу, которая обеспечивает в 10 раз более быстрое векторное извлечение. Созданная на принципах cloud-native, Zilliz предназначена для использования в качестве основы приложений, которым требуется сложный поиск по сходству и использование возможностей GenAI, таких как retrieval-augmented generation. С Zilliz разработчики могут легко интегрировать расширенные функции поиска и извлечения в свои приложения, значительно улучшая пользовательский опыт и производительность backend. Чтобы узнать больше, посетите www.zilliz.com.
Confluent — это платформа потоковой передачи данных, которая создает принципиально новую категорию инфраструктуры данных, приводящую данные в движение. Cloud-native предложение Confluent — это базовая платформа для данных в движении, разработанная как интеллектуальная соединительная ткань, позволяющая данным из нескольких источников постоянно передаваться в реальном времени по всей организации. С Confluent организации могут соответствовать новому бизнес-требованию: предоставлять насыщенный цифровой клиентский опыт на front-end и переходить к сложным, работающим в реальном времени, программно-управляемым операциям back-end. Чтобы узнать больше, посетите www.confluent.io.
Читать далее
We spent 8 years making vector databases faster. Then we stopped.
Rarely queried embeddings still need to stay searchable. See how Vector Lakebase enables on-demand vector search without always-on compute costs.
How to Choose the Best Embedding Model for RAG in 2026: 10 Models Benchmarked
We benchmarked 10 embedding models on cross-modal, cross-lingual, long-document, and dimension compression tasks. See which one fits your RAG pipeline.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.