Анонсируем Kafka Connector от Confluent для Milvus и Zilliz Cloud: раскрываем возможности ИИ в реальном времени
Мы рады объявить о доступности Confluent Kafka Sink Connector с open-source Milvus и Zilliz Cloud (полностью управляемой версией Milvus). Это сотрудничество обеспечивает бесшовную потоковую передачу векторных данных в реальном времени из Confluent в векторные базы данных Milvus или Zilliz, раскрывая весь потенциал неструктурированных данных и значительно усиливая Generative AI в реальном времени на базе large language models (LLMs), таких как GPT-4 от OpenAI.
Синергия Zilliz и Confluent: обеспечение векторных потоков в реальном времени
В цифровую эпоху неструктурированные данные генерируются беспрецедентными темпами, составляя более 80% вновь создаваемой информации. Их огромный объем и постоянные обновления представляют значительную проблему для быстрого усвоения и извлечения значимых инсайтов в реальном времени. Векторные вложения — это проверенный на практике подход к извлечению инсайтов из хаоса неструктурированных данных. Суть проблемы теперь заключается в поиске эффективных решений для хранения, обработки и обеспечения легкого поиска в огромных потоках векторных данных в реальном времени.
Синергия между Confluent и векторной базой данных Milvus/Zilliz предлагает идеальное решение. Это сотрудничество обеспечивает непрерывный поток векторных потоков Confluent в реальном времени, преобразованных из неструктурированных данных, в Milvus/Zilliz, позволяя разработчикам создавать приложения для различных сценариев использования, таких как семантический поиск в реальном времени, поиск похожих изображений/видео/аудио и retrieval augmented generation.
Как вы можете извлечь выгоду из интеграции Zilliz и Confluent
Интеграция Confluent и Zilliz открывает возможности для различных отраслей и приложений. Вот несколько способов, как вы можете использовать эту интеграцию.
Усиление Generative AI с помощью базы знаний в реальном времени
Делая инкрементальные векторные данные мгновенно доступными для поиска, интеграция Zilliz и Confluent добавляет актуальную память в приложения GenAI для более свежих и точных результатов. Например, в финансовой отрасли инвестиционные компании могут использовать Confluent для создания конвейеров данных в реальном времени для потоковой передачи векторных вложений, полученных из документов SEC и последних финансовых новостей из нескольких источников. Затем эти данные загружаются в Milvus/Zilliz в реальном времени через Kafka sink connector для поиска по векторному сходству. Milvus/Zilliz быстро извлекает Top-K наиболее релевантных результатов, предоставляя Large Language Models (LLMs) самый актуальный контекст для генерации своевременных и практических инсайтов для трейдеров, экономистов и других лиц, принимающих решения.
Оптимизация персонализированных рекомендаций для e-commerce платформ
С помощью этого Kafka sink connector компании электронной коммерции могут создавать рекомендательные системы, которые быстро адаптируются к обновлениям ассортимента и поведению клиентов в реальном времени. Векторы, генерируемые из атрибутов товаров, таких как изображения, названия и описания, передаются в реальном времени в Milvus/Zilliz через Kafka sink connector. Затем Milvus/Zilliz использует эти векторные вложения для немедленного поиска по сходству, позволяя системе корректировать рекомендации на основе самых актуальных данных.
Начало работы: простые шаги к инновациям в реальном времени
Вы готовы использовать потенциал AI в реальном времени с Confluent и Zilliz? Вот как вы можете начать.
Шаг 1: Скачайте Kafka Sink Connector
Получите доступ к последнему zip-файлу коннектора из нашего GitHub repository или Confluent Hub.
Шаг 2: Настройте свои учетные записи
Зарегистрируйте бесплатные аккаунты Confluent и Zilliz. Создайте топик в Confluent Cloud и коллекцию с векторным полем в Zilliz Cloud. Убедитесь, что у них одинаковое имя поля.
Шаг 3: Загрузите коннектор
Загрузите zip-файл в разделе Connectors вашего кластера Confluent Cloud. Настройте конфиденциальные свойства, такие как токены. Подробнее см. на странице custom-connector.
Шаг 4: Настройте коннектор
Введите API Key и Secret вашего Confluent Cloud. Укажите конфигурацию коннектора Milvus, включая публичный endpoint, токен, имя векторной коллекции и топик Kafka.
Шаг 5: Запустите коннектор
Запустите коннектор, чтобы без проблем передавать данные из Kafka в Milvus. Проверьте вставку данных в Zilliz Cloud и убедитесь в магии приема данных в реальном времени.
Для подробной информации и примеров ознакомьтесь с нашим репозиторием GitHub.
Переход к ИИ в реальном времени с Zilliz и Confluent
Сделайте шаг в будущее инноваций ИИ, изучив нашу страницу интеграции с Confluent, где представлены подробные ресурсы.
Впервые пользуетесь Zilliz? Начните бесплатно с новым планом Starter без сложностей с установкой и без необходимости указывать кредитную карту. Вы также можете начать 30-дневную бесплатную пробную версию плана Standard с кредитами на сумму $100 при регистрации и возможностью заработать в общей сложности до $200 кредитами. Вы можете связаться с нами через наш портал поддержки, если у вас возникнут проблемы или вопросы при использовании Zilliz Cloud.
Еще не клиент Confluent? Начните бесплатную пробную версию Confluent Cloud и получите $400 кредитами на первые 30 дней — кредитная карта не требуется.
Эра генеративного ИИ в реальном времени наступила. Присоединяйтесь к нам, чтобы формировать будущее инноваций ИИ. Давайте вместе раскроем истинный потенциал ИИ.
Zilliz — лидер в технологии векторных баз данных, предлагающий сверхбыструю платформу, которая обеспечивает в 10 раз более быстрое векторное извлечение. Созданная на принципах cloud-native, Zilliz предназначена для использования в качестве основы приложений, которым требуется сложный поиск по сходству и использование возможностей GenAI, таких как retrieval-augmented generation. С Zilliz разработчики могут легко интегрировать расширенные функции поиска и извлечения в свои приложения, значительно улучшая пользовательский опыт и производительность backend. Чтобы узнать больше, посетите www.zilliz.com.
Confluent — это платформа потоковой передачи данных, которая создает принципиально новую категорию инфраструктуры данных, приводящую данные в движение. Cloud-native предложение Confluent — это базовая платформа для данных в движении, разработанная как интеллектуальная соединительная ткань, позволяющая данным из нескольких источников постоянно передаваться в реальном времени по всей организации. С Confluent организации могут соответствовать новому бизнес-требованию: предоставлять насыщенный цифровой клиентский опыт на front-end и переходить к сложным, работающим в реальном времени, программно-управляемым операциям back-end. Чтобы узнать больше, посетите www.confluent.io.
Читать далее
VDBBench Adds Cost-Aware Benchmarking for Vector Databases
Compare Zilliz Cloud, Pinecone, and turbopuffer with VDBBench cost-aware vector database benchmarks across latency, freshness, multitenancy, and cold starts.
Milvus 2.6.x Now Generally Available on Zilliz Cloud, Making Vector Search Faster, Smarter, and More Cost-Efficient for Production AI
Milvus 2.6.x is now GA on Zilliz Cloud, delivering faster vector search, smarter hybrid queries, and lower costs for production RAG and AI applications.
Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes
This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.