Создавайте GenAI-приложения в реальном времени с Zilliz Cloud и Confluent Cloud для Apache Flink®
Сегодня мы рады объявить о партнерстве с Confluent, чтобы открыть возможности семантического поиска для обновлений в реальном времени на базе Apache Kafka®, Apache Flink® и векторной базы данных Milvus. С развитием ИИ модели эмбеддингов и векторный поиск получили широкое распространение для реализации поиска и рекомендаций во многих приложениях, включая корпоративный поиск, электронную коммерцию и все более популярную генерацию с дополненным извлечением (Retrieval Augmented Generation, RAG). Для любой системы поиска и рекомендаций актуальность информации критически важна для пользовательского опыта.
Confluent только что объявила об общедоступности единственного в отрасли облачного serverless-сервиса Apache Flink®, который теперь доступен непосредственно вместе с облачным Apache Kafka® на полностью управляемой платформе потоковой передачи данных Confluent. Новое предложение Flink теперь готово к использованию в AWS, Google Cloud и Azure. Благодаря прямой интеграции с Milvus и Zilliz Cloud (полностью управляемым Milvus), Confluent предоставляет простое решение для доступа к потокам данных со всего бизнеса и их обработки, чтобы создавать базу знаний в реальном времени — контекстную и надежную — для питания ИИ-приложений.
Как Zilliz Cloud работает с Confluent Cloud
Приложения GenAI в реальном времени требуют обработки данных в реальном времени
Успешное развертывание приложений GenAI, таких как Retrieval Augmented Generation (RAG), требует построения конвейеров данных, которые предоставляют релевантные потоки данных в реальном времени, поступающие из каждого уголка бизнеса. Однако подготовка таких конвейеров — непростая задача, особенно с учетом постоянно растущего числа разнообразных источников данных, охватывающих как устаревшие, так и современные среды данных.
Обеспечение приложениям доступа к конвейерам в реальном времени с обработанными, подготовленными данными часто требует выделения ценных инженерных ресурсов на управление open source-инструментами внутри компании вместо фокусировки на инновациях, влияющих на бизнес. В качестве альтернативы безопасная обработка потоков данных в нескольких нижестоящих системах (или в нескольких распределенных системах) сложна и препятствует (пере)использованию данных, требуя избыточной и дорогостоящей обработки.
Без надежного и экономически эффективного способа обработки и подготовки потоков данных в реальном времени, необходимых нижестоящим инструментам, преимущества GenAI останутся недоступными для большинства.
Легко создавайте высококачественные, переиспользуемые потоки данных с единственным в отрасли облачным serverless-сервисом Flink
Apache Flink — это унифицированный фреймворк для потоковой и пакетной обработки, который многие годы входит в пятерку ведущих проектов Apache. У Flink сильное и разнообразное сообщество контрибьюторов, поддерживаемое такими компаниями, как Alibaba и Apple. Он обеспечивает работу платформ потоковой обработки во многих компаниях, включая цифровых нативов, таких как Uber, Netflix и LinkedIn, а также успешные предприятия, такие как ING, Goldman Sachs и Comcast.
Полностью интегрированный с Apache Kafka в Confluent Cloud, новый сервис Flink от Confluent позволяет компаниям:
● Без усилий фильтровать, объединять и обогащать ваши потоки данных Confluent с помощью Flink, фактического стандарта потоковой обработки
● Обеспечивать высокопроизводительную и эффективную потоковую обработку в любом масштабе без сложностей управления инфраструктурой
● Воспринимать Kafka и Flink как единую платформу с полностью интегрированными мониторингом, безопасностью и управлением
Используя Kafka и Flink как единую платформу, команды могут подключаться к источникам данных в любой среде, очищать и обогащать потоки данных на лету и передавать их в реальном времени в векторную базу данных Milvus для эффективного семантического поиска или рекомендаций. Благодаря масштабируемой архитектуре Milvus данные становятся мгновенно доступными для поиска без ущерба для задержки текущих поисковых запросов. Это гарантирует, что приложения GenAI имеют самое актуальное представление о бизнес-данных.
Полностью управляемый сервис Flink от Confluent теперь общедоступен у всех трех крупнейших поставщиков облачных сервисов, предоставляя клиентам настоящее мультиоблачное решение и гибкость для беспрепятственного развертывания рабочих нагрузок потоковой обработки везде, где находятся их данные и приложения. Поддерживаемая SLA с доступностью 99,99%, Confluent обеспечивает надежную потоковую обработку при поддержке и сервисах от ведущих экспертов по Kafka и Flink.
Вместе Zilliz и Confluent упрощают разработку приложений GenAI
Наша интеграция с Confluent позволяет вашим командам использовать непрерывно обогащаемую векторную базу данных, в которую обновления бизнес-данных передаются потоково и индексируются в реальном времени, чтобы вы могли быстро создавать и масштабировать AI-приложения с лучшим пользовательским опытом.
Начало работы
Ознакомьтесь с open-source коннектором Kafka-Milvus и используйте его вместе с вашими экземплярами Flink и Kafka в Confluent Cloud и полностью управляемым Milvus в Zilliz Cloud, чтобы мгновенно делать обновления данных в реальном времени доступными для векторного поиска.
Еще не являетесь клиентом Confluent? Начните бесплатный пробный период Confluent Cloud сегодня. Новые пользователи получают $400 для использования в течение первых 30 дней — кредитная карта не требуется.
Читать далее
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.
Milvus WebUI: A Visual Management Tool for Your Vector Database
Explore Milvus WebUI to monitor, manage, and optimize your vector database with real-time insights, performance tracking, and system health monitoring.