Новое в Zilliz Cloud: Migration Service, Fivetran Connector, Multi-replica и многое другое

Мы рады объявить о новых функциях в Zilliz Cloud, разработанных для улучшения поддержки запуска AI-нагрузок в производственных средах. Это обновление предоставляет разработчикам и техническим руководителям расширенные инструменты для эффективного развертывания и масштабирования приложений на основе AI.

Новые функции позволяют техническим командам:

• Сохранять полный контроль над своими неструктурированными данными, используя при этом лучшие в своем классе технологии

• Поддерживать требования к скорости и масштабу крупномасштабных производственных приложений GenAI

• Обеспечивать надежную и безопасную работу нагрузок GenAI в производственных средах

По мере того как организации все чаще развертывают приложения на основе AI, управление большими объемами неструктурированных данных, обеспечение высокой производительности в масштабе и поддержание эксплуатационной надежности становятся критически важными задачами. Наши новые функции решают эти проблемы, позволяя командам разработки сосредоточиться на инновациях, а не на управлении инфраструктурой.

Вот обзор наших новых функций — читайте далее, чтобы узнать больше:

• Migration Service
• Fivetran source connector
• Multi-replica
• Auto-scaling
• Другие обновления Production Readiness

Присоединяйтесь к нашему Launch webinar, чтобы увидеть эти инновации в действии.

Обзор запуска Zilliz в сентябре 2024 года

Рисунок 1: Обзор запуска Zilliz в сентябре 2024 года

Migration Service: безопасная и эффективная миграция векторных данных

Zilliz Cloud представляет Migration Services для векторных данных — новую функцию, которая решает критически важные задачи, с которыми сталкиваются разработчики при работе с векторными базами данных в AI-приложениях. По мере развития проектов необходимость переноса векторных данных между базами данных и другими системами данных становится критически важной по нескольким причинам:

• Избежание привязки к поставщику

• Реализация надежных стратегий резервного копирования и восстановления данных

• Обеспечение взаимодействия между различными системами

Однако этот процесс часто оказывается сложнее, чем ожидалось, и несет риск потери информации или функциональности во время переноса.

Migration Services упрощает решение этих задач, предлагая следующее:

• Миграция без потерь между векторными базами данных (например, Milvus, pgvector, Elastic)

• Поддержка как массового импорта, так и инкрементальной миграции данных

• Встроенная проверка данных для обеспечения согласованности и сохранения функциональности

• Высокопроизводительные операции, разработанные для обработки крупномасштабных векторных наборов данных

С Migration Services разработчики могут сохранять полный контроль над своими данными на разных платформах и в различных сценариях. Упрощая процесс миграции, Migration Services позволяет вам сосредоточиться на создании и улучшении ваших AI-моделей и приложений, обеспечивая при этом переносимость, безопасность и целостность данных.

Fivetran Connector: упрощенная интеграция неструктурированных данных из 500+ источников

Zilliz Cloud теперь интегрируется с Fivetran, значительно расширяя возможности приема данных. Этот новый connector обеспечивает эффективное извлечение неструктурированных данных из более чем 500 различных систем, расширяя объем данных, доступных для ваших AI-приложений.

Вот как это работает:

• Неструктурированные данные из 500+ источников (таких как Snowflake, MongoDB, Salesforce и т. д.) поступают в Fivetran.

• Коннекторы и логика трансформации Fivetran обрабатывают данные.

• Milvus source connector (созданный с использованием Fivetran SDK) направляет обработанные данные в Zilliz/Milvus.

• Неструктурированные данные могут быть векторизованы с помощью OpenAI Embedding Services через Fivetran connector от OpenAI.

• Наконец, векторные данные загружаются в Zilliz Cloud/ Milvus, готовые для векторного поиска и AI-приложений.

Как работает Fivetran Source Connector

Рисунок 2: Как работает исходный коннектор Fivetran

Эта интеграция упрощает весь процесс сбора, преобразования и векторизации неструктурированных данных из различных источников. Она устраняет необходимость в пользовательских ETL-конвейерах, экономя время и усилия разработчиков и обеспечивая при этом бесперебойный поток данных в Milvus/ Zilliz.

Используя этот коннектор Fivetran, вы можете легко создавать свои AI-приложения с огромным массивом неструктурированных данных, открывая новые возможности для семантического поиска и аналитики на основе AI.

Мульти-реплика: повышение производительности и доступности

Недавно ставшая доступной в публичном предварительном просмотре функциональность мульти-реплик усиливает возможности Zilliz Cloud для производственных сред. Эта функция обеспечивает репликацию на уровне кластера, значительно повышая производительность запросов и доступность системы.

Многие потребительские AI-приложения сталкиваются в production с узкими местами по количеству запросов в секунду (QPS) из-за большого числа пользователей. Мульти-реплика решает эту проблему, распределяя рабочие нагрузки запросов между репликами и обеспечивая параллельную обработку, которая может линейно повышать общий QPS по мере добавления реплик. Это приводит к снижению задержки и повышению эффективности, что крайне важно для поддержания быстрого отклика в производственных средах с высоким трафиком.

Кроме того, мульти-реплика повышает надежность системы, распределяя реплики по нескольким зонам доступности (AZ). Такая архитектура обеспечивает непрерывный доступ к данным даже при сбое AZ, предоставляя высокую доступность, необходимую для критически важных приложений. Хотя мульти-реплика не увеличивает общую емкость кластера, она предлагает мощный инструмент для оптимизации производительности запросов и обеспечения отказоустойчивости системы, необходимой в производственных средах, позволяя командам уверенно масштабировать свои AI-приложения.

Автомасштабирование: динамическое управление емкостью

Zilliz Cloud разворачивает функцию автомасштабирования (в закрытом предварительном просмотре), которая решает распространенную проблему в производственных средах: управление емкостью кластера в ответ на колебания спроса. Эта функция динамически корректирует ситуацию, когда емкость кластера сокращается на основе использования в реальном времени, помогая предотвращать ограничения доступа на запись из-за недостатка ресурсов и снижать операционную нагрузку.

Автомасштабирование срабатывает, когда емкость Compute Unit (CU) кластера превышает заданный порог (по умолчанию 70% и настраивается) в течение двух минут подряд. Разработчики могут задать максимальный размер CU для масштабирования, обеспечивая контроль над распределением ресурсов и затратами.

Примечание: автомасштабирование сейчас находится в закрытом предварительном просмотре и доступно только для кластеров Dedicated (Enterprise). Организациям, заинтересованным в тестировании этой функции, следует обратиться в поддержку Zilliz, чтобы получить доступ.

Другие обновления готовности к production

Zilliz Cloud представляет еще несколько важных обновлений для повышения готовности к production:

1. Надежность: SLA на уровне 99,95% времени безотказной работы для критически важных AI-приложений.

2. Мониторинг и оповещения:

• 39 организационных и проектных оповещений для управления затратами и производительностью.

• 18 ключевых метрик по использованию ресурсов, QPS, результатам запросов и операциям с данными.

• Настраиваемые графики для углубленного анализа состояния системы.

3. Безопасность: SSO на основе Auth0 (закрытый предварительный просмотр) с вариантами входа через Google, Github, SSO и Email.
4. Новый регион Zilliz Cloud онлайн: Zilliz Cloud только что расширился в новый регион — AWS Tokyo (ap-northeast-1)! Это означает меньшую задержку, более высокую производительность и больший суверенитет данных для наших пользователей в Азиатско-Тихоокеанском регионе и соседних регионах.

Эти функции предоставляют разработчикам инструменты для поддержания высокопроизводительных, безопасных и экономически эффективных AI-приложений в production.

Создание готовых к production AI-приложений с Zilliz Cloud

Новейшие функции Zilliz Cloud разработаны, чтобы расширить ваши возможности по созданию и поддержке надежных AI-приложений в производственных средах. От безопасной миграции данных до динамического масштабирования и комплексного мониторинга — эти обновления решают критически важные проблемы, с которыми сталкиваются разработчики и технические руководители.

Хотите узнать больше? Присоединяйтесь к нашему предстоящему вебинару, чтобы узнать, как эти новые функции могут преобразить управление неструктурированными данными и ваши AI-приложения. Наша продуктовая команда расскажет о последних разработках и лучших практиках использования Zilliz Cloud в production.

Зарезервировать место

Готовы начать? Начните свой путь с Zilliz Cloud бесплатно — без установки и без необходимости указывать кредитную карту. Вы также можете начать 30-дневную бесплатную пробную версию нашего выделенного предложения, которое включает кредиты на сумму $100 при регистрации. Вы получите дополнительные $100 кредитов, если оформите подписку на Zilliz Cloud через любой облачный marketplace!

Если у вас есть вопросы или вам нужна помощь при изучении Zilliz Cloud, наша служба поддержки готова помочь. Обратитесь к нам через наш портал поддержки, и мы будем рады помочь вам использовать эти новые функции для ваших AI-приложений.

Начните создавать готовые к production AI-приложения с Zilliz Cloud уже сегодня!