Новое в Zilliz Cloud: Migration Service, Fivetran Connector, Multi-replica и многое другое
Мы рады объявить о новых функциях в Zilliz Cloud, разработанных для улучшения поддержки запуска AI-нагрузок в производственных средах. Это обновление предоставляет разработчикам и техническим руководителям расширенные инструменты для эффективного развертывания и масштабирования приложений на основе AI.
Новые функции позволяют техническим командам:
Сохранять полный контроль над своими неструктурированными данными, используя при этом лучшие в своем классе технологии
Поддерживать требования к скорости и масштабу крупномасштабных производственных приложений GenAI
Обеспечивать надежную и безопасную работу нагрузок GenAI в производственных средах
По мере того как организации все чаще развертывают приложения на основе AI, управление большими объемами неструктурированных данных, обеспечение высокой производительности в масштабе и поддержание эксплуатационной надежности становятся критически важными задачами. Наши новые функции решают эти проблемы, позволяя командам разработки сосредоточиться на инновациях, а не на управлении инфраструктурой.
Вот обзор наших новых функций — читайте далее, чтобы узнать больше:
- Migration Service
- Fivetran source connector
- Multi-replica
- Auto-scaling
- Другие обновления Production Readiness
Присоединяйтесь к нашему Launch webinar, чтобы увидеть эти инновации в действии.
Обзор запуска Zilliz в сентябре 2024 года
Рисунок 1: Обзор запуска Zilliz в сентябре 2024 года
Migration Service: безопасная и эффективная миграция векторных данных
Zilliz Cloud представляет Migration Services для векторных данных — новую функцию, которая решает критически важные задачи, с которыми сталкиваются разработчики при работе с векторными базами данных в AI-приложениях. По мере развития проектов необходимость переноса векторных данных между базами данных и другими системами данных становится критически важной по нескольким причинам:
Избежание привязки к поставщику
Реализация надежных стратегий резервного копирования и восстановления данных
Обеспечение взаимодействия между различными системами
Однако этот процесс часто оказывается сложнее, чем ожидалось, и несет риск потери информации или функциональности во время переноса.
Migration Services упрощает решение этих задач, предлагая следующее:
Миграция без потерь между векторными базами данных (например, Milvus, pgvector, Elastic)
Поддержка как массового импорта, так и инкрементальной миграции данных
Встроенная проверка данных для обеспечения согласованности и сохранения функциональности
Высокопроизводительные операции, разработанные для обработки крупномасштабных векторных наборов данных
С Migration Services разработчики могут сохранять полный контроль над своими данными на разных платформах и в различных сценариях. Упрощая процесс миграции, Migration Services позволяет вам сосредоточиться на создании и улучшении ваших AI-моделей и приложений, обеспечивая при этом переносимость, безопасность и целостность данных.
Fivetran Connector: упрощенная интеграция неструктурированных данных из 500+ источников
Zilliz Cloud теперь интегрируется с Fivetran, значительно расширяя возможности приема данных. Этот новый connector обеспечивает эффективное извлечение неструктурированных данных из более чем 500 различных систем, расширяя объем данных, доступных для ваших AI-приложений.
Вот как это работает:
Неструктурированные данные из 500+ источников (таких как Snowflake, MongoDB, Salesforce и т. д.) поступают в Fivetran.
Коннекторы и логика трансформации Fivetran обрабатывают данные.
Milvus source connector (созданный с использованием Fivetran SDK) направляет обработанные данные в Zilliz/Milvus.
Неструктурированные данные могут быть векторизованы с помощью OpenAI Embedding Services через Fivetran connector от OpenAI.
Наконец, векторные данные загружаются в Zilliz Cloud/ Milvus, готовые для векторного поиска и AI-приложений.
Как работает Fivetran Source Connector
Рисунок 2: Как работает исходный коннектор Fivetran
Эта интеграция упрощает весь процесс сбора, преобразования и векторизации неструктурированных данных из различных источников. Она устраняет необходимость в пользовательских ETL-конвейерах, экономя время и усилия разработчиков и обеспечивая при этом бесперебойный поток данных в Milvus/ Zilliz.
Используя этот коннектор Fivetran, вы можете легко создавать свои AI-приложения с огромным массивом неструктурированных данных, открывая новые возможности для семантического поиска и аналитики на основе AI.
Мульти-реплика: повышение производительности и доступности
Недавно ставшая доступной в публичном предварительном просмотре функциональность мульти-реплик усиливает возможности Zilliz Cloud для производственных сред. Эта функция обеспечивает репликацию на уровне кластера, значительно повышая производительность запросов и доступность системы.
Многие потребительские AI-приложения сталкиваются в production с узкими местами по количеству запросов в секунду (QPS) из-за большого числа пользователей. Мульти-реплика решает эту проблему, распределяя рабочие нагрузки запросов между репликами и обеспечивая параллельную обработку, которая может линейно повышать общий QPS по мере добавления реплик. Это приводит к снижению задержки и повышению эффективности, что крайне важно для поддержания быстрого отклика в производственных средах с высоким трафиком.
Кроме того, мульти-реплика повышает надежность системы, распределяя реплики по нескольким зонам доступности (AZ). Такая архитектура обеспечивает непрерывный доступ к данным даже при сбое AZ, предоставляя высокую доступность, необходимую для критически важных приложений. Хотя мульти-реплика не увеличивает общую емкость кластера, она предлагает мощный инструмент для оптимизации производительности запросов и обеспечения отказоустойчивости системы, необходимой в производственных средах, позволяя командам уверенно масштабировать свои AI-приложения.
Автомасштабирование: динамическое управление емкостью
Zilliz Cloud разворачивает функцию автомасштабирования (в закрытом предварительном просмотре), которая решает распространенную проблему в производственных средах: управление емкостью кластера в ответ на колебания спроса. Эта функция динамически корректирует ситуацию, когда емкость кластера сокращается на основе использования в реальном времени, помогая предотвращать ограничения доступа на запись из-за недостатка ресурсов и снижать операционную нагрузку.
Автомасштабирование срабатывает, когда емкость Compute Unit (CU) кластера превышает заданный порог (по умолчанию 70% и настраивается) в течение двух минут подряд. Разработчики могут задать максимальный размер CU для масштабирования, обеспечивая контроль над распределением ресурсов и затратами.
Примечание: автомасштабирование сейчас находится в закрытом предварительном просмотре и доступно только для кластеров Dedicated (Enterprise). Организациям, заинтересованным в тестировании этой функции, следует обратиться в поддержку Zilliz, чтобы получить доступ.
Другие обновления готовности к production
Zilliz Cloud представляет еще несколько важных обновлений для повышения готовности к production:
Надежность: SLA на уровне 99,95% времени безотказной работы для критически важных AI-приложений.
Мониторинг и оповещения:
39 организационных и проектных оповещений для управления затратами и производительностью.
18 ключевых метрик по использованию ресурсов, QPS, результатам запросов и операциям с данными.
Настраиваемые графики для углубленного анализа состояния системы.
- Безопасность: SSO на основе Auth0 (закрытый предварительный просмотр) с вариантами входа через Google, Github, SSO и Email.
- Новый регион Zilliz Cloud онлайн: Zilliz Cloud только что расширился в новый регион — AWS Tokyo (ap-northeast-1)! Это означает меньшую задержку, более высокую производительность и больший суверенитет данных для наших пользователей в Азиатско-Тихоокеанском регионе и соседних регионах.
Эти функции предоставляют разработчикам инструменты для поддержания высокопроизводительных, безопасных и экономически эффективных AI-приложений в production.
Создание готовых к production AI-приложений с Zilliz Cloud
Новейшие функции Zilliz Cloud разработаны, чтобы расширить ваши возможности по созданию и поддержке надежных AI-приложений в производственных средах. От безопасной миграции данных до динамического масштабирования и комплексного мониторинга — эти обновления решают критически важные проблемы, с которыми сталкиваются разработчики и технические руководители.
Хотите узнать больше? Присоединяйтесь к нашему предстоящему вебинару, чтобы узнать, как эти новые функции могут преобразить управление неструктурированными данными и ваши AI-приложения. Наша продуктовая команда расскажет о последних разработках и лучших практиках использования Zilliz Cloud в production.
Готовы начать? Начните свой путь с Zilliz Cloud бесплатно — без установки и без необходимости указывать кредитную карту. Вы также можете начать 30-дневную бесплатную пробную версию нашего выделенного предложения, которое включает кредиты на сумму $100 при регистрации. Вы получите дополнительные $100 кредитов, если оформите подписку на Zilliz Cloud через любой облачный marketplace!
Если у вас есть вопросы или вам нужна помощь при изучении Zilliz Cloud, наша служба поддержки готова помочь. Обратитесь к нам через наш портал поддержки, и мы будем рады помочь вам использовать эти новые функции для ваших AI-приложений.
Начните создавать готовые к production AI-приложения с Zilliz Cloud уже сегодня!
Читать далее
Announcing VDBBench 1.0: Open-Source VectorDB Benchmarking with Your Real-World Production Workloads
Discover VDBBench 1.0, an open-source tool for benchmarking vector databases with real-world production data, streaming ingestion, and concurrent workloads.
Zilliz Cloud Introduces Advanced BYOC-I Solution for Ultimate Enterprise Data Sovereignty
Explore Zilliz Cloud BYOC-I, the solution that balances AI innovation with data control, enabling secure deployments in finance, healthcare, and education sectors.
OpenAI o1: What Developers Need to Know
In this article, we will talk about the o1 series from a developer's perspective, exploring how these models can be implemented for sophisticated use cases.