Почему и как перейти с самостоятельно размещённого Milvus на Zilliz Cloud
Milvus — самая популярная векторная база данных с открытым исходным кодом, которой доверяют за высокую производительность и горизонтальную масштабируемость. Если вы уже используете Milvus, вы знаете, насколько эффективно она справляется с поиском по сходству и крупномасштабными рабочими нагрузками с эмбеддингами.
Но по мере расширения ваших наборов данных и усложнения приложений поддержка собственного развертывания Milvus может становиться всё более сложной — от управления инфраструктурой и масштабирования кластеров до обеспечения стабильной производительности.
Именно здесь на помощь приходит Zilliz Cloud. Как полностью управляемый облачный сервис для Milvus, он обеспечивает до 10 раз более высокую производительность и предоставляет готовую к production среду, которая берет на себя хостинг, масштабирование и оптимизацию без лишних усилий — чтобы ваша команда могла сосредоточиться на создании AI-приложений, а не на управлении инфраструктурой.
В этой статье мы сравним Milvus и Zilliz Cloud и пошагово покажем, как плавно мигрировать с Milvus на Zilliz Cloud и начать использовать все преимущества ваших векторных данных — без операционных накладных расходов.
Milvus vs. Zilliz Cloud
Milvus и Zilliz Cloud имеют общую основу, но оптимизированы для разных целей.
Milvus, векторная база данных с открытым исходным кодом, предоставляет разработчикам полный контроль и гибкость. Работая на базе Knowhere, своего движка выполнения векторных операций, Milvus интегрирует высокопроизводительные библиотеки, такие как Faiss, Hnswlib и Annoy, дополняя их SIMD-ускорением, гибридным выполнением на CPU/GPU и поддержкой бинарных векторов. Она автоматически выбирает лучшие наборы инструкций (SSE, AVX2, AVX512) и поддерживает несколько метрик сходства, таких как евклидова, скалярное произведение, косинусная, Jaccard, Hamming и BM25.
Это делает Milvus отличным выбором для команд, которым нужен тонкий контроль над векторной индексацией, возможность экспериментировать с конфигурациями и которые обладают DevOps-ресурсами для управления кластерами, масштабированием и обновлениями.
Zilliz Cloud, напротив, выводит Milvus на новый уровень. Построенный поверх Milvus, Zilliz Cloud представляет собой полностью управляемый векторный сервис баз данных production-класса, созданный для устранения операционной сложности при одновременном раскрытии более высокой производительности и масштабируемости.
В своей основе Zilliz Cloud работает на Cardinal — коммерческом самооптимизирующемся движке векторного поиска, который обеспечивает до 10 раз более высокую производительность по сравнению с Milvus. Благодаря AutoIndex он автоматически выбирает и настраивает алгоритмы индексации, такие как HNSW, IVF и DiskANN, чтобы достигать более 96% recall без ручной конфигурации.
Но помимо скорости, Zilliz Cloud предлагает комплексную платформу для создания и масштабирования AI-приложений:
Эластичное масштабирование и экономическая эффективность: Легко масштабируйте вычислительные ресурсы и хранилище в зависимости от спроса. Пользуйтесь serverless-автомасштабированием, развертыванием в один клик и моделью оплаты pay-as-you-go, которая адаптируется к вашей рабочей нагрузке.
Расширенные возможности AI-поиска: Выполняйте векторный, полнотекстовый и гибридный (dense + sparse) поиск с фильтрацией по метаданным и динамическими схемами, что позволяет выполнять сложные мультимодальные retrieval-запросы.
Запросы на естественном языке: Благодаря встроенной поддержке MCP server разработчики могут запрашивать данные на естественном языке вместо ручного составления API-вызовов.
Надежность и безопасность enterprise-класса: Zilliz Cloud предоставляет SLA доступности 99,95%, резервирование multi-AZ и сертификации, такие как SOC 2 Type II, ISO 27001, а также соответствие GDPR. Он также поддерживает RBAC, BYOC, audit logs и шифрование для защиты корпоративных данных.
Глобальный охват: Развертывайте в AWS, GCP и Azure, обеспечивая задержку менее 100 мс по всему миру и бесшовный доступ для распределенных команд.
Простая миграция: Переходите с Milvus, Pinecone, Qdrant, Weaviate, Elasticsearch или PostgreSQL с помощью встроенных инструментов миграции — без переписывания схем или простоев.
Короче говоря, Milvus дает вам гибкость и контроль. Zilliz Cloud дает вам производительность, простоту и глобальную масштабируемость — без бремени обслуживания.
Подготовьтесь к миграции
Перед миграцией в Zilliz Cloud нужно выполнить несколько шагов, чтобы все прошло гладко:
Проверьте текущую настройку Milvus: Зафиксируйте вашу версию Milvus (она должна быть 2.3.6 или выше для поддержки миграции), тип развертывания (например, Docker или Kubernetes) и любые пользовательские настройки, которые вы сконфигурировали.
Создайте резервную копию данных: Всегда создавайте полную резервную копию данных Milvus перед миграцией. Этот шаг критически важен, чтобы избежать потери данных.
Выберите метод миграции: В зависимости от размера вашей базы данных и потребностей вы можете выполнить миграцию через эндпоинты (лучше всего для небольших переносов одной базы данных) или с использованием файлов резервных копий (рекомендуется для более крупных миграций).
В этом руководстве мы использовали автономный экземпляр Milvus в качестве источника. База данных по умолчанию включает одну коллекцию с именем migration_test, которая содержит 1 000 записей.
Как выполнить миграцию Milvus в Zilliz Cloud
Существует два метода миграции из Milvus в Zilliz Cloud.
Метод 1: Эндпоинт
Предварительные требования:
Milvus:
Версия: Milvus 2.3.6 или выше
Сеть: Должен быть доступен через публичный интернет
Аутентификация: Если включена, подготовьте имя пользователя и пароль
Zilliz Cloud:
Роль пользователя: Вы должны быть владельцем организации или администратором проекта
Ресурсы кластера: Убедитесь, что в вашем кластере Zilliz Cloud достаточно хранилища и вычислительной мощности. Вы можете оценить это с помощью CU Calculator.
Сетевой доступ: Добавьте IP-адреса Zilliz Cloud в allowlist (см. полный список здесь)
Пошаговая миграция:
- Откройте Zilliz Cloud Console и начните новую миграцию.
- Выберите Endpoint в качестве метода миграции.
- Введите URL эндпоинта Milvus, а также имя пользователя и пароль (если аутентификация включена).
- Убедитесь, что проверка соединения пройдена.
- Выберите коллекцию из исходной базы данных Milvus, которую хотите перенести, а также целевой экземпляр базы данных и соответствующую коллекцию в Zilliz Cloud.
- Проверьте, что все сопоставления полей совпадают корректно. Нажмите Migrate, чтобы запустить задание миграции.
- Перейдите в Job Center, чтобы отслеживать прогресс. Когда статус задания изменится с «In Progress» на «Successful», ваша миграция завершена.
Финальные проверки после миграции:
- Загрузите коллекции вручную: Чтобы включить операции поиска и запросов, вам потребуется вручную загрузить перенесенные коллекции в Zilliz Cloud.
Проверьте согласованность данных: Убедитесь, что количество коллекций и сущностей в Zilliz Cloud соответствует вашему исходному экземпляру Milvus. Если вы обнаружите какие-либо различия, можно повторно запустить миграцию.
Обработайте неудачные миграции: Если задание миграции завершается неудачно, перейдите в Job Center в Zilliz Cloud Console, отмените задание и нажмите View Details, чтобы просмотреть журналы ошибок.
Метод 2: Файлы резервных копий
Предварительные требования:
Zilliz Cloud:
Роль пользователя: Вы должны быть владельцем организации или администратором проекта
Ресурсы кластера: Убедитесь, что в вашем кластере достаточно Compute Units (CUs) для хранения ваших данных. Вы можете оценить это с помощью CU Calculator.
Сетевой доступ: Добавьте IP-адреса Zilliz Cloud в allowlist (см. полный список здесь)
Milvus:
- Файлы резервной копии: Вам потребуется подготовить файл резервной копии Milvus. Резервная копия может храниться локально или в объектном хранилище, таком как AWS S3 или MinIO.
Как создать и загрузить файлы резервной копии:
Скачайте milvus-backup: получите последнюю версию milvus-backup
Создайте папку configs и добавьте backup.yaml
wget https://raw.githubusercontent.com/zilliztech/milvus-backup/main/configs/backup.yaml
В том же каталоге, где находится ваш бинарный файл milvus-backup, создайте папку с именем configs. Скачайте конфигурационный файл backup.yaml и сохраните его в эту папку.
Структура вашего каталога должна выглядеть так:
workspace
├── milvus-backup
└── configs
└── backup.yaml
Настройте backup.yaml: откройте файл backup.yaml и проверьте его конфигурацию. Обновите поля, такие как milvus.address, milvus.port и minio.address, в соответствии с вашей средой.
Создайте резервную копию:
./milvus-backup --config backup.yaml create -n my_backup
Получите файлы резервной копии:
./milvus-backup --config backup.yaml get -n my_backup
Проверьте, где хранятся ваши файлы резервной копии: в зависимости от вашей конфигурации ваши файлы резервной копии могут храниться в разных местах.
Если используется OSS (Object Storage Service): Ваши файлы резервной копии уже хранятся в бакете OSS, определенном
minio.addressиminio.port.Если используется MinIO: Вы можете скачать файлы резервной копии с помощью MinIO Console или инструмента
mc(MinIO Client).
Чтобы скачать из MinIO Console:
Войдите в вашу панель управления MinIO.
Найдите бакет, указанный в вашем
minio.address.Выберите файлы внутри бакета и начните скачивание.
Чтобы скачать с помощью клиента mc:
# Configure your MinIO host
mc alias set my_minio https://<minio_endpoint> <accessKey> <secretKey>
# List all available buckets
mc ls my_minio
# Download files from a specific bucket
mc cp --recursive my_minio/<your-bucket-path> <local_dir_path>
Загрузите файлы резервной копии в Zilliz Cloud: после получения файлов резервной копии загрузите вложенные папки внутри каталога резервной копии в Zilliz Cloud с помощью Zilliz Cloud Console.
backup
└── my_backup <= upload this folder
Пошаговая миграция:
- Запустите миграцию в Zilliz Cloud.
Выберите расположение файла резервной копии в зависимости от того, где хранятся ваши файлы резервной копии.
Выберите папку резервной копии.
Выберите целевую базу данных и коллекцию в Zilliz Cloud, куда вы хотите восстановить данные.
- Перейдите в Job Center, чтобы отслеживать ход выполнения.
Итоговые проверки после миграции:
Загрузите коллекции вручную: Чтобы включить операции поиска и запросов, вам потребуется вручную загрузить перенесенные коллекции в Zilliz Cloud.
Проверьте согласованность данных: Убедитесь, что количество коллекций и сущностей в Zilliz Cloud совпадает с вашим исходным экземпляром Milvus. Если вы обнаружите какие-либо различия, вы можете повторно запустить миграцию.
Обработайте неудачные миграции: Если задание миграции завершится с ошибкой, перейдите в Job Center в Zilliz Cloud Console, отмените задание и нажмите View Details, чтобы просмотреть журналы ошибок.
Рекомендации для плавной миграции
Чтобы обеспечить плавное выполнение миграции и сохранить целостность данных, учитывайте следующие рекомендации:
Проверьте целостность данных: Перед миграцией убедитесь, что ваши файлы резервной копии полные и согласованные.
Отслеживайте прогресс: Следите за Job Center во время миграции, чтобы рано выявлять и устранять проблемы.
Протестируйте ваше приложение: После миграции тщательно протестируйте ваше приложение, чтобы убедиться, что все корректно работает в Zilliz Cloud.
В таблице ниже сравниваются оба метода миграции. Вы можете выбрать тот, который лучше всего соответствует вашим потребностям.
| Метод миграции | Лучше всего подходит для | Преимущества | Ограничения |
|---|---|---|---|
| Через Endpoint | Миграции отдельных баз данных или небольших развертываний | Просто и понятно; легко управлять детальными миграциями | Можно переносить только одну базу данных за раз; более низкая эффективность |
| Через файлы резервных копий | Крупномасштабных миграций или одновременной миграции нескольких баз данных | Высокая эффективность; идеально подходит для работы с большими наборами данных | Требуются дополнительные инструменты и настройка хранилища; немного сложнее в эксплуатации |
Испытайте Zilliz Cloud самостоятельно
Миграция с самостоятельно размещенного Milvus на Zilliz Cloud — это больше, чем просто обновление инфраструктуры: это шаг к более быстрому, простому и масштабируемому будущему для ваших AI-приложений. Зарегистрируйтесь бесплатно и получите $100 кредитов, чтобы лично познакомиться с ведущей в мире управляемой векторной базой данных.
Помимо Milvus, Zilliz Cloud также поддерживает бесшовную миграцию из широкого спектра источников — включая Weaviate, Pinecone, Elasticsearch, OpenSearch, Amazon S3 Vectors, Qdrant и PostgreSQL — и скоро появятся новые интеграции.
Если у вас есть какие-либо = вопросы о миграции, ознакомьтесь с нашей документацией или свяжитесь с нами — мы здесь, чтобы помочь вам максимально эффективно использовать Zilliz Cloud.
Читать далее
Milvus 2.6.x Now Generally Available on Zilliz Cloud, Making Vector Search Faster, Smarter, and More Cost-Efficient for Production AI
Milvus 2.6.x is now GA on Zilliz Cloud, delivering faster vector search, smarter hybrid queries, and lower costs for production RAG and AI applications.
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.