Почему и как перейти с самостоятельно размещённого Milvus на Zilliz Cloud
Milvus — самая популярная векторная база данных с открытым исходным кодом, которой доверяют за высокую производительность и горизонтальную масштабируемость. Если вы уже используете Milvus, вы знаете, насколько эффективно она справляется с поиском по сходству и крупномасштабными рабочими нагрузками с эмбеддингами.
Но по мере расширения ваших наборов данных и усложнения приложений поддержка собственного развертывания Milvus может становиться всё более сложной — от управления инфраструктурой и масштабирования кластеров до обеспечения стабильной производительности.
Именно здесь на помощь приходит Zilliz Cloud. Как полностью управляемый облачный сервис для Milvus, он обеспечивает до 10 раз более высокую производительность и предоставляет готовую к production среду, которая берет на себя хостинг, масштабирование и оптимизацию без лишних усилий — чтобы ваша команда могла сосредоточиться на создании AI-приложений, а не на управлении инфраструктурой.
В этой статье мы сравним Milvus и Zilliz Cloud и пошагово покажем, как плавно мигрировать с Milvus на Zilliz Cloud и начать использовать все преимущества ваших векторных данных — без операционных накладных расходов.
Milvus vs. Zilliz Cloud
Milvus и Zilliz Cloud имеют общую основу, но оптимизированы для разных целей.
Milvus, векторная база данных с открытым исходным кодом, предоставляет разработчикам полный контроль и гибкость. Работая на базе Knowhere, своего движка выполнения векторных операций, Milvus интегрирует высокопроизводительные библиотеки, такие как Faiss, Hnswlib и Annoy, дополняя их SIMD-ускорением, гибридным выполнением на CPU/GPU и поддержкой бинарных векторов. Она автоматически выбирает лучшие наборы инструкций (SSE, AVX2, AVX512) и поддерживает несколько метрик сходства, таких как евклидова, скалярное произведение, косинусная, Jaccard, Hamming и BM25.
Это делает Milvus отличным выбором для команд, которым нужен тонкий контроль над векторной индексацией, возможность экспериментировать с конфигурациями и которые обладают DevOps-ресурсами для управления кластерами, масштабированием и обновлениями.
Zilliz Cloud, напротив, выводит Milvus на новый уровень. Построенный поверх Milvus, Zilliz Cloud представляет собой полностью управляемый векторный сервис баз данных production-класса, созданный для устранения операционной сложности при одновременном раскрытии более высокой производительности и масштабируемости.
В своей основе Zilliz Cloud работает на Cardinal — коммерческом самооптимизирующемся движке векторного поиска, который обеспечивает до 10 раз более высокую производительность по сравнению с Milvus. Благодаря AutoIndex он автоматически выбирает и настраивает алгоритмы индексации, такие как HNSW, IVF и DiskANN, чтобы достигать более 96% recall без ручной конфигурации.
Но помимо скорости, Zilliz Cloud предлагает комплексную платформу для создания и масштабирования AI-приложений:
Эластичное масштабирование и экономическая эффективность: Легко масштабируйте вычислительные ресурсы и хранилище в зависимости от спроса. Пользуйтесь serverless-автомасштабированием, развертыванием в один клик и моделью оплаты pay-as-you-go, которая адаптируется к вашей рабочей нагрузке.
Расширенные возможности AI-поиска: Выполняйте векторный, полнотекстовый и гибридный (dense + sparse) поиск с фильтрацией по метаданным и динамическими схемами, что позволяет выполнять сложные мультимодальные retrieval-запросы.
Запросы на естественном языке: Благодаря встроенной поддержке MCP server разработчики могут запрашивать данные на естественном языке вместо ручного составления API-вызовов.
Надежность и безопасность enterprise-класса: Zilliz Cloud предоставляет SLA доступности 99,95%, резервирование multi-AZ и сертификации, такие как SOC 2 Type II, ISO 27001, а также соответствие GDPR. Он также поддерживает RBAC, BYOC, audit logs и шифрование для защиты корпоративных данных.
Глобальный охват: Развертывайте в AWS, GCP и Azure, обеспечивая задержку менее 100 мс по всему миру и бесшовный доступ для распределенных команд.
Простая миграция: Переходите с Milvus, Pinecone, Qdrant, Weaviate, Elasticsearch или PostgreSQL с помощью встроенных инструментов миграции — без переписывания схем или простоев.
Короче говоря, Milvus дает вам гибкость и контроль. Zilliz Cloud дает вам производительность, простоту и глобальную масштабируемость — без бремени обслуживания.
Подготовьтесь к миграции
Перед миграцией в Zilliz Cloud нужно выполнить несколько шагов, чтобы все прошло гладко:
Проверьте текущую настройку Milvus: Зафиксируйте вашу версию Milvus (она должна быть 2.3.6 или выше для поддержки миграции), тип развертывания (например, Docker или Kubernetes) и любые пользовательские настройки, которые вы сконфигурировали.
Создайте резервную копию данных: Всегда создавайте полную резервную копию данных Milvus перед миграцией. Этот шаг критически важен, чтобы избежать потери данных.
Выберите метод миграции: В зависимости от размера вашей базы данных и потребностей вы можете выполнить миграцию через эндпоинты (лучше всего для небольших переносов одной базы данных) или с использованием файлов резервных копий (рекомендуется для более крупных миграций).
В этом руководстве мы использовали автономный экземпляр Milvus в качестве источника. База данных по умолчанию включает одну коллекцию с именем migration_test, которая содержит 1 000 записей.
Как выполнить миграцию Milvus в Zilliz Cloud
Существует два метода миграции из Milvus в Zilliz Cloud.
Метод 1: Эндпоинт
Предварительные требования:
Milvus:
Версия: Milvus 2.3.6 или выше
Сеть: Должен быть доступен через публичный интернет
Аутентификация: Если включена, подготовьте имя пользователя и пароль
Zilliz Cloud:
Роль пользователя: Вы должны быть владельцем организации или администратором проекта
Ресурсы кластера: Убедитесь, что в вашем кластере Zilliz Cloud достаточно хранилища и вычислительной мощности. Вы можете оценить это с помощью CU Calculator.
Сетевой доступ: Добавьте IP-адреса Zilliz Cloud в allowlist (см. полный список здесь)
Пошаговая миграция:
- Откройте Zilliz Cloud Console и начните новую миграцию.
- Выберите Endpoint в качестве метода миграции.
- Введите URL эндпоинта Milvus, а также имя пользователя и пароль (если аутентификация включена).
- Убедитесь, что проверка соединения пройдена.
- Выберите коллекцию из исходной базы данных Milvus, которую хотите перенести, а также целевой экземпляр базы данных и соответствующую коллекцию в Zilliz Cloud.
- Проверьте, что все сопоставления полей совпадают корректно. Нажмите Migrate, чтобы запустить задание миграции.
- Перейдите в Job Center, чтобы отслеживать прогресс. Когда статус задания изменится с «In Progress» на «Successful», ваша миграция завершена.
Финальные проверки после миграции:
- Загрузите коллекции вручную: Чтобы включить операции поиска и запросов, вам потребуется вручную загрузить перенесенные коллекции в Zilliz Cloud.
Проверьте согласованность данных: Убедитесь, что количество коллекций и сущностей в Zilliz Cloud соответствует вашему исходному экземпляру Milvus. Если вы обнаружите какие-либо различия, можно повторно запустить миграцию.
Обработайте неудачные миграции: Если задание миграции завершается неудачно, перейдите в Job Center в Zilliz Cloud Console, отмените задание и нажмите View Details, чтобы просмотреть журналы ошибок.
Метод 2: Файлы резервных копий
Предварительные требования:
Zilliz Cloud:
Роль пользователя: Вы должны быть владельцем организации или администратором проекта
Ресурсы кластера: Убедитесь, что в вашем кластере достаточно Compute Units (CUs) для хранения ваших данных. Вы можете оценить это с помощью CU Calculator.
Сетевой доступ: Добавьте IP-адреса Zilliz Cloud в allowlist (см. полный список здесь)
Milvus:
- Файлы резервной копии: Вам потребуется подготовить файл резервной копии Milvus. Резервная копия может храниться локально или в объектном хранилище, таком как AWS S3 или MinIO.
Как создать и загрузить файлы резервной копии:
Скачайте milvus-backup: получите последнюю версию milvus-backup
Создайте папку configs и добавьте backup.yaml
wget https://raw.githubusercontent.com/zilliztech/milvus-backup/main/configs/backup.yaml
В том же каталоге, где находится ваш бинарный файл milvus-backup, создайте папку с именем configs. Скачайте конфигурационный файл backup.yaml и сохраните его в эту папку.
Структура вашего каталога должна выглядеть так:
workspace
├── milvus-backup
└── configs
└── backup.yaml
Настройте backup.yaml: откройте файл backup.yaml и проверьте его конфигурацию. Обновите поля, такие как milvus.address, milvus.port и minio.address, в соответствии с вашей средой.
Создайте резервную копию:
./milvus-backup --config backup.yaml create -n my_backup
Получите файлы резервной копии:
./milvus-backup --config backup.yaml get -n my_backup
Проверьте, где хранятся ваши файлы резервной копии: в зависимости от вашей конфигурации ваши файлы резервной копии могут храниться в разных местах.
Если используется OSS (Object Storage Service): Ваши файлы резервной копии уже хранятся в бакете OSS, определенном
minio.addressиminio.port.Если используется MinIO: Вы можете скачать файлы резервной копии с помощью MinIO Console или инструмента
mc(MinIO Client).
Чтобы скачать из MinIO Console:
Войдите в вашу панель управления MinIO.
Найдите бакет, указанный в вашем
minio.address.Выберите файлы внутри бакета и начните скачивание.
Чтобы скачать с помощью клиента mc:
# Configure your MinIO host
mc alias set my_minio https://<minio_endpoint> <accessKey> <secretKey>
# List all available buckets
mc ls my_minio
# Download files from a specific bucket
mc cp --recursive my_minio/<your-bucket-path> <local_dir_path>
Загрузите файлы резервной копии в Zilliz Cloud: после получения файлов резервной копии загрузите вложенные папки внутри каталога резервной копии в Zilliz Cloud с помощью Zilliz Cloud Console.
backup
└── my_backup <= upload this folder
Пошаговая миграция:
- Запустите миграцию в Zilliz Cloud.
Выберите расположение файла резервной копии в зависимости от того, где хранятся ваши файлы резервной копии.
Выберите папку резервной копии.
Выберите целевую базу данных и коллекцию в Zilliz Cloud, куда вы хотите восстановить данные.
- Перейдите в Job Center, чтобы отслеживать ход выполнения.
Итоговые проверки после миграции:
Загрузите коллекции вручную: Чтобы включить операции поиска и запросов, вам потребуется вручную загрузить перенесенные коллекции в Zilliz Cloud.
Проверьте согласованность данных: Убедитесь, что количество коллекций и сущностей в Zilliz Cloud совпадает с вашим исходным экземпляром Milvus. Если вы обнаружите какие-либо различия, вы можете повторно запустить миграцию.
Обработайте неудачные миграции: Если задание миграции завершится с ошибкой, перейдите в Job Center в Zilliz Cloud Console, отмените задание и нажмите View Details, чтобы просмотреть журналы ошибок.
Рекомендации для плавной миграции
Чтобы обеспечить плавное выполнение миграции и сохранить целостность данных, учитывайте следующие рекомендации:
Проверьте целостность данных: Перед миграцией убедитесь, что ваши файлы резервной копии полные и согласованные.
Отслеживайте прогресс: Следите за Job Center во время миграции, чтобы рано выявлять и устранять проблемы.
Протестируйте ваше приложение: После миграции тщательно протестируйте ваше приложение, чтобы убедиться, что все корректно работает в Zilliz Cloud.
В таблице ниже сравниваются оба метода миграции. Вы можете выбрать тот, который лучше всего соответствует вашим потребностям.
| Метод миграции | Лучше всего подходит для | Преимущества | Ограничения |
|---|---|---|---|
| Через Endpoint | Миграции отдельных баз данных или небольших развертываний | Просто и понятно; легко управлять детальными миграциями | Можно переносить только одну базу данных за раз; более низкая эффективность |
| Через файлы резервных копий | Крупномасштабных миграций или одновременной миграции нескольких баз данных | Высокая эффективность; идеально подходит для работы с большими наборами данных | Требуются дополнительные инструменты и настройка хранилища; немного сложнее в эксплуатации |
Испытайте Zilliz Cloud самостоятельно
Миграция с самостоятельно размещенного Milvus на Zilliz Cloud — это больше, чем просто обновление инфраструктуры: это шаг к более быстрому, простому и масштабируемому будущему для ваших AI-приложений. Зарегистрируйтесь бесплатно и получите $100 кредитов, чтобы лично познакомиться с ведущей в мире управляемой векторной базой данных.
Помимо Milvus, Zilliz Cloud также поддерживает бесшовную миграцию из широкого спектра источников — включая Weaviate, Pinecone, Elasticsearch, OpenSearch, Amazon S3 Vectors, Qdrant и PostgreSQL — и скоро появятся новые интеграции.
Если у вас есть какие-либо = вопросы о миграции, ознакомьтесь с нашей документацией или свяжитесь с нами — мы здесь, чтобы помочь вам максимально эффективно использовать Zilliz Cloud.
Читать далее
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
The Great AI Agent Protocol Race: Function Calling vs. MCP vs. A2A
Compare Function Calling, MCP, and A2A protocols for AI agents. Learn which standard best fits your development needs and future-proof your applications.
How to Build RAG with Milvus, QwQ-32B and Ollama
Hands-on tutorial on how to create a streamlined, powerful RAG pipeline that balances efficiency, accuracy, and scalability using the QwQ-32B and Milvus.