46.6kЗаказать демоВойтиНачать бесплатно

Создание кластера Milvus на базе JuiceFS

Jun 15, 20215 min read

Сотрудничество между сообществами open-source — волшебная вещь. Страстные, умные и творческие волонтёры не только помогают open-source-решениям оставаться инновационными, но и работают над тем, чтобы объединять различные инструменты интересными и полезными способами. Milvus, самая популярная в мире векторная база данных, и JuiceFS, общая файловая система, разработанная для cloud-native сред, были объединены в этом духе своими соответствующими open-source-сообществами. В этой статье объясняется, что такое JuiceFS, как построить кластер Milvus на основе общего файлового хранилища JuiceFS и какой производительности пользователи могут ожидать при использовании этого решения.

Что такое JuiceFS?

JuiceFS — это высокопроизводительная open-source распределённая POSIX-файловая система, которую можно построить поверх Redis и S3. Она была разработана для cloud-native сред и поддерживает управление, анализ, архивирование и резервное копирование данных любого типа. JuiceFS обычно используется для решения задач больших данных, создания приложений искусственного интеллекта (AI) и сбора логов. Система также поддерживает совместное использование данных несколькими клиентами и может напрямую использоваться как общее хранилище в Milvus.

После того как данные и соответствующие им метаданные сохраняются соответственно в объектном хранилище и Redis, JuiceFS выступает в роли stateless-промежуточного ПО. Совместное использование данных реализуется за счёт возможности различным приложениям бесшовно взаимодействовать друг с другом через стандартный интерфейс файловой системы. JuiceFS использует Redis, open-source хранилище данных в памяти, для хранения метаданных. Redis используется потому, что он гарантирует атомарность и обеспечивает высокую производительность операций с метаданными. Все данные сохраняются в объектном хранилище через клиент JuiceFS. Архитектурная схема выглядит следующим образом:

Общая архитектура JuiceFS. Общая архитектура JuiceFS.

Создание кластера Milvus на основе JuiceFS

Кластер Milvus, построенный с использованием JuiceFS (см. архитектурную схему ниже), работает за счёт разделения входящих запросов с помощью Mishards, промежуточного ПО для шардирования кластера, чтобы каскадно передавать запросы вниз к его подмодулям. При вставке данных Mishards распределяет входящие запросы на узел записи Milvus, который сохраняет вновь вставленные данные в JuiceFS. При чтении данных Mishards загружает данные из JuiceFS через узел чтения Milvus в память для обработки, затем собирает и возвращает результаты из подслужб вверх по потоку.

Архитектура кластера Milvus, построенного с JuiceFS. Архитектура кластера Milvus, построенного с JuiceFS.

Шаг 1: Запустите сервис MySQL

Запустите сервис MySQL на любом узле в кластере. Подробнее см. Управление метаданными с помощью MySQL.

Шаг 2: Создайте файловую систему JuiceFS

В демонстрационных целях используется предварительно скомпилированная бинарная программа JuiceFS. Скачайте правильный установочный пакет для вашей системы и следуйте краткому руководству по началу работы JuiceFS для получения подробных инструкций по установке. Чтобы создать файловую систему JuiceFS, сначала настройте базу данных Redis для хранения метаданных. Для развёртываний в публичном облаке рекомендуется размещать сервис Redis в том же облаке, что и приложение. Кроме того, настройте объектное хранилище для JuiceFS. В этом примере используется Azure Blob Storage; однако JuiceFS поддерживает почти все объектные сервисы. Выберите сервис объектного хранилища, который лучше всего соответствует требованиям вашего сценария.

После настройки сервиса Redis и объектного хранилища отформатируйте новую файловую систему и смонтируйте JuiceFS в локальный каталог:

1 $  export AZURE_STORAGE_CONNECTION_STRING="DefaultEndpointsProtocol=https;AccountName=XXX;AccountKey=XXX;EndpointSuffix=core.windows.net"
2 $ ./juicefs format \
3     --storage wasb \
4     --bucket https://<container> \
5     ... \
6     localhost test #format
7 $ ./juicefs mount -d localhost ~/jfs  #mount
8

Если сервер Redis не запущен локально, замените localhost следующим адресом: redis://<user:password>@host:6379/1.

Когда установка завершается успешно, JuiceFS возвращает страницу общего хранилища /root/jfs.

Успешная установка. Успешная установка.

Шаг 3: Запустите Milvus

На всех узлах кластера должен быть установлен Milvus, и каждый узел Milvus должен быть настроен с разрешением на чтение или запись. Только один узел Milvus может быть настроен как узел записи, а остальные должны быть узлами чтения. Сначала задайте параметры разделов cluster и general в файле системной конфигурации Milvus server_config.yaml:

Раздел cluster

ПараметрОписаниеКонфигурация
enableВключать ли режим кластераtrue
roleРоль развертывания Milvusrw/ro

Раздел general

# meta_uri is the URI for metadata storage, using MySQL (for Milvus Cluster). Format: mysql://<username:password>@host:port/database
general:
  timezone: UTC+8
  meta_uri: mysql://root:milvusroot@host:3306/milvus

Во время установки настроенный путь к общему хранилищу JuiceFS задается как /root/jfs/milvus/db.

1 sudo docker run -d --name milvus_gpu_1.0.0 --gpus all \ 
2 -p 19530:19530 \ 
3 -p 19121:19121 \ 
4 -v /root/jfs/milvus/db:/var/lib/milvus/db \  #/root/jfs/milvus/db is the shared storage path 
5 -v /home/$USER/milvus/conf:/var/lib/milvus/conf \ 
6 -v /home/$USER/milvus/logs:/var/lib/milvus/logs \ 
7 -v /home/$USER/milvus/wal:/var/lib/milvus/wal \ 
8 milvusdb/milvus:1.0.0-gpu-d030521-1ea92e 
9

После завершения установки запустите Milvus и убедитесь, что он запущен корректно. Наконец, запустите сервис Mishards на любом из узлов кластера. На изображении ниже показан успешный запуск Mishards. Для получения дополнительной информации обратитесь к руководству на GitHub.

Успешный запуск Mishards. Успешный запуск Mishards.

Тесты производительности

Решения общего хранилища обычно реализуются с помощью систем сетевого хранилища (NAS). К распространенным типам систем NAS относятся Network File System (NFS) и Server Message Block (SMB). Публичные облачные платформы обычно предоставляют управляемые сервисы хранения, совместимые с этими протоколами, например Amazon Elastic File System (EFS).

В отличие от традиционных систем NAS, JuiceFS реализован на основе Filesystem in Userspace (FUSE), где все чтение и запись данных выполняются непосредственно на стороне приложения, что дополнительно снижает задержку доступа. У JuiceFS также есть уникальные функции, которых нет в других системах NAS, например сжатие данных и кэширование.

Тестирование производительности показывает, что JuiceFS имеет значительные преимущества перед EFS. В тесте метаданных (рисунок 1) JuiceFS демонстрирует число операций ввода-вывода в секунду (IOPS) до десяти раз выше, чем EFS. Кроме того, тест пропускной способности ввода-вывода (рисунок 2) показывает, что JuiceFS превосходит EFS как в сценариях с одной задачей, так и с несколькими задачами.

Рисунок 1. Тест метаданных. Рисунок 1. Тест метаданных.

Рисунок 2. Тест последовательного чтения/записи. Рисунок 2. Тест последовательного чтения/записи.

Кроме того, тестирование производительности показывает, что время получения первого запроса, или время загрузки недавно вставленных данных с диска в память, для кластера Milvus на базе JuiceFS составляет в среднем всего 0,032 секунды, что указывает на то, что данные загружаются с диска в память практически мгновенно. Для этого теста время получения первого запроса измеряется с использованием одного миллиона строк 128-мерных векторных данных, вставляемых пакетами по 100 тыс. с интервалами от 1 до 8 секунд.

JuiceFS — это стабильная и надежная система общего файлового хранилища, а кластер Milvus, построенный на JuiceFS, обеспечивает как высокую производительность, так и гибкую емкость хранилища.

Узнайте больше о Milvus

Milvus — это мощный инструмент, способный обеспечивать работу широкого спектра приложений искусственного интеллекта и поиска по сходству векторов. Чтобы узнать больше о проекте, ознакомьтесь со следующими ресурсами:

  • Читайте наш блог.
  • Взаимодействуйте с нашим open-source сообществом в Slack.
  • Используйте или вносите вклад в самую популярную в мире векторную базу данных на GitHub.
  • Быстро тестируйте и развертывайте AI-приложения с нашим новым bootcamp.

Биография Changjian Gao. Биография Changjian Gao. Биография Jingjing Jia. Биография Jingjing Jia.

Обновлено Jul 09, 2026