46.6kЗаказать демоВойтиНачать бесплатно

Оценка производительности Milvus 2023

Mar 18, 20232 min read

В Zilliz разработчики часто спрашивают нас: "Как Milvus соотносится с предыдущими версиями для рабочих нагрузок с эмбеддингами?" Для этого есть две основные причины. Во-первых, разработчики, начинающие новый проект, стремятся использовать последние версии ПО, чтобы получить доступ к новейшим функциям, но могут сомневаться из-за опасений по поводу снижения производительности. Во-вторых, у текущих пользователей также могут быть опасения относительно производительности, и они перейдут на новую версию только в том случае, если новые возможности будут привлекательными.

Чтобы развеять эти опасения, мы хотели бы поделиться последними бенчмарками, проведенными для Milvus v2.2.3 в сравнении с Milvus 2.2.0 и Milvus v2.0.0, с сопоставлением задержек поиска и пропускной способности на четырех известных наборах данных (DEPP, GIST, GloVe и SIFT). Бенчмарки показали, что Milvus v2.2.3 превосходит v2.2.0 и v2.0.0, значительно улучшая скорость поиска и индексирования. В частности, в Milvus 2.2.3 мы достигли сокращения задержки поиска в 2,5 раза по сравнению с первоначальным релизом Milvus 2.0.0. Кроме того, наше тестирование в идентичной среде показало увеличение QPS в 4,5 раза в Milvus 2.2.3 по сравнению с 2.0.0.

Мы сочли, что эти данные будут полезны инженерам, оценивающим пригодность последней версии Milvus для их сценариев поиска по сходству; скачайте технический документ "Milvus Performance Evaluation 2023", чтобы ознакомиться с методологией и результатами оценки.

Наша главная цель заключалась в создании последовательного, актуального сравнения, отражающего последние разработки Milvus. Мы будем периодически повторно запускать эти и другие бенчмарки векторных баз данных и обновлять наш подробный технический документ полученными результатами. Весь код для этих бенчмарков доступен на Github. Не стесняйтесь открывать issues или pull requests в этом репозитории, если у вас есть какие-либо вопросы, комментарии или предложения.

Протестированные версии

  • Milvus v2.2.3 | дата релиза: 10 февраля 2023 г.
  • Milvus v2.2.2 | дата релиза: 18 ноября 2022 г.
  • Milvus v2.0.0 | дата релиза: 25 января 2022 г.

Мы определили характеристики, которые чаще всего оцениваются при работе с эмбеддингами, чтобы создать репрезентативный набор бенчмарков. Мы рассматривали производительность по следующим параметрам:

  • Задержка запроса – измеряется в миллисекундах
  • QOS – запросы в секунду
  • Задержка vs. пропускная способность
  • Масштабируемость на миллиардном масштабе
  • Масштабируемость при нескольких репликах

О наборе данных

Кроме того, для бенчмарков используются шесть наборов данных:

  • Четыре (4) набора данных из ann-benchmarks использовались для оценки производительности поиска в разных версиях Milvus.
  • Два (2) набора данных миллиардного масштаба (BIGANN и LAION-5B от LAION) использовались для оценки масштабируемости Milvus 2.2.3.

Результаты

Задержка ANN-поиска

В Milvus 2.2.3 мы достигли сокращения задержки поиска в 2,5 раза по сравнению с первоначальным релизом Milvus 2.0.0. Задержка поиска Milvus 2.0.0, 2.2.0 и 2.2.3.png Задержка поиска Milvus 2.0.0, 2.2.0 и 2.2.3.png

Пропускная способность ANN-поиска

Мы увидели увеличение QPS в 4,5 раза в Milvus 2.2.3 по сравнению с 2.0.0. QPS Milvus 2.0.0, 2.2.9 и 2.2.3.png QPS Milvus 2.0.0, 2.2.9 и 2.2.3.png

Миллиардный масштаб

Масштабированный кластер Milvus 2.2.3 показал незначительное снижение производительности как по задержке поиска, так и по QPS. Задержка и QPS для разных размеров кластера | Milvus.png Задержка и QPS для разных размеров кластера | Milvus.png

Мульти-репликат (Линейная масштабируемость)

Milvus 2.2.3 показал линейную масштабируемость при использовании нескольких реплик. Задержка и QPS при удвоении числа реплик | Milvus.png Задержка и QPS при удвоении числа реплик | Milvus.png

Краткое содержание

Мы настоятельно рекомендуем разработчикам запускать эти бенчмарки, чтобы независимо проверить результаты в выбранной ими среде и на выбранных наборах данных.

Что дальше?

Обновлено Jul 09, 2026