Оценка производительности Milvus 2023
В Zilliz разработчики часто спрашивают нас: "Как Milvus соотносится с предыдущими версиями для рабочих нагрузок с эмбеддингами?" Для этого есть две основные причины. Во-первых, разработчики, начинающие новый проект, стремятся использовать последние версии ПО, чтобы получить доступ к новейшим функциям, но могут сомневаться из-за опасений по поводу снижения производительности. Во-вторых, у текущих пользователей также могут быть опасения относительно производительности, и они перейдут на новую версию только в том случае, если новые возможности будут привлекательными.
Чтобы развеять эти опасения, мы хотели бы поделиться последними бенчмарками, проведенными для Milvus v2.2.3 в сравнении с Milvus 2.2.0 и Milvus v2.0.0, с сопоставлением задержек поиска и пропускной способности на четырех известных наборах данных (DEPP, GIST, GloVe и SIFT). Бенчмарки показали, что Milvus v2.2.3 превосходит v2.2.0 и v2.0.0, значительно улучшая скорость поиска и индексирования. В частности, в Milvus 2.2.3 мы достигли сокращения задержки поиска в 2,5 раза по сравнению с первоначальным релизом Milvus 2.0.0. Кроме того, наше тестирование в идентичной среде показало увеличение QPS в 4,5 раза в Milvus 2.2.3 по сравнению с 2.0.0.
Мы сочли, что эти данные будут полезны инженерам, оценивающим пригодность последней версии Milvus для их сценариев поиска по сходству; скачайте технический документ "Milvus Performance Evaluation 2023", чтобы ознакомиться с методологией и результатами оценки.
Наша главная цель заключалась в создании последовательного, актуального сравнения, отражающего последние разработки Milvus. Мы будем периодически повторно запускать эти и другие бенчмарки векторных баз данных и обновлять наш подробный технический документ полученными результатами. Весь код для этих бенчмарков доступен на Github. Не стесняйтесь открывать issues или pull requests в этом репозитории, если у вас есть какие-либо вопросы, комментарии или предложения.
Протестированные версии
- Milvus v2.2.3 | дата релиза: 10 февраля 2023 г.
- Milvus v2.2.2 | дата релиза: 18 ноября 2022 г.
- Milvus v2.0.0 | дата релиза: 25 января 2022 г.
Мы определили характеристики, которые чаще всего оцениваются при работе с эмбеддингами, чтобы создать репрезентативный набор бенчмарков. Мы рассматривали производительность по следующим параметрам:
- Задержка запроса – измеряется в миллисекундах
- QOS – запросы в секунду
- Задержка vs. пропускная способность
- Масштабируемость на миллиардном масштабе
- Масштабируемость при нескольких репликах
О наборе данных
Кроме того, для бенчмарков используются шесть наборов данных:
- Четыре (4) набора данных из ann-benchmarks использовались для оценки производительности поиска в разных версиях Milvus.
- Два (2) набора данных миллиардного масштаба (BIGANN и LAION-5B от LAION) использовались для оценки масштабируемости Milvus 2.2.3.
Результаты
Задержка ANN-поиска
В Milvus 2.2.3 мы достигли сокращения задержки поиска в 2,5 раза по сравнению с первоначальным релизом Milvus 2.0.0.
Задержка поиска Milvus 2.0.0, 2.2.0 и 2.2.3.png
Пропускная способность ANN-поиска
Мы увидели увеличение QPS в 4,5 раза в Milvus 2.2.3 по сравнению с 2.0.0.
QPS Milvus 2.0.0, 2.2.9 и 2.2.3.png
Миллиардный масштаб
Масштабированный кластер Milvus 2.2.3 показал незначительное снижение производительности как по задержке поиска, так и по QPS.
Задержка и QPS для разных размеров кластера | Milvus.png
Мульти-репликат (Линейная масштабируемость)
Milvus 2.2.3 показал линейную масштабируемость при использовании нескольких реплик.
Задержка и QPS при удвоении числа реплик | Milvus.png
Краткое содержание
Мы настоятельно рекомендуем разработчикам запускать эти бенчмарки, чтобы независимо проверить результаты в выбранной ими среде и на выбранных наборах данных.
Что дальше?
- Загрузите подробный технический документ: "Оценка производительности Milvus 2023."
- Зарегистрируйтесь и начните работу с Zilliz Cloud.
- Присоединяйтесь к нам в Slack Community!
Читать далее
How Zilliz Ended Up at the Center of NVIDIA’s Unstructured Data Story at GTC 2026
If unstructured data is the context of AI, then the ceiling of AI applications will be set not just by models, but by how mature the infrastructure for unstructured data becomes.
The Great AI Agent Protocol Race: Function Calling vs. MCP vs. A2A
Compare Function Calling, MCP, and A2A protocols for AI agents. Learn which standard best fits your development needs and future-proof your applications.
1 Table = 1000 Words? Foundation Models for Tabular Data
TableGPT2 automates tabular data insights, overcoming schema variability, while Milvus accelerates vector search for efficient, scalable decision-making.