Оценка производительности Milvus 2023
В Zilliz разработчики часто спрашивают нас: "Как Milvus соотносится с предыдущими версиями для рабочих нагрузок с эмбеддингами?" Для этого есть две основные причины. Во-первых, разработчики, начинающие новый проект, стремятся использовать последние версии ПО, чтобы получить доступ к новейшим функциям, но могут сомневаться из-за опасений по поводу снижения производительности. Во-вторых, у текущих пользователей также могут быть опасения относительно производительности, и они перейдут на новую версию только в том случае, если новые возможности будут привлекательными.
Чтобы развеять эти опасения, мы хотели бы поделиться последними бенчмарками, проведенными для Milvus v2.2.3 в сравнении с Milvus 2.2.0 и Milvus v2.0.0, с сопоставлением задержек поиска и пропускной способности на четырех известных наборах данных (DEPP, GIST, GloVe и SIFT). Бенчмарки показали, что Milvus v2.2.3 превосходит v2.2.0 и v2.0.0, значительно улучшая скорость поиска и индексирования. В частности, в Milvus 2.2.3 мы достигли сокращения задержки поиска в 2,5 раза по сравнению с первоначальным релизом Milvus 2.0.0. Кроме того, наше тестирование в идентичной среде показало увеличение QPS в 4,5 раза в Milvus 2.2.3 по сравнению с 2.0.0.
Мы сочли, что эти данные будут полезны инженерам, оценивающим пригодность последней версии Milvus для их сценариев поиска по сходству; скачайте технический документ "Milvus Performance Evaluation 2023", чтобы ознакомиться с методологией и результатами оценки.
Наша главная цель заключалась в создании последовательного, актуального сравнения, отражающего последние разработки Milvus. Мы будем периодически повторно запускать эти и другие бенчмарки векторных баз данных и обновлять наш подробный технический документ полученными результатами. Весь код для этих бенчмарков доступен на Github. Не стесняйтесь открывать issues или pull requests в этом репозитории, если у вас есть какие-либо вопросы, комментарии или предложения.
Протестированные версии
- Milvus v2.2.3 | дата релиза: 10 февраля 2023 г.
- Milvus v2.2.2 | дата релиза: 18 ноября 2022 г.
- Milvus v2.0.0 | дата релиза: 25 января 2022 г.
Мы определили характеристики, которые чаще всего оцениваются при работе с эмбеддингами, чтобы создать репрезентативный набор бенчмарков. Мы рассматривали производительность по следующим параметрам:
- Задержка запроса – измеряется в миллисекундах
- QOS – запросы в секунду
- Задержка vs. пропускная способность
- Масштабируемость на миллиардном масштабе
- Масштабируемость при нескольких репликах
О наборе данных
Кроме того, для бенчмарков используются шесть наборов данных:
- Четыре (4) набора данных из ann-benchmarks использовались для оценки производительности поиска в разных версиях Milvus.
- Два (2) набора данных миллиардного масштаба (BIGANN и LAION-5B от LAION) использовались для оценки масштабируемости Milvus 2.2.3.
Результаты
Задержка ANN-поиска
В Milvus 2.2.3 мы достигли сокращения задержки поиска в 2,5 раза по сравнению с первоначальным релизом Milvus 2.0.0.
Задержка поиска Milvus 2.0.0, 2.2.0 и 2.2.3.png
Пропускная способность ANN-поиска
Мы увидели увеличение QPS в 4,5 раза в Milvus 2.2.3 по сравнению с 2.0.0.
QPS Milvus 2.0.0, 2.2.9 и 2.2.3.png
Миллиардный масштаб
Масштабированный кластер Milvus 2.2.3 показал незначительное снижение производительности как по задержке поиска, так и по QPS.
Задержка и QPS для разных размеров кластера | Milvus.png
Мульти-репликат (Линейная масштабируемость)
Milvus 2.2.3 показал линейную масштабируемость при использовании нескольких реплик.
Задержка и QPS при удвоении числа реплик | Milvus.png
Краткое содержание
Мы настоятельно рекомендуем разработчикам запускать эти бенчмарки, чтобы независимо проверить результаты в выбранной ими среде и на выбранных наборах данных.
Что дальше?
- Загрузите подробный технический документ: "Оценка производительности Milvus 2023."
- Зарегистрируйтесь и начните работу с Zilliz Cloud.
- Присоединяйтесь к нам в Slack Community!
Читать далее
A Few Notes from Databricks Data + AI Summit 2026: Why the Data Layer Matters Again
James Luan shares notes from Databricks Data + AI Summit 2026 on why production AI is pushing the data layer back to the center of infrastructure.
How to Install and Run OpenClaw (Previously Clawdbot/Moltbot) on Mac
Turn your Mac into an AI gateway for WhatsApp, Telegram, Discord, iMessage, and more — in under 5 minutes.
Why Context Engineering Is Becoming the Full Stack of AI Agents
Discover how context engineering unifies prompts, RAG, and tools to build smarter, production-ready AI agents powered by Milvus.