Оценка производительности Milvus 2023
В Zilliz разработчики часто спрашивают нас: "Как Milvus соотносится с предыдущими версиями для рабочих нагрузок с эмбеддингами?" Для этого есть две основные причины. Во-первых, разработчики, начинающие новый проект, стремятся использовать последние версии ПО, чтобы получить доступ к новейшим функциям, но могут сомневаться из-за опасений по поводу снижения производительности. Во-вторых, у текущих пользователей также могут быть опасения относительно производительности, и они перейдут на новую версию только в том случае, если новые возможности будут привлекательными.
Чтобы развеять эти опасения, мы хотели бы поделиться последними бенчмарками, проведенными для Milvus v2.2.3 в сравнении с Milvus 2.2.0 и Milvus v2.0.0, с сопоставлением задержек поиска и пропускной способности на четырех известных наборах данных (DEPP, GIST, GloVe и SIFT). Бенчмарки показали, что Milvus v2.2.3 превосходит v2.2.0 и v2.0.0, значительно улучшая скорость поиска и индексирования. В частности, в Milvus 2.2.3 мы достигли сокращения задержки поиска в 2,5 раза по сравнению с первоначальным релизом Milvus 2.0.0. Кроме того, наше тестирование в идентичной среде показало увеличение QPS в 4,5 раза в Milvus 2.2.3 по сравнению с 2.0.0.
Мы сочли, что эти данные будут полезны инженерам, оценивающим пригодность последней версии Milvus для их сценариев поиска по сходству; скачайте технический документ "Milvus Performance Evaluation 2023", чтобы ознакомиться с методологией и результатами оценки.
Наша главная цель заключалась в создании последовательного, актуального сравнения, отражающего последние разработки Milvus. Мы будем периодически повторно запускать эти и другие бенчмарки векторных баз данных и обновлять наш подробный технический документ полученными результатами. Весь код для этих бенчмарков доступен на Github. Не стесняйтесь открывать issues или pull requests в этом репозитории, если у вас есть какие-либо вопросы, комментарии или предложения.
Протестированные версии
- Milvus v2.2.3 | дата релиза: 10 февраля 2023 г.
- Milvus v2.2.2 | дата релиза: 18 ноября 2022 г.
- Milvus v2.0.0 | дата релиза: 25 января 2022 г.
Мы определили характеристики, которые чаще всего оцениваются при работе с эмбеддингами, чтобы создать репрезентативный набор бенчмарков. Мы рассматривали производительность по следующим параметрам:
- Задержка запроса – измеряется в миллисекундах
- QOS – запросы в секунду
- Задержка vs. пропускная способность
- Масштабируемость на миллиардном масштабе
- Масштабируемость при нескольких репликах
О наборе данных
Кроме того, для бенчмарков используются шесть наборов данных:
- Четыре (4) набора данных из ann-benchmarks использовались для оценки производительности поиска в разных версиях Milvus.
- Два (2) набора данных миллиардного масштаба (BIGANN и LAION-5B от LAION) использовались для оценки масштабируемости Milvus 2.2.3.
Результаты
Задержка ANN-поиска
В Milvus 2.2.3 мы достигли сокращения задержки поиска в 2,5 раза по сравнению с первоначальным релизом Milvus 2.0.0.
Задержка поиска Milvus 2.0.0, 2.2.0 и 2.2.3.png
Пропускная способность ANN-поиска
Мы увидели увеличение QPS в 4,5 раза в Milvus 2.2.3 по сравнению с 2.0.0.
QPS Milvus 2.0.0, 2.2.9 и 2.2.3.png
Миллиардный масштаб
Масштабированный кластер Milvus 2.2.3 показал незначительное снижение производительности как по задержке поиска, так и по QPS.
Задержка и QPS для разных размеров кластера | Milvus.png
Мульти-репликат (Линейная масштабируемость)
Milvus 2.2.3 показал линейную масштабируемость при использовании нескольких реплик.
Задержка и QPS при удвоении числа реплик | Milvus.png
Краткое содержание
Мы настоятельно рекомендуем разработчикам запускать эти бенчмарки, чтобы независимо проверить результаты в выбранной ими среде и на выбранных наборах данных.
Что дальше?
- Загрузите подробный технический документ: "Оценка производительности Milvus 2023."
- Зарегистрируйтесь и начните работу с Zilliz Cloud.
- Присоединяйтесь к нам в Slack Community!
Читать далее
Milvus 2.6.x Now Generally Available on Zilliz Cloud, Making Vector Search Faster, Smarter, and More Cost-Efficient for Production AI
Milvus 2.6.x is now GA on Zilliz Cloud, delivering faster vector search, smarter hybrid queries, and lower costs for production RAG and AI applications.
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.