Оценка производительности Milvus 2023
В Zilliz разработчики часто спрашивают нас: "Как Milvus соотносится с предыдущими версиями для рабочих нагрузок с эмбеддингами?" Для этого есть две основные причины. Во-первых, разработчики, начинающие новый проект, стремятся использовать последние версии ПО, чтобы получить доступ к новейшим функциям, но могут сомневаться из-за опасений по поводу снижения производительности. Во-вторых, у текущих пользователей также могут быть опасения относительно производительности, и они перейдут на новую версию только в том случае, если новые возможности будут привлекательными.
Чтобы развеять эти опасения, мы хотели бы поделиться последними бенчмарками, проведенными для Milvus v2.2.3 в сравнении с Milvus 2.2.0 и Milvus v2.0.0, с сопоставлением задержек поиска и пропускной способности на четырех известных наборах данных (DEPP, GIST, GloVe и SIFT). Бенчмарки показали, что Milvus v2.2.3 превосходит v2.2.0 и v2.0.0, значительно улучшая скорость поиска и индексирования. В частности, в Milvus 2.2.3 мы достигли сокращения задержки поиска в 2,5 раза по сравнению с первоначальным релизом Milvus 2.0.0. Кроме того, наше тестирование в идентичной среде показало увеличение QPS в 4,5 раза в Milvus 2.2.3 по сравнению с 2.0.0.
Мы сочли, что эти данные будут полезны инженерам, оценивающим пригодность последней версии Milvus для их сценариев поиска по сходству; скачайте технический документ "Milvus Performance Evaluation 2023", чтобы ознакомиться с методологией и результатами оценки.
Наша главная цель заключалась в создании последовательного, актуального сравнения, отражающего последние разработки Milvus. Мы будем периодически повторно запускать эти и другие бенчмарки векторных баз данных и обновлять наш подробный технический документ полученными результатами. Весь код для этих бенчмарков доступен на Github. Не стесняйтесь открывать issues или pull requests в этом репозитории, если у вас есть какие-либо вопросы, комментарии или предложения.
Протестированные версии
- Milvus v2.2.3 | дата релиза: 10 февраля 2023 г.
- Milvus v2.2.2 | дата релиза: 18 ноября 2022 г.
- Milvus v2.0.0 | дата релиза: 25 января 2022 г.
Мы определили характеристики, которые чаще всего оцениваются при работе с эмбеддингами, чтобы создать репрезентативный набор бенчмарков. Мы рассматривали производительность по следующим параметрам:
- Задержка запроса – измеряется в миллисекундах
- QOS – запросы в секунду
- Задержка vs. пропускная способность
- Масштабируемость на миллиардном масштабе
- Масштабируемость при нескольких репликах
О наборе данных
Кроме того, для бенчмарков используются шесть наборов данных:
- Четыре (4) набора данных из ann-benchmarks использовались для оценки производительности поиска в разных версиях Milvus.
- Два (2) набора данных миллиардного масштаба (BIGANN и LAION-5B от LAION) использовались для оценки масштабируемости Milvus 2.2.3.
Результаты
Задержка ANN-поиска
В Milvus 2.2.3 мы достигли сокращения задержки поиска в 2,5 раза по сравнению с первоначальным релизом Milvus 2.0.0.
Задержка поиска Milvus 2.0.0, 2.2.0 и 2.2.3.png
Пропускная способность ANN-поиска
Мы увидели увеличение QPS в 4,5 раза в Milvus 2.2.3 по сравнению с 2.0.0.
QPS Milvus 2.0.0, 2.2.9 и 2.2.3.png
Миллиардный масштаб
Масштабированный кластер Milvus 2.2.3 показал незначительное снижение производительности как по задержке поиска, так и по QPS.
Задержка и QPS для разных размеров кластера | Milvus.png
Мульти-репликат (Линейная масштабируемость)
Milvus 2.2.3 показал линейную масштабируемость при использовании нескольких реплик.
Задержка и QPS при удвоении числа реплик | Milvus.png
Краткое содержание
Мы настоятельно рекомендуем разработчикам запускать эти бенчмарки, чтобы независимо проверить результаты в выбранной ими среде и на выбранных наборах данных.
Что дальше?
- Загрузите подробный технический документ: "Оценка производительности Milvus 2023."
- Зарегистрируйтесь и начните работу с Zilliz Cloud.
- Присоединяйтесь к нам в Slack Community!
Читать далее
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.
Vector Databases vs. Time Series Databases
Use a vector database for similarity search and semantic relationships; use a time series database for tracking value changes over time.
OpenAI o1: What Developers Need to Know
In this article, we will talk about the o1 series from a developer's perspective, exploring how these models can be implemented for sophisticated use cases.