46.7kЗаказать демоВойтиНачать бесплатно

Что нового в Milvus 2.3 Beta — в 10 раз быстрее с GPU

Mar 22, 20233 min read

Мы рады объявить о бета-релизе Milvus 2.3 от имени сообщества Milvus. Этот бета-релиз содержит новые функции и улучшения, которые, как мы уверены, повысят производительность ваших приложений на базе ИИ. Мы ценим вашу помощь в тестировании некоторых из этих возможностей, чтобы быстрее довести нас до общего релиза! В этой записи блога будут освещены некоторые из наиболее заметных функций. Полный список изменений см. в примечаниях к релизу.

Одной из функций Milvus 2.3 Beta является поддержка ускорения на GPU и интеграции на основе RAFT, что позволяет Milvus в полной мере использовать мощность современных графических процессоров. Milvus с ускорением на GPU обеспечивает в 10 раз более высокую производительность, чем версия только для CPU. Это может значительно повысить скорость и отзывчивость ваших приложений на базе ИИ и машинного обучения, обеспечивая более быструю и точную обработку данных.

Еще одна важная функция Milvus 2.3 Beta — поддержка поиска по диапазону, позволяющая пользователям искать данные в заданном диапазоне. Это может быть особенно полезно для приложений, которым требуются сложные запросы к данным, поскольку обеспечивает более точный и корректный поиск. Кроме того, Milvus 2.3 Beta также поддерживает mmap и инкрементальные резервные копии, что может дополнительно повысить производительность и эффективность ваших ИИ-приложений. Обеспечивая более эффективное управление данными и их хранение, эти функции помогают гарантировать, что ваши ИИ-системы постоянно работают на максимальном уровне.

В целом улучшения в этом релизе важны для любого разработчика, создающего приложения с возможностями поиска по сходству.

Поддержка Nvidia GPU Эта новая функция добавляет возможность поддержки гетерогенных вычислений, что может значительно ускорить специализированные рабочие нагрузки. Новое дополнение позволяет пользователям рассчитывать на более быстрый и эффективный поиск векторных данных, в конечном итоге повышая продуктивность и производительность. Мы сравнили RAFT-IVF-Flat (GPU) с IVF-Flat (CPU) и HNSW (CPU) на четырех наборах данных при 95% recall. Индекс GPU достиг в среднем в 32 и 8 раз более высокой пропускной способности, чем IVF-Flat и HNSW. Результаты оценки показаны в Таблице 1. (Эти бенчмарки выполнялись для Knowhere на хосте с 8-ядерным CPU, 32 GB RAM и Nvidia A100 GPU)

Таблица 1. QPS IVF-Flat, HNSW, RAFT-IVF-Flat на четырех наборах данных при 95% recall

SIFTGISTGLOVEDEEP
IVF-Flat (CPU)3097142791723
HNSW (CPU)14,5377911,5165,761
RAFT-IVF-Flat (GPU)121,5685,73720,16316,557

Особая благодарность @wphicks и @cjnolet из Nvidia за их ценный вклад в код RAFT.

Поиск по диапазону Поиск по диапазону — это метод поиска, отличающийся от запроса k-NN. Запросы k-NN возвращают фиксированное число ближайших соседей. Для поиска по диапазону при заданном запросе q и пороге расстояния R он возвращает все сущности в пределах расстояния R от q. Поиск по диапазону обычно используется для нахождения всех релевантных результатов в заданном диапазоне. Например, он может помочь (но не ограничивается этим) с дедупликацией данных или обнаружением нарушения авторских прав без пропуска похожих кандидатов.

Upsert Upsert — это операция, которая обновляет значение сущности, если она уже существует в коллекции, или вставляет новую, если она не существует. Milvus предлагает высокую гибкость при добавлении данных в ваши коллекции. На данный момент всего есть три варианта:

  • Bulk insert для высокой пропускной способности в офлайн-сценариях.
  • Insert для низкой задержки в сценариях онлайн-стриминга.
  • Upsert для случаев, когда вы не уверены, нужно ли обновлять или вставлять новые сущности.

Change Data Capture (CDC) Change Data Capture (CDC) — это процесс выявления и захвата изменений данных в векторной базе данных в реальном времени и доставки этих изменений в нижестоящие системы. Теперь Milvus предлагает резервное копирование и синхронизацию без простоя на основе этого механизма. Разработчики также могут использовать CDC для захвата и предоставления непрерывного потока изменений для своих нижестоящих рабочих нагрузок, таких как аналитика данных или настраиваемый аудит.

Memory-mapped (mmap) file I/O В сценариях с недостаточным объемом памяти при больших наборах данных и некритичной производительностью запросов Milvus использует mmap, чтобы позволить системе обращаться с частями файла так, как если бы они находились в памяти, сокращая использование памяти и повышая производительность, если все данные находятся в страничном кэше системы.

Резюме

В дополнение ко всем перечисленным выше функциям, Milvus 2.3 Beta включает несколько исправлений ошибок и улучшений. Чтобы узнать больше:

Обновлено Jul 09, 2026