Что нового в Milvus 2.3

Мы рады объявить о выпуске Milvus 2.3.0. Этот релиз содержит множество интересных новых функций и улучшений. В этой публикации блога мы расскажем о некоторых наиболее заметных функциях. Полный список изменений смотрите в заметках к выпуску.

📦 PyPI: https://pypi.org/project/milvus/

📚 Документация: https://milvus.io/docs

🛠️ Заметки к выпуску: https://milvus.io/docs/release_notes.md#v230

🐳 Docker Image: docker pull

🚀 Релиз: milvus-2.3.0

🖥️ Вычислительные улучшения с GPU и ARM64:

• Индексирование GPU через Nvidia: QPS улучшился более чем втрое по сравнению с предыдущим индексированием CPU HNSW. Для вычислительно интенсивных наборов данных производительность выросла почти в десять раз.

• Docker Image для ARM64: ARM CPUs обеспечивают прирост производительности на 20% и при этом на 20% более экономичны.

🔎 Улучшения поиска и индексирования:

• Диапазонный поиск: Более детальный механизм поиска, обеспечивающий извлечение векторов на основе заданных расстояний от входного вектора, что делает извлечение данных по близости более интуитивным.

• Интеграция индекса ScaNN: По сравнению с HNSW или IVFFlat индекс ScaNN обеспечивает повышение производительности на 20% и работает в семь раз быстрее, чем IVFFlat.

• Growing Index: По мере поступления данных Milvus 2.3 индексирует их в реальном времени, обеспечивая более быстрое выполнение запросов.

🔀 Инструменты конвейера данных:

• Итератор в Pymilvus: Позволяет пакетно экспортировать большие объемы векторов, что особенно полезно при работе с данными в десятки тысяч элементов.

• Операция Upsert: Одновременное обновление или вставка данных в одном запросе, что упрощает управление данными и повышает эффективность.

• Поддержка CDC: Облегчает синхронизацию данных между дата-центрами, позволяет выполнять инкрементальные резервные копии и обеспечивает плавную миграцию данных.

Мы также улучшили работоспособность системы, балансировку нагрузки и производительность запросов. Было исправлено несколько ошибок, и мы оптимизировали основные компоненты, такие как ‘QueryNode’. Наша система очередей сообщений была переработана для повышения эффективности. Кроме того, такие инструменты, как Birdwatcher и Attu, получили обновления для улучшения функциональности. Ознакомьтесь с заметками к выпуску Milvus 2.3, чтобы получить полный обзор.

Заключительные замечания:

Большое спасибо нашему сообществу разработчиков. Ваши вклады, PR и отзывы сформировали Milvus 2.3. Нам очень интересно увидеть, как вы интегрируете эти обновления, и мы ждем ваших дальнейших отзывов. Продолжайте писать код! 🖥️🔧