Zilliz одержала победу в соревновании NeurIPS 2021 по ANN-поиску миллиардного масштаба
6 декабря 2021 года ведущая мировая академическая конференция по ИИ NeurIPS объявила результаты своего первого соревнования Approximate Nearest Neighbor (ANN) Search Challenge. Исследовательская команда Zilliz заняла первое место в треке Disk-based ANN Search со своим алгоритмом оптимизации производительности диска, подняв ANN-поиск по наборам данных миллиардного масштаба на новый уровень.
Скриншот электронного письма.
Появление нейронных сетей позволяет представлять огромные объемы неструктурированных данных, таких как речь, изображения и видео, в виде векторов, что делает ANN-поиск ключом к пониманию этих неструктурированных данных. Первое соревнование ANN Search Challenge, организованное ведущими экспертами и учеными из Microsoft Research, Facebook AI Research, Carnegie Mellon University, Yandex и других влиятельных организаций, привлекло участников из Tsinghua University, Nanjing University, Intel, NVIDIA, Kuaishou Technology и других. Всего в качестве примерных наборов данных в соревновании использовались шесть наборов данных миллиардного масштаба, четыре из которых были выпущены Facebook, Microsoft Turing, Microsoft Bing и Yandex специально для этого мероприятия.
Решение Disk-based ANN Search Solution Block-based ANN (BBAnn), разработанное исследовательской командой Zilliz, заняло первое место в треке ANN Search соревнования. Его производительность достигла пика во время поиска в наборе данных SimSearchNet++, выпущенном Facebook. Этот набор данных имитирует точное обнаружение едва заметных изменений в изображении, создавая серьезную задачу по извлечению всех векторов в пределах определенного радиуса вокруг целевого вектора. Чтобы усложнить соревнование, количество возвращаемых результатов запроса оставалось неопределенным. Согласно результатам тестирования, решение Zilliz извлекло 88,573% всех релевантных результатов в наборе данных, что значительно превышает базовый показатель 16,274% и знаменует собой огромный прорыв в ANN-поиске миллиардного масштаба.
В будущем Zilliz будет стремиться к внедрению этого исследовательского достижения в Milvus, векторную базу данных с открытым исходным кодом, чтобы удовлетворять потребности пользователей в различных сценариях применения. Milvus является выпускным проектом LF AI & Data Foundation. Milvus способен управлять большим количеством неструктурированных наборов данных и имеет широкий спектр применений в разработке новых лекарств, рекомендательных системах, чат-ботах и многом другом. Zilliz продолжит инвестировать в раскрытие скрытой ценности огромных объемов неструктурированных данных для предприятий с помощью решений с открытым исходным кодом и cloud-native решений.
Читать далее
Migrating Self-Managed Milvus to Zilliz Cloud for >99% Latency Reduction
Step-by-step guide to migrating 50M vectors from self-managed Milvus to Zilliz Cloud using milvus-backup. Achieve >99% query latency reduction with zero data loss.
Migrating from S3 Vectors to Zilliz Cloud: Unlocking the Power of Tiered Storage
Learn how Zilliz Cloud bridges cost and performance with tiered storage and enterprise-grade features, and how to migrate data from AWS S3 Vectors to Zilliz Cloud.
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.