Zilliz одержала победу в соревновании NeurIPS 2021 по ANN-поиску миллиардного масштаба

6 декабря 2021 года ведущая мировая академическая конференция по ИИ NeurIPS объявила результаты своего первого соревнования Approximate Nearest Neighbor (ANN) Search Challenge. Исследовательская команда Zilliz заняла первое место в треке Disk-based ANN Search со своим алгоритмом оптимизации производительности диска, подняв ANN-поиск по наборам данных миллиардного масштаба на новый уровень.

Скриншот электронного письма.

Появление нейронных сетей позволяет представлять огромные объемы неструктурированных данных, таких как речь, изображения и видео, в виде векторов, что делает ANN-поиск ключом к пониманию этих неструктурированных данных. Первое соревнование ANN Search Challenge, организованное ведущими экспертами и учеными из Microsoft Research, Facebook AI Research, Carnegie Mellon University, Yandex и других влиятельных организаций, привлекло участников из Tsinghua University, Nanjing University, Intel, NVIDIA, Kuaishou Technology и других. Всего в качестве примерных наборов данных в соревновании использовались шесть наборов данных миллиардного масштаба, четыре из которых были выпущены Facebook, Microsoft Turing, Microsoft Bing и Yandex специально для этого мероприятия.

Решение Disk-based ANN Search Solution Block-based ANN (BBAnn), разработанное исследовательской командой Zilliz, заняло первое место в треке ANN Search соревнования. Его производительность достигла пика во время поиска в наборе данных SimSearchNet++, выпущенном Facebook. Этот набор данных имитирует точное обнаружение едва заметных изменений в изображении, создавая серьезную задачу по извлечению всех векторов в пределах определенного радиуса вокруг целевого вектора. Чтобы усложнить соревнование, количество возвращаемых результатов запроса оставалось неопределенным. Согласно результатам тестирования, решение Zilliz извлекло 88,573% всех релевантных результатов в наборе данных, что значительно превышает базовый показатель 16,274% и знаменует собой огромный прорыв в ANN-поиске миллиардного масштаба.

В будущем Zilliz будет стремиться к внедрению этого исследовательского достижения в Milvus, векторную базу данных с открытым исходным кодом, чтобы удовлетворять потребности пользователей в различных сценариях применения. Milvus является выпускным проектом LF AI & Data Foundation. Milvus способен управлять большим количеством неструктурированных наборов данных и имеет широкий спектр применений в разработке новых лекарств, рекомендательных системах, чат-ботах и многом другом. Zilliz продолжит инвестировать в раскрытие скрытой ценности огромных объемов неструктурированных данных для предприятий с помощью решений с открытым исходным кодом и cloud-native решений.