Zilliz одержала победу в соревновании NeurIPS 2021 по ANN-поиску миллиардного масштаба
6 декабря 2021 года ведущая мировая академическая конференция по ИИ NeurIPS объявила результаты своего первого соревнования Approximate Nearest Neighbor (ANN) Search Challenge. Исследовательская команда Zilliz заняла первое место в треке Disk-based ANN Search со своим алгоритмом оптимизации производительности диска, подняв ANN-поиск по наборам данных миллиардного масштаба на новый уровень.
Скриншот электронного письма.
Появление нейронных сетей позволяет представлять огромные объемы неструктурированных данных, таких как речь, изображения и видео, в виде векторов, что делает ANN-поиск ключом к пониманию этих неструктурированных данных. Первое соревнование ANN Search Challenge, организованное ведущими экспертами и учеными из Microsoft Research, Facebook AI Research, Carnegie Mellon University, Yandex и других влиятельных организаций, привлекло участников из Tsinghua University, Nanjing University, Intel, NVIDIA, Kuaishou Technology и других. Всего в качестве примерных наборов данных в соревновании использовались шесть наборов данных миллиардного масштаба, четыре из которых были выпущены Facebook, Microsoft Turing, Microsoft Bing и Yandex специально для этого мероприятия.
Решение Disk-based ANN Search Solution Block-based ANN (BBAnn), разработанное исследовательской командой Zilliz, заняло первое место в треке ANN Search соревнования. Его производительность достигла пика во время поиска в наборе данных SimSearchNet++, выпущенном Facebook. Этот набор данных имитирует точное обнаружение едва заметных изменений в изображении, создавая серьезную задачу по извлечению всех векторов в пределах определенного радиуса вокруг целевого вектора. Чтобы усложнить соревнование, количество возвращаемых результатов запроса оставалось неопределенным. Согласно результатам тестирования, решение Zilliz извлекло 88,573% всех релевантных результатов в наборе данных, что значительно превышает базовый показатель 16,274% и знаменует собой огромный прорыв в ANN-поиске миллиардного масштаба.
В будущем Zilliz будет стремиться к внедрению этого исследовательского достижения в Milvus, векторную базу данных с открытым исходным кодом, чтобы удовлетворять потребности пользователей в различных сценариях применения. Milvus является выпускным проектом LF AI & Data Foundation. Milvus способен управлять большим количеством неструктурированных наборов данных и имеет широкий спектр применений в разработке новых лекарств, рекомендательных системах, чат-ботах и многом другом. Zilliz продолжит инвестировать в раскрытие скрытой ценности огромных объемов неструктурированных данных для предприятий с помощью решений с открытым исходным кодом и cloud-native решений.
Читать далее
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.
Announcing the General Availability of Single Sign-On (SSO) on Zilliz Cloud
SSO is GA on Zilliz Cloud, delivering the enterprise-grade identity management capabilities your teams need to deploy vectorDB with confidence.
Why AI Databases Don't Need SQL
Whether you like it or not, here's the truth: SQL is destined for decline in the era of AI.