Zilliz одержала победу в соревновании NeurIPS 2021 по ANN-поиску миллиардного масштаба
6 декабря 2021 года ведущая мировая академическая конференция по ИИ NeurIPS объявила результаты своего первого соревнования Approximate Nearest Neighbor (ANN) Search Challenge. Исследовательская команда Zilliz заняла первое место в треке Disk-based ANN Search со своим алгоритмом оптимизации производительности диска, подняв ANN-поиск по наборам данных миллиардного масштаба на новый уровень.
Скриншот электронного письма.
Появление нейронных сетей позволяет представлять огромные объемы неструктурированных данных, таких как речь, изображения и видео, в виде векторов, что делает ANN-поиск ключом к пониманию этих неструктурированных данных. Первое соревнование ANN Search Challenge, организованное ведущими экспертами и учеными из Microsoft Research, Facebook AI Research, Carnegie Mellon University, Yandex и других влиятельных организаций, привлекло участников из Tsinghua University, Nanjing University, Intel, NVIDIA, Kuaishou Technology и других. Всего в качестве примерных наборов данных в соревновании использовались шесть наборов данных миллиардного масштаба, четыре из которых были выпущены Facebook, Microsoft Turing, Microsoft Bing и Yandex специально для этого мероприятия.
Решение Disk-based ANN Search Solution Block-based ANN (BBAnn), разработанное исследовательской командой Zilliz, заняло первое место в треке ANN Search соревнования. Его производительность достигла пика во время поиска в наборе данных SimSearchNet++, выпущенном Facebook. Этот набор данных имитирует точное обнаружение едва заметных изменений в изображении, создавая серьезную задачу по извлечению всех векторов в пределах определенного радиуса вокруг целевого вектора. Чтобы усложнить соревнование, количество возвращаемых результатов запроса оставалось неопределенным. Согласно результатам тестирования, решение Zilliz извлекло 88,573% всех релевантных результатов в наборе данных, что значительно превышает базовый показатель 16,274% и знаменует собой огромный прорыв в ANN-поиске миллиардного масштаба.
В будущем Zilliz будет стремиться к внедрению этого исследовательского достижения в Milvus, векторную базу данных с открытым исходным кодом, чтобы удовлетворять потребности пользователей в различных сценариях применения. Milvus является выпускным проектом LF AI & Data Foundation. Milvus способен управлять большим количеством неструктурированных наборов данных и имеет широкий спектр применений в разработке новых лекарств, рекомендательных системах, чат-ботах и многом другом. Zilliz продолжит инвестировать в раскрытие скрытой ценности огромных объемов неструктурированных данных для предприятий с помощью решений с открытым исходным кодом и cloud-native решений.
Читать далее
From Vector Database to Vector Lakebase
Zilliz offers a fully managed Vector Lakebase powered by Milvus, unifying real-time vector search, lake-scale discovery, and Al data operations.
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.
3 Key Patterns to Building Multimodal RAG: A Comprehensive Guide
These multimodal RAG patterns include grounding all modalities into a primary modality, embedding them into a unified vector space, or employing hybrid retrieval with raw data access.