Zilliz одержала победу в соревновании NeurIPS 2021 по ANN-поиску миллиардного масштаба
6 декабря 2021 года ведущая мировая академическая конференция по ИИ NeurIPS объявила результаты своего первого соревнования Approximate Nearest Neighbor (ANN) Search Challenge. Исследовательская команда Zilliz заняла первое место в треке Disk-based ANN Search со своим алгоритмом оптимизации производительности диска, подняв ANN-поиск по наборам данных миллиардного масштаба на новый уровень.
Скриншот электронного письма.
Появление нейронных сетей позволяет представлять огромные объемы неструктурированных данных, таких как речь, изображения и видео, в виде векторов, что делает ANN-поиск ключом к пониманию этих неструктурированных данных. Первое соревнование ANN Search Challenge, организованное ведущими экспертами и учеными из Microsoft Research, Facebook AI Research, Carnegie Mellon University, Yandex и других влиятельных организаций, привлекло участников из Tsinghua University, Nanjing University, Intel, NVIDIA, Kuaishou Technology и других. Всего в качестве примерных наборов данных в соревновании использовались шесть наборов данных миллиардного масштаба, четыре из которых были выпущены Facebook, Microsoft Turing, Microsoft Bing и Yandex специально для этого мероприятия.
Решение Disk-based ANN Search Solution Block-based ANN (BBAnn), разработанное исследовательской командой Zilliz, заняло первое место в треке ANN Search соревнования. Его производительность достигла пика во время поиска в наборе данных SimSearchNet++, выпущенном Facebook. Этот набор данных имитирует точное обнаружение едва заметных изменений в изображении, создавая серьезную задачу по извлечению всех векторов в пределах определенного радиуса вокруг целевого вектора. Чтобы усложнить соревнование, количество возвращаемых результатов запроса оставалось неопределенным. Согласно результатам тестирования, решение Zilliz извлекло 88,573% всех релевантных результатов в наборе данных, что значительно превышает базовый показатель 16,274% и знаменует собой огромный прорыв в ANN-поиске миллиардного масштаба.
В будущем Zilliz будет стремиться к внедрению этого исследовательского достижения в Milvus, векторную базу данных с открытым исходным кодом, чтобы удовлетворять потребности пользователей в различных сценариях применения. Milvus является выпускным проектом LF AI & Data Foundation. Milvus способен управлять большим количеством неструктурированных наборов данных и имеет широкий спектр применений в разработке новых лекарств, рекомендательных системах, чат-ботах и многом другом. Zilliz продолжит инвестировать в раскрытие скрытой ценности огромных объемов неструктурированных данных для предприятий с помощью решений с открытым исходным кодом и cloud-native решений.
Читать далее
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).
The Great AI Agent Protocol Race: Function Calling vs. MCP vs. A2A
Compare Function Calling, MCP, and A2A protocols for AI agents. Learn which standard best fits your development needs and future-proof your applications.