Zilliz, NeurIPS 2021의 10억 규모 ANN 검색 챌린지에서 우승하다
2021년 12월 6일, 세계 최고 AI 학술 컨퍼런스인 NeurIPS는 첫 Approximate Nearest Neighbor (ANN) Search Challenge의 결과를 발표했습니다. Zilliz 연구팀은 Disk Performance Optimization Algorithm을 통해 Disk-based ANN Search 트랙에서 1위를 차지했으며, 수십억 규모 데이터셋에서의 ANN 검색을 한층 더 높은 수준으로 끌어올렸습니다.
이메일 스크린샷.
신경망의 등장은 음성, 이미지, 비디오와 같은 방대한 비정형 데이터를 벡터로 임베딩할 수 있게 했고, ANN 검색은 이러한 비정형 데이터를 이해하는 핵심이 되었습니다. Microsoft Research, Facebook AI Research, Carnegie Mellon University, Yandex 및 기타 영향력 있는 기관의 전문가와 학자들이 주도한 첫 ANN Search Challenge에는 Tsinghua University, Nanjing University, Intel, NVIDIA, Kuaishou Technology 등에서 참가자들이 모였습니다. 총 6개의 수십억 규모 데이터셋이 챌린지의 예시 데이터셋으로 채택되었으며, 그중 4개는 Facebook, Microsoft Turing, Microsoft Bing, Yandex가 이 행사를 위해 특별히 공개했습니다.
Zilliz 연구팀이 개발한 Disk-based ANN Search Solution Block-based ANN (BBAnn)은 이 Challenge의 ANN Search 트랙에서 1위를 차지했습니다. 이 솔루션은 Facebook이 공개한 SimSearchNet++ 데이터셋에서 검색 중 최고 성능을 기록했습니다. 이 데이터셋은 이미지의 미묘한 변화를 정확하게 감지하는 것을 시뮬레이션하며, 대상 벡터 주변의 특정 반경 내 모든 벡터를 검색해야 하는 큰 과제를 제시합니다. 챌린지를 더 어렵게 만들기 위해 반환해야 할 쿼리 결과 수는 불확실하게 유지되었습니다. 테스트 결과에 따르면, Zilliz의 솔루션은 데이터셋 내 모든 관련 결과의 88.573%를 검색해냈으며, 이는 기준선인 16.274%를 훨씬 뛰어넘는 수치로, 수십억 규모 ANN 검색에서의 거대한 돌파구를 의미합니다.
앞으로 Zilliz는 다양한 애플리케이션 시나리오의 사용자 요구를 충족하기 위해 이 연구 성과를 Milvus, 즉 open source vector database에 구현하는 데 전념할 것입니다. Milvus는 LF AI & Data Foundation의 졸업 프로젝트입니다. Milvus는 대량의 비정형 데이터셋을 관리할 수 있으며, 신약 개발, 추천 시스템, 챗봇 등 다양한 분야에 폭넓게 적용됩니다. Zilliz는 오픈 소스 및 클라우드 네이티브 솔루션을 통해 기업을 위한 방대한 비정형 데이터의 숨겨진 가치를 발굴하는 데 계속 투자할 것입니다.
계속 읽기
Vector Lakebase: End the AI Data Silo
Learn how Vector Lakebase unifies vector search, data lakes, and AI data operations so teams can serve RAG and agents without copy-and-sync pipelines.
Zilliz Cloud Now Available in Azure North Europe: Bringing AI-Powered Vector Search Closer to European Customers
The addition of the Azure North Europe (Ireland) region further expands our global footprint to better serve our European customers.
Building RAG Pipelines for Real-Time Data with Cloudera and Milvus
explore how Cloudera can be integrated with Milvus to effectively implement some of the key functionalities of RAG pipelines.