Zilliz triumphierte bei der ANN-Suchherausforderung im Milliardenmaßstab der NeurIPS 2021

Am 6. Dezember 2021 gab NeurIPS, die weltweit führende akademische KI-Konferenz, das Ergebnis ihrer ersten Approximate Nearest Neighbor (ANN) Search Challenge bekannt. Das Forschungsteam von Zilliz gewann mit seinem Disk Performance Optimization Algorithm den ersten Platz im Track Disk-based ANN Search und hob damit die ANN-Suche auf Datensätzen im Milliardenmaßstab auf ein höheres Niveau.

E-Mail-Screenshot.

Das Aufkommen neuronaler Netze ermöglicht es, massive unstrukturierte Daten wie Sprache, Bilder und Videos als Vektoren einzubetten, wodurch die ANN-Suche zum Schlüssel für das Verständnis dieser unstrukturierten Daten wird. Unter der Leitung von Experten und Wissenschaftlern von Microsoft Research, Facebook AI Research, Carnegie Mellon University, Yandex und anderen einflussreichen Organisationen zog die erste ANN Search Challenge Teilnehmende von der Tsinghua University, Nanjing University, Intel, NVIDIA, Kuaishou Technology und weiteren an. Insgesamt wurden sechs Datensätze im Milliardenmaßstab als Beispieldatensätze in der Challenge verwendet, und vier davon wurden von Facebook, Microsoft Turing, Microsoft Bing und Yandex speziell für diese Veranstaltung veröffentlicht.

Die Disk-based ANN Search Solution Block-based ANN (BBAnn), entwickelt vom Forschungsteam von Zilliz, belegte den ersten Platz im ANN Search Track der Challenge. Ihre Leistung erreichte während der Suche im von Facebook veröffentlichten SimSearchNet++-Datensatz ihren Höhepunkt. Dieser Datensatz simuliert eine präzise Erkennung subtiler Veränderungen in Bildern und stellt damit eine große Herausforderung dar, alle Vektoren innerhalb eines bestimmten Radius um den Zielvektor abzurufen. Um die Challenge noch schwieriger zu gestalten, blieb die Anzahl der zurückzugebenden Abfrageergebnisse ungewiss. Laut Testergebnis rief die Lösung von Zilliz 88,573 % aller relevanten Ergebnisse im Datensatz ab, weit über der Baseline von 16,274 %, was einen enormen Durchbruch in der ANN-Suche im Milliardenmaßstab markiert.

In Zukunft wird sich Zilliz der Umsetzung dieses Forschungsergebnisses in Milvus, einer Open-Source-Vektordatenbank, widmen, um den Bedürfnissen von Nutzern aus verschiedenen Anwendungsszenarien gerecht zu werden. Milvus ist ein Graduate-Projekt der LF AI & Data Foundation. Milvus ist in der Lage, eine große Anzahl unstrukturierter Datensätze zu verwalten, und verfügt über ein breites Anwendungsspektrum in der Entdeckung neuer Medikamente, Empfehlungssystemen, Chatbots und mehr. Zilliz wird weiterhin darin investieren, den verborgenen Wert massiver unstrukturierter Daten für Unternehmen durch Open-Source- und cloud-native Lösungen zu erschließen.