Zilliz ha trionfato nella sfida di ricerca ANN su scala miliardaria di NeurIPS 2021
Il 6 dicembre 2021, NeurIPS, la principale conferenza accademica mondiale sull'IA, ha annunciato il risultato della sua prima Approximate Nearest Neighbor (ANN) Search Challenge. Il team di ricerca di Zilliz ha conquistato il primo posto nel track Disk-based ANN Search con il suo Disk Performance Optimization Algorithm, portando la ricerca ANN su dataset su scala miliardaria a un livello superiore.
Screenshot dell'email.
L'emergere delle reti neurali consente di incorporare enormi quantità di dati non strutturati come parlato, immagini e video sotto forma di vettori, rendendo la ricerca ANN la chiave per comprendere questi dati non strutturati. Guidata da esperti e studiosi di Microsoft Research, Facebook AI Research, Carnegie Mellon University, Yandex e altre organizzazioni influenti, la prima ANN Search Challenge ha attirato candidati da Tsinghua University, Nanjing University, Intel, NVIDIA, Kuaishou Technology e altri. In totale, sei dataset su scala miliardaria sono stati adottati come dataset di esempio nella challenge, e quattro di essi sono stati rilasciati da Facebook, Microsoft Turing, Microsoft Bing e Yandex specificamente per questo evento.
La soluzione Disk-based ANN Search Block-based ANN (BBAnn), sviluppata dal team di ricerca di Zilliz, si è classificata al primo posto nel track ANN Search della Challenge. Le sue prestazioni hanno raggiunto il picco durante la ricerca nel dataset SimSearchNet++ rilasciato da Facebook. Questo dataset simula un rilevamento accurato di cambiamenti sottili nelle immagini, ponendo una grande sfida nel recuperare tutti i vettori entro un certo raggio attorno al vettore target. Per rendere la challenge più difficile, il numero di risultati di query da restituire rimaneva incerto. Secondo il risultato del test, la soluzione di Zilliz ha recuperato l'88,573% di tutti i risultati rilevanti nel dataset, ben oltre il baseline del 16,274%, segnando un enorme passo avanti nella ricerca ANN su scala miliardaria.
In futuro, Zilliz si dedicherà all'implementazione di questo risultato di ricerca in Milvus, un database vettoriale open source, per soddisfare le esigenze degli utenti in diversi scenari applicativi. Milvus è un progetto graduate della LF AI & Data Foundation. Milvus è in grado di gestire un gran numero di dataset non strutturati e trova un'ampia gamma di applicazioni nella scoperta di nuovi farmaci, nei sistemi di raccomandazione, nei chatbot e altro ancora. Zilliz continuerà a investire per sbloccare il valore nascosto di enormi quantità di dati non strutturati per le imprese attraverso soluzioni open source e cloud-native.
Continua a leggere
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.
1 Table = 1000 Words? Foundation Models for Tabular Data
TableGPT2 automates tabular data insights, overcoming schema variability, while Milvus accelerates vector search for efficient, scalable decision-making.
Building RAG Pipelines for Real-Time Data with Cloudera and Milvus
explore how Cloudera can be integrated with Milvus to effectively implement some of the key functionalities of RAG pipelines.