Zilliz triunfó en el desafío de búsqueda ANN a escala de miles de millones de NeurIPS 2021
El 6 de diciembre de 2021, la principal conferencia académica de IA del mundo, NeurIPS, anunció el resultado de su primer desafío de búsqueda de vecino más cercano aproximado (ANN). El equipo de investigación de Zilliz ganó el primer lugar en la categoría de búsqueda ANN basada en disco con su algoritmo de optimización del rendimiento en disco, llevando la búsqueda ANN en conjuntos de datos a escala de miles de millones a un nivel superior.
Captura de pantalla de correo electrónico.
La aparición de las redes neuronales permite que enormes cantidades de datos no estructurados, como voz, imágenes y videos, se incrusten como vectores, convirtiendo la búsqueda ANN en la clave para comprender estos datos no estructurados. Dirigido por expertos y académicos de Microsoft Research, Facebook AI Research, Carnegie Mellon University, Yandex y otras organizaciones influyentes, el primer desafío de búsqueda ANN atrajo a participantes de Tsinghua University, Nanjing University, Intel, NVIDIA, Kuaishou Technology y más. En total, se adoptaron seis conjuntos de datos a escala de miles de millones como conjuntos de datos de ejemplo en el desafío, y cuatro de ellos fueron publicados por Facebook, Microsoft Turing, Microsoft Bing y Yandex específicamente para este evento.
La solución de búsqueda ANN basada en disco Block-based ANN (BBAnn), desarrollada por el equipo de investigación de Zilliz, ocupó el primer lugar en la categoría de búsqueda ANN del desafío. Su rendimiento alcanzó su punto máximo durante la búsqueda en el conjunto de datos SimSearchNet++ publicado por Facebook. Este conjunto de datos simula una detección precisa de cambios sutiles en imágenes, lo que plantea el gran desafío de recuperar todos los vectores dentro de un determinado radio alrededor del vector objetivo. Para hacer el desafío más difícil, el número de resultados de consulta a devolver seguía siendo incierto. Según el resultado de la prueba, la solución de Zilliz recuperó el 88.573% de todos los resultados relevantes del conjunto de datos, muy por encima de la referencia del 16.274%, lo que marca un enorme avance en la búsqueda ANN a escala de miles de millones.
En el futuro, Zilliz se dedicará a la implementación de este logro de investigación en Milvus, una base de datos vectorial de código abierto, para satisfacer las necesidades de los usuarios de diferentes escenarios de aplicación. Milvus es un proyecto graduado de la LF AI & Data Foundation. Milvus es capaz de gestionar una gran cantidad de conjuntos de datos no estructurados y tiene una amplia gama de aplicaciones en el descubrimiento de nuevos fármacos, sistemas de recomendación, chatbots y más. Zilliz seguirá invirtiendo en liberar el valor oculto de enormes cantidades de datos no estructurados para las empresas mediante soluciones de código abierto y nativas de la nube.
Sigue leyendo
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.
8 Latest RAG Advancements Every Developer Should Know
Explore eight advanced RAG variants that can solve real problems you might be facing: slow retrieval, poor context understanding, multimodal data handling, and resource optimization.
1 Table = 1000 Words? Foundation Models for Tabular Data
TableGPT2 automates tabular data insights, overcoming schema variability, while Milvus accelerates vector search for efficient, scalable decision-making.