Zilliz triunfó en el desafío de búsqueda ANN a escala de miles de millones de NeurIPS 2021
El 6 de diciembre de 2021, la principal conferencia académica de IA del mundo, NeurIPS, anunció el resultado de su primer desafío de búsqueda de vecino más cercano aproximado (ANN). El equipo de investigación de Zilliz ganó el primer lugar en la categoría de búsqueda ANN basada en disco con su algoritmo de optimización del rendimiento en disco, llevando la búsqueda ANN en conjuntos de datos a escala de miles de millones a un nivel superior.
Captura de pantalla de correo electrónico.
La aparición de las redes neuronales permite que enormes cantidades de datos no estructurados, como voz, imágenes y videos, se incrusten como vectores, convirtiendo la búsqueda ANN en la clave para comprender estos datos no estructurados. Dirigido por expertos y académicos de Microsoft Research, Facebook AI Research, Carnegie Mellon University, Yandex y otras organizaciones influyentes, el primer desafío de búsqueda ANN atrajo a participantes de Tsinghua University, Nanjing University, Intel, NVIDIA, Kuaishou Technology y más. En total, se adoptaron seis conjuntos de datos a escala de miles de millones como conjuntos de datos de ejemplo en el desafío, y cuatro de ellos fueron publicados por Facebook, Microsoft Turing, Microsoft Bing y Yandex específicamente para este evento.
La solución de búsqueda ANN basada en disco Block-based ANN (BBAnn), desarrollada por el equipo de investigación de Zilliz, ocupó el primer lugar en la categoría de búsqueda ANN del desafío. Su rendimiento alcanzó su punto máximo durante la búsqueda en el conjunto de datos SimSearchNet++ publicado por Facebook. Este conjunto de datos simula una detección precisa de cambios sutiles en imágenes, lo que plantea el gran desafío de recuperar todos los vectores dentro de un determinado radio alrededor del vector objetivo. Para hacer el desafío más difícil, el número de resultados de consulta a devolver seguía siendo incierto. Según el resultado de la prueba, la solución de Zilliz recuperó el 88.573% de todos los resultados relevantes del conjunto de datos, muy por encima de la referencia del 16.274%, lo que marca un enorme avance en la búsqueda ANN a escala de miles de millones.
En el futuro, Zilliz se dedicará a la implementación de este logro de investigación en Milvus, una base de datos vectorial de código abierto, para satisfacer las necesidades de los usuarios de diferentes escenarios de aplicación. Milvus es un proyecto graduado de la LF AI & Data Foundation. Milvus es capaz de gestionar una gran cantidad de conjuntos de datos no estructurados y tiene una amplia gama de aplicaciones en el descubrimiento de nuevos fármacos, sistemas de recomendación, chatbots y más. Zilliz seguirá invirtiendo en liberar el valor oculto de enormes cantidades de datos no estructurados para las empresas mediante soluciones de código abierto y nativas de la nube.
Sigue leyendo
Introducing Zilliz CLI and Agent Skills for Zilliz Cloud
Manage your vector database from your terminal or AI coding agent. Zilliz CLI and Agent Skills work with Claude Code, Cursor, Codex, and Copilot.
Introducing Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud
We're announcing the general availability of Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud.
Vector Databases vs. Document Databases
Use a vector database for similarity search and AI-powered applications; use a document database for flexible schema and JSON-like data storage.