¿Son suficientes las CPU? Una revisión de la búsqueda vectorial ejecutándose en hardware novedoso
La búsqueda vectorial ha surgido como una tecnología fundamental, que permite la recuperación rápida y precisa de información en numerosas aplicaciones, desde sistemas de recomendación hasta reconocimiento de imágenes. Tradicionalmente, las CPU han sido los motores que impulsan estas operaciones. Sin embargo, a medida que los volúmenes de datos se disparan y aumentan las demandas de velocidad y eficiencia, surge la pregunta: ¿Son suficientes las CPU para satisfacer las crecientes necesidades de la búsqueda moderna impulsada por IA?
En su reciente charla en el Unstructured Data Meetup 2024, organizado por Zilliz, George Williams, experto en visión por computadora en Smile Identity y organizador del NeurIPS BigANN Challenge (2021, 2023), abordó si las CPU son suficientes para la búsqueda vectorial/ANN. Exploró cómo las nuevas soluciones de hardware podrían revolucionar la búsqueda vectorial, destacando la intersección entre algoritmos de búsqueda avanzados y hardware de vanguardia, y ofreciendo perspectivas sobre el futuro de las tecnologías de recuperación de datos.
En este blog, destilaremos las ideas clave de la charla, examinando los objetivos y resultados de las competiciones NeurIPS BigANN, en las que un enfoque basado en Zilliz fue uno de los ganadores. También profundizaremos en los desafíos prácticos de implementar la búsqueda vectorial, las innovaciones que impulsan la eficiencia y el rendimiento, y la emocionante nueva era de hardware que promete transformar el campo.
Competición Neurips BigANN y papel y contribuciones de Zilliz
Las competiciones NeurIPS BigANN tienen como objetivo ampliar los límites de lo que es posible en el campo de la tecnología de búsqueda vectorial, fomentando la innovación y la colaboración entre investigadores y líderes de la industria. Los participantes tienen la tarea de desarrollar soluciones que maximicen la recuperación, las consultas por segundo (QPS), la eficiencia energética y la rentabilidad, proporcionando una evaluación integral del rendimiento del hardware en tareas de búsqueda vectorial. Las competiciones se organizan en colaboración con iniciativas como el proyecto ANN-Benchmarks, que proporciona una plataforma para enviar y evaluar implementaciones de búsqueda vectorial, incluidas soluciones destacadas como Milvus.
Las competiciones cuentan con tres pistas, cada una diseñada para probar diferentes aspectos del rendimiento de la búsqueda vectorial, como se muestra en la figura uno.
Fig 1. Las tres pistas de la competición NeurIPS BigANN
Pista 1: Presupuesto limitado de recursos de hardware
Especificaciones: Los participantes están limitados a un servidor de centro de datos con 64 GB de RAM.
Criterios: Las soluciones se clasifican en función de la recuperación, enfatizando la precisión de recuperar los vecinos más cercanos dentro de las restricciones de recursos de hardware limitados.
Pista 2: Capacidades de almacenamiento mejoradas
Especificaciones: Los participantes utilizan un servidor de centro de datos con 64 GB de RAM y un SSD de alto rendimiento de 2 TB.
Criterios: Esta pista también se centra en la recuperación, pero permite capacidades de almacenamiento más amplias, desafiando a los participantes a optimizar tanto el uso de memoria como el rendimiento del almacenamiento, donde Zilliz fue el ganador, como se muestra en la figura 2. El enfoque de Zilliz+SUST tuvo un buen desempeño en el conjunto de datos de búsqueda por rango (SSNPP), con la puntuación de recuperación más alta. Esta victoria destaca la experiencia y la innovación de Zilliz en el desarrollo de algoritmos eficientes de búsqueda vectorial adaptados a las restricciones del hardware moderno. Describiremos el enfoque de Zilliz en la siguiente sección.
Fig. 2. El equipo Zilliz+SUST gana la segunda pista
Pista 3: Hardware abierto
Especificaciones: Los participantes pueden usar cualquier hardware, siempre que presenten evidencia del costo y monitoreen el consumo de energía.
Criterios: Las soluciones se evalúan en función de una combinación de recuperación, QPS, eficiencia energética y costo, lo que convierte a esta pista en la más completa y desafiante.
Estas pistas permiten que la competencia aborde una amplia gama de consideraciones prácticas, desde la optimización de recursos limitados hasta el aprovechamiento de configuraciones avanzadas de hardware. A través de estas evaluaciones, las competencias NeurIPS BigANN proporcionan información sobre el estado de la tecnología de búsqueda vectorial y destacan los avances más prometedores en el campo.
Optimización y evaluación en la búsqueda vectorial
Optimizar la búsqueda vectorial requiere un enfoque multifacético, particularmente en lo que respecta al uso de memoria y SSD. Una de las innovaciones clave introducidas por Zilliz es el Índice de Clustering de Grafos Híbrido que se muestra en la figura 3. Este método mejora la eficiencia de la búsqueda vectorial al estructurar los datos de una manera que optimiza la disposición de la memoria y los patrones de acceso, particularmente para SSD. Al organizar los datos en buckets alineados con páginas, Zilliz garantiza que los vectores de precisión completa se almacenen junto con sus metadatos, reduciendo la latencia y mejorando la velocidad de recuperación. Este enfoque no solo aumenta el rendimiento, sino que también maximiza la utilización del almacenamiento SSD, lo cual es crucial para manejar grandes conjuntos de datos. Además, Zilliz se ha centrado en optimizar la memoria para garantizar que el acceso a los datos sea eficiente y esté alineado con las capacidades del hardware subyacente. Esto implica una estructuración cuidadosa de los datos para minimizar los tiempos de acceso y mejorar el rendimiento general, haciendo que sus soluciones sean altamente efectivas para tareas de búsqueda vectorial a gran escala.
Además, el lanzamiento de Milvus 2.4, la versión más reciente de su base de datos vectorial de código abierto, introduce varias características revolucionarias como soporte multivector, búsqueda agrupada e indexación en GPU con el Índice de Grafos Acelerado por CUDA de NVIDIA para Recuperación Vectorial (CAGRA). Estas innovaciones demuestran aún más la estrategia y el compromiso de Zilliz para mejorar el rendimiento y la eficiencia de la búsqueda vectorial.
Fig. 3. Índice de Clustering de Grafos Híbrido y disposición de memoria y acceso optimizados para SSD
Direcciones futuras
Según el ponente, el futuro de la búsqueda vectorial podría pasar pronto de depender de técnicas de aproximación a aprovechar métodos de fuerza bruta, manteniéndose aun así en un tiempo breve. Este cambio estará impulsado por la creciente escalabilidad de los vectores sin procesar sin necesidad de crear índices, lo que marca una evolución significativa en el mercado de la memoria. Aunque los chips especializados son costosos de producir y requieren una inversión y un tiempo considerables para desarrollar kits de herramientas —a menudo tardan más de un año en llegar al mercado—, el hardware comoditizado podría convertirse en la norma. En este escenario, el software necesitaría ajustes significativos para optimizar el rendimiento. Se introduce el concepto de chiplets, en el que las mejores tecnologías de semiconductores son diseñadas modularmente por distintas empresas, de forma similar al desarrollo de software. Este enfoque modular permite reutilizar software en chips existentes, lo que permite a personas sin conocimientos avanzados sobre chips diseñar sus propios chips, más baratos y rápidos. Esto podría servir como punto de entrada para muchas empresas, haciendo que el diseño avanzado de chips sea más accesible y rentable.
Conclusión
Los rápidos avances en la tecnología de hardware están allanando el camino para capacidades de búsqueda vectorial más eficientes y potentes. Como ilustran la competición NeurIPS BigANN y las contribuciones de Zilliz, la intersección entre hardware avanzado y algoritmos innovadores es clave para el futuro de las tecnologías de recuperación de datos. Aunque las CPU han sido la columna vertebral de la computación durante décadas, la aparición de soluciones de hardware especializadas marca una nueva era, en la que la eficiencia y el rendimiento son primordiales. Zilliz, una de las bases de datos vectoriales más ampliamente adoptadas, se centra en optimizar la eficiencia de la memoria y maximizar la velocidad de recuperación de datos, aprovechando capacidades avanzadas de hardware para ampliar los límites de lo posible en la tecnología de búsqueda vectorial. Sigue a Zilliz en twitter @zilliz_universe y @milvusio y mira toneladas de charlas en video y tutoriales útiles en el canal de YouTube de Zilliz.
Recursos
Sigue leyendo
Zilliz Cloud Launches in AWS Australia, Expanding Global Reach to Australia and Neighboring Markets
We're thrilled to announce that Zilliz Cloud is now available in the AWS Sydney, Australia region (ap-southeast-2).
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.
DeepSeek Always Busy? Deploy It Locally with Milvus in Just 10 Minutes—No More Waiting!
Learn how to set up DeepSeek-R1 on your local machine using Ollama, AnythingLLM, and Milvus in just 10 minutes. Bypass busy servers and enhance AI responses with custom data.