FARGO: Búsqueda rápida del producto interno máximo mediante multisondaje global

01/01/2023

Comprensión de la búsqueda del máximo producto interno: de la teoría a la práctica

A medida que el aprendizaje automático y la inteligencia artificial continúan avanzando, la capacidad de buscar eficientemente en espacios vectoriales de alta dimensionalidad se ha vuelto cada vez más crucial. Un desafío fundamental en este dominio es el problema de la búsqueda del máximo producto interno (MIPS), que consiste en encontrar vectores en un conjunto de datos que maximicen su producto interno con un vector de consulta dado. Esta operación es central para numerosas aplicaciones, incluidos los sistemas de recomendación, la predicción de etiquetas multiclase, la recuperación de elementos similares, SVM estructural y el aprendizaje profundo.

Los enfoques tradicionales de MIPS que utilizan árboles de particionamiento del espacio se vuelven exponencialmente más lentos a medida que aumenta la dimensionalidad, lo que los hace poco prácticos para aplicaciones modernas que a menudo manejan cientos o miles de dimensiones. Aunque Locality-Sensitive Hashing (LSH) ha demostrado ser eficaz para la búsqueda aproximada de vecinos más cercanos, no puede aplicarse directamente a MIPS debido a las propiedades únicas de la similitud por producto interno. La necesidad de una solución eficiente y escalable para MIPS nunca ha sido más apremiante, ya que las organizaciones procesan conjuntos de datos de alta dimensionalidad y a escala cada vez mayor.

Este artículo presenta FARGO, un marco novedoso que revoluciona la forma en que abordamos el problema MIPS. Presentamos un análisis exhaustivo de las soluciones actuales de MIPS, sus limitaciones y cómo FARGO supera estos desafíos mediante técnicas innovadoras que incluyen el sondeo múltiple global y la transformación XBOX aleatoria. Nuestro marco no solo logra una precisión y eficiencia superiores en comparación con los métodos existentes, sino que también proporciona soluciones prácticas para aplicaciones del mundo real que manejan datos de alta dimensionalidad a escala.

Obtener el Libro Blanco