Starling: An I/O-Efficient Disk-Resident Graph Index Framework for High-Dimensional Vector Similarity Search on Data Segment.

Optimizing Vector Databases: Guía de arquitectura por segmentos

A medida que los datos vectoriales de alta dimensión se convierten en un elemento central de las aplicaciones de IA y aprendizaje automático, las bases de datos vectoriales se enfrentan a una presión cada vez mayor para gestionar de forma eficiente datos no estructurados como imágenes, texto y vídeo. Las arquitecturas tradicionales tienen dificultades cuando una sola máquina debe gestionar varios segmentos de datos, cada uno de ellos restringido por estrictas limitaciones de memoria y espacio en disco.

En este artículo se presenta Starling, un marco que revoluciona la gestión de segmentos de bases de datos vectoriales mediante una novedosa arquitectura de doble componente: la combinación de un grafo de navegación en memoria racionalizado con un grafo basado en disco optimizado para la localización. A diferencia de las soluciones actuales basadas en disco, que requieren un almacenamiento excesivo o sufren una alta latencia, Starling logra un equilibrio óptimo entre rendimiento de búsqueda, precisión y utilización de recursos.

El marco demuestra que es posible mejorar notablemente el rendimiento mediante la optimización inteligente a nivel de segmento, logrando un rendimiento 43,9 veces superior y una latencia de consulta un 98% inferior en comparación con los métodos existentes. Este artículo proporciona información esencial para las organizaciones que deseen ampliar sus operaciones de bases de datos vectoriales manteniendo un alto rendimiento y precisión.