Starling: Uma estrutura de índice gráfico residente em disco eficiente em termos de E/S para pesquisa de similaridade de vectores de alta dimensão em segmentos de dados

03/26/24

Otimização de bases de dados vectoriais: Um Guia de Arquitetura a Nível de Segmento

À medida que os dados vetoriais de alta dimensão se tornam centrais para aplicativos de IA e aprendizado de máquina, os bancos de dados vetoriais enfrentam uma pressão crescente para gerenciar com eficiência dados não estruturados, como imagens, texto e vídeo. As arquiteturas tradicionais enfrentam dificuldades quando uma única máquina precisa lidar com vários segmentos de dados, cada um restringido por limitações estritas de memória e espaço em disco.

Este documento apresenta o Starling, uma estrutura que revoluciona o tratamento de segmentos de bases de dados vectoriais através de uma nova arquitetura de componentes duplos: combinando um gráfico de navegação simplificado na memória com um gráfico baseado em disco optimizado para a localidade. Ao contrário das soluções actuais baseadas em disco que requerem armazenamento excessivo ou sofrem de elevada latência, o Starling consegue um equilíbrio ótimo entre o desempenho da pesquisa, a precisão e a utilização de recursos.

A estrutura demonstra que é possível obter melhorias notáveis no desempenho através da otimização inteligente ao nível dos segmentos, alcançando uma taxa de transferência 43,9 vezes superior e uma latência de consulta 98% inferior em comparação com os métodos existentes. Este documento fornece informações essenciais para as organizações que procuram escalar as suas operações de bases de dados vectoriais, mantendo um elevado desempenho e precisão.

Obter o Whitepaper