Starling: Un indice grafico residente su disco efficiente dal punto di vista dell'I/O per la ricerca di similarità vettoriale ad alta dimensione su segmenti di dati

03/26/24

Ottimizzare i database vettoriali: Guida all'architettura a livello di segmento

Poiché i dati vettoriali ad alta dimensionalità diventano fondamentali per le applicazioni di intelligenza artificiale e di apprendimento automatico, i database vettoriali devono affrontare una pressione crescente per gestire in modo efficiente dati non strutturati come immagini, testo e video. Le architetture tradizionali sono in difficoltà quando una singola macchina deve gestire più segmenti di dati, ognuno dei quali è vincolato da rigidi limiti di memoria e di spazio su disco.

Questo articolo presenta Starling, un framework che rivoluziona la gestione dei segmenti dei database vettoriali grazie a un'innovativa architettura a due componenti: la combinazione di un grafo di navigazione semplificato in memoria e di un grafo su disco ottimizzato a livello locale. A differenza delle attuali soluzioni basate su disco, che richiedono una quantità eccessiva di memoria o soffrono di un'elevata latenza, Starling raggiunge un equilibrio ottimale tra prestazioni di ricerca, accuratezza e utilizzo delle risorse.

Il framework dimostra che è possibile ottenere notevoli miglioramenti delle prestazioni grazie a un'ottimizzazione intelligente a livello di segmento, raggiungendo un throughput superiore di 43,9 volte e una latenza delle query inferiore del 98% rispetto ai metodi esistenti. Questo lavoro fornisce spunti essenziali per le organizzazioni che desiderano scalare le operazioni dei loro database vettoriali mantenendo alte le prestazioni e l'accuratezza.

Ottieni il Whitepaper