Starling : Un cadre d'index graphique résident sur disque efficace en E/S pour la recherche de similarité vectorielle en haute dimension sur un segment de données

03/26/24

Optimisation des bases de données vectorielles : Un guide d'architecture au niveau des segments

Alors que les données vectorielles à haute dimension deviennent essentielles aux applications d'IA et d'apprentissage automatique, les bases de données vectorielles sont soumises à une pression croissante pour gérer efficacement les données non structurées telles que les images, le texte et la vidéo. Les architectures traditionnelles se heurtent à des difficultés lorsqu'une seule machine doit gérer plusieurs segments de données, chacun étant soumis à des limites strictes en termes de mémoire et d'espace disque.

Cet article présente Starling, un cadre qui révolutionne la gestion des segments de bases de données vectorielles grâce à une nouvelle architecture à deux composantes : la combinaison d'un graphe de navigation en mémoire rationalisé et d'un graphe sur disque optimisé en fonction de la localité. Contrairement aux solutions actuelles basées sur le disque qui nécessitent un stockage excessif ou souffrent d'une latence élevée, Starling atteint un équilibre optimal entre les performances de recherche, la précision et l'utilisation des ressources.

Le cadre démontre que des améliorations remarquables des performances sont possibles grâce à une optimisation intelligente au niveau des segments, avec un débit 43,9 fois plus élevé et une latence des requêtes 98 % plus faible par rapport aux méthodes existantes. Cet article fournit des informations essentielles aux organisations qui cherchent à étendre leurs opérations de bases de données vectorielles tout en maintenant des performances et une précision élevées.

Obtenir le livre blanc