Starling: Эффективный с точки зрения ввода-вывода, дисковый графовый индекс для высокоразмерного поиска векторного сходства на сегменте данных

03/26/24

Оптимизация векторных баз данных: Руководство по архитектуре на уровне сегментов

Поскольку высокоразмерные векторные данные занимают центральное место в приложениях искусственного интеллекта и машинного обучения, векторные базы данных сталкиваются с растущим давлением, требующим эффективной работы с неструктурированными данными, такими как изображения, текст и видео. Традиционные архитектуры испытывают трудности, когда одна машина должна обрабатывать множество сегментов данных, каждый из которых ограничен строгими ограничениями памяти и дискового пространства.

В данной статье представлен Starling - фреймворк, который революционизирует работу с сегментами векторных баз данных благодаря новой двухкомпонентной архитектуре: сочетанию оптимизированного навигационного графа в памяти и оптимизированного по локальности графа на диске. В отличие от существующих дисковых решений, которые либо требуют чрезмерного объема памяти, либо страдают от высокой задержки, Starling достигает оптимального баланса между производительностью поиска, точностью и использованием ресурсов.

Фреймворк демонстрирует возможность значительного повышения производительности за счет интеллектуальной оптимизации на уровне сегментов, достигая 43,9× более высокой пропускной способности и 98% более низкой задержки запросов по сравнению с существующими методами. Данная работа предоставляет важную информацию для организаций, которые стремятся масштабировать свои векторные базы данных, сохраняя при этом высокую производительность и точность.

Получить Белую книгу