Starling: Starling: 데이터 세그먼트에서 고차원 벡터 유사성 검색을 위한 I/O 효율적인 디스크 상주 그래프 인덱스 프레임워크

03/26/24

벡터 데이터베이스 최적화하기: 세그먼트 수준 아키텍처 가이드

고차원 벡터 데이터가 AI 및 머신 러닝 애플리케이션의 중심이 되면서, 벡터 데이터베이스는 이미지, 텍스트, 동영상과 같은 비정형 데이터를 효율적으로 관리해야 한다는 압박에 직면해 있습니다. 기존 아키텍처는 단일 머신이 엄격한 메모리 및 디스크 공간 제한으로 인해 각각 여러 데이터 세그먼트를 처리해야 할 때 어려움을 겪습니다.

이 백서에서는 간소화된 인메모리 탐색 그래프와 로컬리티에 최적화된 디스크 기반 그래프를 결합하는 새로운 이중 구성 요소 아키텍처를 통해 벡터 데이터베이스 세그먼트 처리를 혁신하는 프레임워크인 Starling에 대해 소개합니다. 과도한 스토리지가 필요하거나 지연 시간이 긴 현재의 디스크 기반 솔루션과 달리, Starling은 검색 성능, 정확도, 리소스 활용도 간에 최적의 균형을 이룹니다.

이 프레임워크는 지능형 세그먼트 수준 최적화를 통해 기존 방식에 비해 43.9배 높은 처리량과 98% 낮은 쿼리 지연 시간을 달성함으로써 놀라운 성능 향상이 가능하다는 것을 입증합니다. 이 백서는 높은 성능과 정확성을 유지하면서 벡터 데이터베이스 운영을 확장하고자 하는 조직에 필수적인 인사이트를 제공합니다.

백서 받기