벡터 데이터베이스 연구 및 개발의 새로운 동향
2019년에 Milvus와 함께 처음 소개된 벡터 데이터베이스는 대규모 언어 모델(LLM)의 등장과 생성형 AI(GenAI) 애플리케이션의 부상과 함께 빠르게 주목받게 되었습니다. 이 분야에 깊이 관여해 온 엔지니어로서, 저는 벡터 데이터베이스가 근사 최근접 이웃 검색(ANNS) 알고리즘의 기본 구현에서 현대 AI 프레임워크에 필수적인 정교한 데이터베이스 시스템으로, 틈새 구현에서 광범위한 배포로 진화하는 과정을 목격해 왔습니다.
AI가 계속 성숙해 감에 따라, 벡터 데이터베이스의 미래는 어디로 향하고 있을까요? 제 관점에서 이 기술의 발전은 사용자의 변화하는 요구에 의해 추진되는 제품 진화와 복잡하게 연결되어 있습니다. 이러한 변화를 이해하는 것은 기술 개발의 방향과 목표를 설정하는 데 매우 중요합니다.
이 글에서는 비용 효율성과 비즈니스 요구 사항에 초점을 맞춰, 기술적 관점과 실용적 관점 모두에서 벡터 데이터베이스의 발전과 예상되는 미래를 논의하겠습니다.
핫 데이터와 콜드 데이터 스토리지 분리
비용은 벡터 데이터베이스의 더 넓은 채택에서 오랫동안 주요 관심사였습니다. 이러한 비용은 주로 두 영역에서 발생합니다:
데이터 스토리지: 전통적으로 벡터 데이터베이스는 낮은 지연 시간을 달성하기 위해 모든 데이터를 메모리나 로컬 디스크에 캐시합니다. 그러나 애플리케이션이 수십억 규모의 데이터 볼륨을 빈번하게 처리하는 AI 시대에는 이러한 접근 방식이 수십에서 수백 테라바이트에 이르는 막대한 스토리지 리소스를 소비할 수 있습니다.
데이터 연산: 분산 데이터베이스 시스템에서는 방대한 데이터셋 관리를 개선하기 위해 데이터를 수많은 작은 세그먼트로 분할해야 합니다. 각 세그먼트는 데이터를 검색하기 위해 독립적으로 처리되고, 그런 다음 최종 Top-K 결과를 집계하기 위해 함께 분석됩니다. 이러한 분할 방식은 쿼리 실행의 복잡성을 크게 증가시킵니다. 예를 들어, 총 수십억 개의 데이터를 10 GB 청크로 나누면 약 10,000개의 세그먼트가 생성되어, 연산 수요가 1만 배로 증폭됩니다.
주류 LLM의 응답 시간.
주류 LLM의 응답 시간. 이미지 출처: https://artificialanalysis.ai/models
그러나 검색 증강 생성(RAG) 애플리케이션을 구축하는 흐름 속에서, 벡터 데이터베이스의 지연 시간은 ToC 플랫폼의 개별 사용자나 단일 테넌트에게는 문제가 되지 않게 되었습니다. 벡터 데이터베이스 작업과 관련된 지연—몇 밀리초에서 수백 밀리초에 이르는—은 대규모 언어 모델에서 흔히 나타나는 1초 이상의 지연에 비해 미미합니다. 또한 클라우드 객체 스토리지 비용은 로컬 디스크와 메모리 비용보다 훨씬 낮기 때문에, 스토리지 및 연산 효율성을 최적화하기 위한 혁신적인 솔루션을 향한 움직임이 촉진되고 있습니다.
스토리지: 비용을 최소화하려면 데이터를 가장 경제적인 클라우드 객체 스토리지에 저장하고 쿼리 시 온디맨드로 검색해야 합니다.
연산: 쿼리 범위를 사전에 정교하게 조정함으로써 대규모 데이터 처리의 필요성을 줄이고 운영 효율성을 높일 수 있습니다.
Zilliz에서는 사용자가 지연 시간을 허용 가능한 수준으로 유지하면서 비용을 절감할 수 있도록 Zilliz Cloud(완전 관리형 Milvus)에 개선 사항을 추가하고 있습니다.
향상된 성능과 비용 효율성을 위한 하드웨어 혁신 수용
하드웨어는 기술 발전의 중추 역할을 하며, 벡터 데이터베이스의 성능과 비용 효율성을 향상시킵니다.
GPU 기술의 발전
강도 높은 계산 요구 사항으로 알려진 벡터 데이터베이스는 GPU의 발전 덕분에 상당한 성능 향상을 이루었습니다. GPU가 지나치게 비싸다는 인식은 뒤집히고 있습니다. 향상된 알고리즘은 벡터 검색 작업에 적합하며 낮은 지연 시간과 비용 효율적인 운영을 가능하게 합니다.
저희 테스트에 따르면 GPU 기반 CAGRA 인덱스를 사용할 때 Milvus 벡터 데이터베이스는 CPU 기반 HNSW 인덱스를 사용할 때보다 수 배에서 수십 배 더 높은 성능 수준을 달성하면서도 비용은 두세 배 더 비싼 수준에 그쳤습니다. 이 결과는 GPU가 데이터 처리를 위한 실행 가능하고 경제적으로 효율적인 옵션이 되며, 기존 CPU 설정에 비해 상당한 성능상의 이점을 제공한다는 것을 보여줍니다.
VectorDBBench의 테스트 결과
VectorDBBench의 테스트 결과
CPU: m6id.2xlarge T4: g4dn.2xlarge A10G: g5.2xlarge Top 100 Recall: 98%
클라우드 컴퓨팅에서 ARM 기반 CPU의 부상
AWS의 Graviton 및 GCP의 Ampere와 같은 ARM 기반 CPU의 도입은 에너지 효율적이고 비용 효율적인 컴퓨팅 솔루션으로의 전환을 의미할 뿐만 아니라, 기존 x86 아키텍처에 대한 확실한 도전이기도 합니다. 이러한 프로세서는 더 낮은 비용으로 동등하거나 더 우수한 성능을 제공하여, 컴퓨팅 요구 사항에 대해 현명한 결정을 내리고 있다는 확신을 줍니다.
AWS Graviton3에 대한 저희 평가는 x86 프로세서 대비 뛰어난 성능과 비용 효율성을 입증했습니다. 특히 Graviton3 이후 불과 1년 만인 2023년에 Graviton4가 출시된 것에서 볼 수 있듯이, 이러한 CPU의 빠른 반복 개선은 컴퓨팅 성능 30% 향상과 메모리 대역폭 70% 증가를 강조합니다.
스토리지 기술의 발전
데이터 저장에 디스크를 활용하면 벡터 데이터베이스는 대부분의 벡터 검색 애플리케이션에 충분한 밀리초 수준의 지연 시간을 유지하면서도 용량을 크게 확장할 수 있습니다. 또한 디스크 스토리지와 관련된 비용은 메모리보다 여전히 상당히 낮아, 데이터 집약적 운영에 매력적인 옵션이 됩니다.
전반적으로 이러한 하드웨어 발전은 벡터 데이터베이스의 역량을 강화하고, 진화하는 과정에서도 강력하고 경제적으로 실현 가능한 상태를 유지하도록 보장합니다.
고급 머신러닝 모델과의 협업
벡터 임베딩을 생성하는 머신러닝 모델 역시 중대한 변화를 겪고 있습니다. 이러한 발전은 벡터의 크기와 차원을 줄여 대규모 데이터셋의 스토리지 요구 사항을 최소화하고 계산 효율성을 높이는 것을 목표로 합니다.
벡터 차원을 줄이기 위한 기존 방법은 종종 데이터 검색 정확도 저하로 이어졌습니다. 그러나 최근 혁신은 실행 가능한 대안을 제공합니다. 예를 들어 OpenAI ext-embedding-3-large 모델은 사용자가 구성 가능한 매개변수를 통해 출력 벡터의 차원을 조정할 수 있게 합니다. 이러한 유연성은 다운스트림 작업의 효과에 미치는 영향을 최소화하면서 벡터 크기를 상당히 줄일 수 있게 해줍니다. 또한 Cohere는 최근 기술을 업그레이드하여 float, int8, binary와 같은 여러 데이터 유형을 한 번에 출력하는 벡터를 지원함으로써 운영상의 다재다능함을 향상시켰습니다.
이러한 발전은 벡터 데이터베이스가 새롭게 부상하는 기술과 적극적으로 연계하고 이를 통합해야 할 필요성을 강조합니다. 그렇게 하는 것은 역동적이고 끊임없이 변화하는 딥러닝 및 데이터 관리 분야에서 경쟁 우위를 유지하는 데 매우 중요합니다.
벡터 검색 정확도 우선시하기
벡터 검색 정확도는 점점 더 중요해지고 요구 수준도 높아지고 있으며, 특히 프로덕션 환경과 최첨단 RAG 애플리케이션 모두에서 벡터 데이터베이스 통합이 확대되면서 더욱 그렇습니다. 벡터 데이터베이스가 발전함에 따라 검색 품질과 정확도를 향상하려는 노력은 혁신적인 기술의 도입으로 이어졌습니다. 그중에서도 ColBERT 검색 모델과 고급 하이브리드 벡터 검색 기법은 정보 손실을 완화하고 도메인 특화 검색을 정교화하는 데 핵심적인 역할을 합니다.
ColBERT와 같은 고급 검색 모델의 등장
ColBERT 검색 모델은 기존 듀얼 타워 모델의 방대한 아키텍처와 일반적으로 연관되는 정보 손실을 처리하는 효율성으로 잘 알려져 있습니다. ColBERT는 완전 연결 설정의 비효율성을 피하기 위해 토큰 벡터 기반의 후기 상호작용 접근 방식을 사용합니다. 더 최근 버전인 ColBERTv2는 벡터 검색을 통합하여 이 프로세스를 더욱 최적화하고, 상호작용 속도를 크게 가속합니다.
쿼리 q와 문서 d가 주어졌을 때 ColBERT의 일반적인 아키텍처..png
쿼리 q와 문서 d가 주어졌을 때 ColBERT의 일반적인 아키텍처.
이미지 출처: https://arxiv.org/pdf/2004.12832.pdf
하이브리드 검색: 희소 벡터와 밀집 벡터 기법의 연결
BERT와 같은 언어 모델에서 파생되는 경우가 많은 기존 밀집 벡터는 의미적 뉘앙스를 포착하는 데 뛰어나지만, 학습 데이터에 없는 새로운 어휘나 전문 용어에는 취약할 수 있습니다. 모델 파인튜닝으로 이러한 한계를 완화할 수는 있지만, 실시간으로 배포하는 것은 여전히 비용이 많이 들고 어렵습니다. 반대로 BM25와 같은 기존 키워드 매칭 알고리즘의 희소 벡터는 이러한 도메인 외 문제를 효과적으로 처리합니다.
새롭게 부상하는 희소 임베딩 모델인 SPLADE와 BGE의 M3-Embedding은 정확한 용어 매칭의 정밀성과 밀집 검색 방법의 포괄성을 결합합니다. 이러한 모델은 더 풍부한 의미 정보를 통합하면서도 키워드 매칭 효율성을 보존하는 희소 벡터를 생성하여 전반적인 검색 품질을 향상합니다.
키워드 및 벡터 검색 방법을 활용하는 하이브리드 검색 시스템으로의 전환은 오랫동안 업계에서 활용되어 온 관행입니다. 희소 벡터 기술의 최신 발전과 함께, 하이브리드 검색을 지원하기 위해 이를 벡터 데이터베이스에 통합하는 것은 점점 더 모범 사례로 간주되고 있습니다. 특히 Milvus 벡터 데이터베이스는 최근 업데이트에서 이러한 접근 방식을 채택했습니다.
BGE의 M3-Embedding을 예로 들면, 이는 임베딩 모델의 세 가지 일반적인 검색 기능인 밀집 검색, 다중 벡터 검색, 희소 검색을 동시에 수행할 수 있습니다. 아래 표는 다양한 유형의 벡터 검색을 수행할 때의 검색 품질을 보여줍니다. 희소 및 밀집 검색을 결합한 하이브리드 검색의 검색 품질은 밀집 검색이나 희소 검색에만 의존하는 경우보다 훨씬 높습니다.
NarrativeQA 평가(nDCG@10)
NarrativeQA 평가(nDCG@10)
이미지 출처: https://arxiv.org/abs/2402.03216
참고: 검색 품질은 종종 NDCG(Normalized Discounted Cumulative Gain)를 사용해 평가되며, 이는 사용자에게 유용한 항목 목록을 제공하는 랭킹 시스템의 효과를 평가합니다. NDCG에서 5, 10 또는 25와 같은 K 값은 평가되는 상위 랭킹 항목의 수를 나타내며, 이를 통해 서로 다른 수준에서 검색 시스템의 정밀도에 대한 인사이트를 제공합니다. 예를 들어, NDCG@10은 상위 5개 항목의 랭킹을 평가합니다.
오프라인 사용 사례를 위한 벡터 데이터베이스 최적화
벡터 데이터베이스의 현재 초점은 주로 Retrieval-Augmented Generation(RAG) 및 이미지 유사도 검색과 같은 온라인 애플리케이션에 맞춰져 있지만, 오프라인 사용 사례에서의 잠재력은 방대하지만 아직 충분히 활용되지 않고 있습니다.
온라인 애플리케이션은 일반적으로 적은 데이터 볼륨을 높은 빈도로 처리하며 엄격한 지연 시간 요구 사항을 갖고 있어, 비용에 민감하고 성능이 최소화된 환경에서도 종종 몇 초 이내의 응답이 필요합니다. 반대로 오프라인 애플리케이션은 데이터 중복 제거 및 특징 마이닝과 같은 대규모 데이터 처리 작업을 수행하는 경우가 많으며, 작업 시간은 몇 분에서 몇 시간까지 이어질 수 있습니다.
다음은 오프라인 사용에서 벡터 데이터베이스로 해결해야 할 몇 가지 과제와 그 대응 방법입니다:
계산 효율성: 각 쿼리에 대해 낮은 지연 시간을 우선시하는 온라인 사용 사례와 달리, 오프라인 작업은 대규모 데이터 배치 전반에 걸쳐 높은 계산 효율성을 필요로 합니다. 낮은 지연 시간을 달성하는 것은 검색 및 추천 시스템의 오프라인 구성 요소에서 특히 중요합니다. 예를 들어 GPU 인덱싱을 통해 계산 밀도를 향상하면 이러한 시나리오에서 방대한 데이터 쿼리 처리를 크게 개선할 수 있습니다.
방대한 데이터 반환: 데이터 마이닝 애플리케이션에서 벡터 검색은 모델이 특정 상황을 인식하는 데 도움을 줍니다. 이러한 작업은 상당한 데이터 볼륨의 검색을 자주 필요로 하며, 특히 대규모 Top-K 검색에서 대역폭 및 알고리즘 효율성 문제를 야기합니다. 이러한 대규모 검색을 관리하기 위한 효율적인 솔루션을 개발하는 것은 강력한 오프라인 벡터 데이터베이스 애플리케이션을 지원하는 데 매우 중요합니다.
이러한 과제를 해결함으로써 벡터 데이터베이스는 더 광범위한 애플리케이션을 지원할 수 있도록 더 잘 갖춰질 수 있으며, 온라인 환경을 넘어 그 유용성을 확장할 수 있습니다.
다양한 산업을 위한 벡터 데이터베이스의 기능 세트 확장
벡터 데이터베이스의 도입이 다양한 부문으로 확대됨에 따라, 다양한 애플리케이션 범위는 산업별 요구 사항을 해결하도록 맞춤화된 전문 기능의 개발을 필요로 합니다. 벡터 데이터베이스의 다재다능함은 각 도메인이 직면한 고유한 과제에 맞춰 성능과 기능을 최적화하기 위한 맞춤형 역량을 요구합니다. 이러한 개선 사항은 서로 다른 분야의 고유한 요구 사항을 충족하고 프로덕션 환경에서 벡터 데이터베이스의 전반적인 기능성과 다재다능함을 향상합니다. 다음은 벡터 데이터베이스가 이러한 요구를 충족하기 위해 어떻게 발전하고 있는지에 대한 몇 가지 예입니다:
바이오제약 애플리케이션: 바이오제약 산업에서는 약물 분자식을 검색하기 위해 이진 벡터를 사용하는 것이 보편화되고 있습니다. 이진 벡터는 복잡한 화학 구조의 효율적인 검색 및 매칭을 가능하게 하여, 신속한 신약 발견 및 개발 프로세스를 촉진합니다.
금융 부문의 요구: 가장 가까운 벡터 일치를 찾는 많은 산업과 달리, 금융 부문은 종종 가장 이상치인 벡터를 식별해야 합니다. 이 역량은 이상 징후와 잠재적 사기를 탐지하는 데 매우 중요하며, 여기서는 정상에서 가장 크게 벗어난 항목이 가장 높은 관심 대상입니다.
범위 검색 기능: Range Search는 사용자가 관련 결과의 정확한 수를 예측할 수 없는 사용 사례를 수용하기 위해 유사도 임계값을 정의할 수 있게 합니다. 그러면 시스템은 이 임계값을 초과하는 모든 결과를 반환하여, 검색된 데이터에서 높은 관련성과 정밀도를 보장합니다.
Groupby 및 집계 기능: 영화나 긴 기사와 같은 방대한 비정형 데이터의 경우, 벡터 데이터베이스는 프레임 또는 텍스트 섹션별로 분할된 벡터를 생성하고 처리해야 합니다. 이러한 분할에는 결과가 특정 사용자 기준을 효과적으로 충족하도록 보장하기 위한 강력한 Groupby 및 집계 기능이 필요합니다.
멀티모달 모델 지원: 멀티모달 모델로의 전환은 다양한 분포를 가진 벡터를 도입하며, 이는 기존 검색 알고리즘에 과제를 제시합니다. 벡터 데이터베이스는 이러한 다양한 데이터 유형을 수용하도록 진화하고 있으며, 서로 다른 모달리티 전반에서 효과적인 검색을 보장합니다.
이러한 산업별 적응은 벡터 데이터베이스의 역동적인 특성을 보여주며, 벡터 데이터베이스가 여러 분야의 현대 애플리케이션이 요구하는 복잡하고 다양한 수요를 충족하기 위해 진화하고 있음을 강조합니다.
마무리
지난 1년 동안 벡터 데이터베이스는 사용 사례와 내재적 기능에서 상당한 성숙을 반영하며 빠른 발전을 이루었습니다. AI 중심 시대에 접어들면서 이러한 발전은 가속화될 것으로 보이며, 데이터 저장, 검색 및 관리에서 새로운 혁신의 물결을 예고하고 있습니다.
이 개요는 벡터 데이터베이스의 변혁적 트렌드와 새롭게 등장하는 기능을 조명하고, 이 분야에서 추가적인 혁신을 촉발할 수 있는 통찰을 제공하는 것을 목표로 합니다. 이러한 흥미로운 변화를 헤쳐 나가면서, 벡터 데이터베이스를 향상시키기 위한 공동의 여정은 우리의 기술 환경을 재편하고, 더 정교하고 효율적인 데이터 기반 솔루션을 가능하게 할 것입니다.
벡터 데이터베이스의 유망한 미래를 열정과 협업의 정신으로 받아들이며, 함께 계속 탐구하고 혁신해 나갑시다.
계속 읽기
Zilliz Cloud Now Available in Azure North Europe: Bringing AI-Powered Vector Search Closer to European Customers
The addition of the Azure North Europe (Ireland) region further expands our global footprint to better serve our European customers.
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.
Democratizing AI: Making Vector Search Powerful and Affordable
Zilliz democratizes AI vector search with Milvus 2.6 and Zilliz Cloud for powerful, affordable scalability, cutting costs in infrastructure, operations, and development.