CPU만으로 충분한가? 새로운 하드웨어에서 실행되는 벡터 검색 리뷰
벡터 검색은 추천 시스템부터 이미지 인식에 이르기까지 수많은 애플리케이션에서 빠르고 정확한 정보 검색을 가능하게 하는 핵심 기술로 부상했습니다. 전통적으로 CPU는 이러한 작업을 구동하는 주역이었습니다. 그러나 데이터 규모가 급증하고 속도와 효율성에 대한 요구가 높아지면서 다음과 같은 질문이 제기됩니다. CPU만으로 현대의 AI 기반 검색의 급증하는 요구를 충족할 수 있을까요?
Zilliz가 주최한 Unstructured Data Meetup 2024에서 최근 진행한 강연에서 Smile Identity의 컴퓨터 비전 전문가이자 NeurIPS BigANN Challenge 주최자인 George Williams(2021, 2023)는 CPU가 벡터 검색/ANN에 충분한지에 대해 다루었습니다. 그는 새로운 하드웨어 솔루션이 벡터 검색을 어떻게 혁신할 수 있는지 탐구하며, 고급 검색 알고리즘과 최첨단 하드웨어의 교차점을 강조하고 데이터 검색 기술의 미래에 대한 인사이트를 제공했습니다.
이 블로그에서는 해당 강연의 핵심 인사이트를 정리하고, Zilliz 기반 접근 방식이 수상작 중 하나였던 NeurIPS BigANN 대회의 목표와 결과를 살펴보겠습니다. 또한 벡터 검색 구현의 실제 과제, 효율성과 성능을 이끄는 혁신, 그리고 이 분야를 변화시킬 것으로 기대되는 흥미로운 새로운 하드웨어 시대에 대해서도 자세히 알아보겠습니다.
Neurips BigANN 대회와 Zilliz의 역할 및 기여
NeurIPS BigANN 대회는 벡터 검색 기술 분야에서 가능한 것의 한계를 넓히고, 연구자와 업계 리더 간의 혁신과 협업을 장려하는 것을 목표로 합니다. 참가자들은 recall, Queries Per Second (QPS), 전력 효율성, 비용 효율성을 극대화하는 솔루션을 개발해야 하며, 이를 통해 벡터 검색 작업에서 하드웨어 성능을 종합적으로 평가합니다. 이 대회는 ANN-Benchmarks 프로젝트와 같은 이니셔티브와 협력하여 조직되며, 이 프로젝트는 Milvus와 같은 주요 솔루션을 포함해 벡터 검색 구현을 제출하고 평가할 수 있는 플랫폼을 제공합니다.
이 대회는 그림 1에 표시된 것처럼 벡터 검색 성능의 다양한 측면을 테스트하도록 설계된 세 가지 트랙으로 구성됩니다.
그림 1. NeurIPS BigANN 대회의 세 가지 트랙
트랙 1: 제한된 하드웨어 리소스 예산
사양: 참가자는 64 GB RAM을 갖춘 데이터센터 서버로 제한됩니다.
기준: 솔루션은 recall을 기준으로 순위가 매겨지며, 제한된 하드웨어 리소스의 제약 내에서 최근접 이웃을 검색하는 정확성을 강조합니다.
트랙 2: 향상된 스토리지 기능
사양: 참가자는 64 GB RAM과 2 TB 고처리량 SSD를 갖춘 데이터센터 서버를 사용합니다.
기준: 이 트랙 역시 재현율에 중점을 두지만 더 광범위한 스토리지 기능을 허용하여, 참가자들이 메모리 사용량과 스토리지 성능을 모두 최적화하도록 도전 과제를 제시하며, 그림 2에 표시된 것처럼 Zilliz가 우승했습니다. Zilliz+SUST의 접근 방식은 범위 검색 데이터셋(SSNPP)에서 가장 높은 재현율 점수로 우수한 성능을 보였습니다. 이번 우승은 최신 하드웨어 제약에 맞춘 효율적인 벡터 검색 알고리즘을 개발하는 데 있어 Zilliz의 전문성과 혁신을 강조합니다. 다음 섹션에서 Zilliz의 접근 방식을 설명하겠습니다.
그림 2. Zilliz+SUST 팀이 두 번째 트랙에서 우승
트랙 3: 오픈 하드웨어
사양: 참가자들은 비용 증빙을 제시하고 전력 사용량을 모니터링한다는 조건하에 어떤 하드웨어든 사용할 수 있습니다.
기준: 솔루션은 재현율, QPS, 전력 효율성, 비용의 조합을 기준으로 평가되므로, 이 트랙은 가장 포괄적이고 도전적입니다.
이러한 트랙을 통해 대회는 제한된 리소스 최적화부터 고급 하드웨어 설정 활용에 이르기까지 광범위한 실제 고려 사항을 다룰 수 있습니다. 이러한 평가를 통해 NeurIPS BigANN 대회는 벡터 검색 기술의 현황에 대한 인사이트를 제공하고, 이 분야에서 가장 유망한 발전을 조명합니다.
벡터 검색의 최적화 및 평가
벡터 검색 최적화에는 특히 메모리와 SSD 사용과 관련하여 다각적인 접근 방식이 필요합니다. Zilliz가 도입한 핵심 혁신 중 하나는 그림 3에 표시된 Hybrid Graph Clustering Index입니다. 이 방법은 특히 SSD를 위해 메모리 레이아웃과 접근 패턴을 최적화하는 방식으로 데이터를 구조화하여 벡터 검색의 효율성을 향상시킵니다. 데이터를 페이지 정렬된 버킷으로 구성함으로써, Zilliz는 전체 정밀도 벡터가 해당 메타데이터와 함께 저장되도록 하여 지연 시간을 줄이고 검색 속도를 향상시킵니다. 이 접근 방식은 성능을 높일 뿐만 아니라 대규모 데이터셋을 처리하는 데 중요한 SSD 스토리지 활용도를 극대화합니다. 또한 Zilliz는 데이터 접근이 효율적이고 기본 하드웨어 기능과 정렬되도록 메모리 최적화에 집중해 왔습니다. 여기에는 접근 시간을 최소화하고 전체 처리량을 개선하기 위해 데이터를 신중하게 구조화하는 작업이 포함되며, 이를 통해 Zilliz의 솔루션은 대규모 벡터 검색 작업에 매우 효과적입니다.
또한, 오픈 소스 벡터 데이터베이스의 최신 버전인 Milvus 2.4의 출시는 Multi-vector support, Grouping Search, 그리고 NVIDIA의 CUDA-Accelerated Graph Index for Vector Retrieval(CAGRA)를 사용한 GPU Indexing과 같은 여러 획기적인 기능을 도입합니다. 이러한 혁신은 벡터 검색 성능과 효율성을 향상시키려는 Zilliz의 전략과 헌신을 더욱 잘 보여줍니다.
그림 3. SSD에 최적화된 Hybrid Graph Clustering Index와 메모리 레이아웃 및 접근
향후 방향
발표자에 따르면, 벡터 검색의 미래는 곧 근사 기법에 의존하는 방식에서 짧은 시간 안에 브루트 포스 방법을 활용하는 방식으로 전환될 수 있습니다. 이러한 전환은 인덱스를 생성할 필요 없이 원시 벡터의 확장성이 증가함에 따라 주도될 것이며, 메모리 시장에서 중요한 진화를 나타냅니다. 특수 칩은 생산 비용이 높고 툴킷을 개발하는 데 상당한 투자와 시간이 필요해 시장에 출시되기까지 1년 이상 걸리는 경우가 많지만, 범용화된 하드웨어가 표준이 될 수 있습니다. 이 시나리오에서는 성능을 최적화하기 위해 소프트웨어에 상당한 조정이 필요할 것입니다. 칩렛이라는 개념이 소개되는데, 이는 최고의 반도체 기술을 여러 회사가 소프트웨어 개발과 유사하게 모듈식으로 설계하는 방식입니다. 이러한 모듈식 접근 방식은 기존 칩에서 소프트웨어를 재사용할 수 있게 해주며, 칩에 능숙하지 않은 사람들도 더 저렴하고 빠른 칩을 설계할 수 있도록 합니다. 이는 많은 회사에 진입점 역할을 할 수 있으며, 고급 칩 설계를 더 접근 가능하고 비용 효율적으로 만들 수 있습니다.
결론
hardware 기술의 빠른 발전은 더 효율적이고 강력한 벡터 검색 역량을 위한 길을 열고 있습니다. NeurIPS BigANN 대회와 Zilliz의 기여에서 볼 수 있듯이, 첨단 하드웨어와 혁신적인 알고리즘의 교차점은 데이터 검색 기술의 미래를 여는 핵심입니다. CPU는 수십 년 동안 컴퓨팅의 중추 역할을 해왔지만, 특수 하드웨어 솔루션의 등장은 효율성과 성능이 무엇보다 중요한 새로운 시대를 의미합니다. 가장 널리 채택된 벡터 데이터베이스 중 하나인 Zilliz는 메모리 효율성을 최적화하고 데이터 검색 속도를 극대화하는 데 집중하고 있으며, 첨단 하드웨어 역량을 활용해 벡터 검색 기술에서 가능한 것의 한계를 넓히고 있습니다. twitter에서 Zilliz @zilliz_universe 및 @milvusio를 팔로우하고, Zilliz YouTube channel에서 유익한 영상 강연과 튜토리얼을 많이 시청하세요.
리소스
계속 읽기
Smarter Autoscaling in Zilliz Cloud: Always Optimized for Every Workload
With the latest upgrade, Zilliz Cloud introduces smarter autoscaling—a fully automated, more streamlined, elastic resource management system.
Build for the Boom: Why AI Agent Startups Should Build Scalable Infrastructure Early
Explore strategies for developing AI agents that can handle rapid growth. Don't let inadequate systems undermine your success during critical breakthrough moments.
Bringing AI to Legal Tech: The Role of Vector Databases in Enhancing LLM Guardrails
Discover how vector databases enhance AI reliability in legal tech, ensuring accurate, compliant, and trustworthy AI-powered legal solutions.