벡터 데이터베이스의 진화와 미래: Zilliz CEO Charles의 인사이트
이 글은 벡터 데이터베이스와 AI의 진화 및 미래에 관한 2부작 블로그 시리즈의 첫 번째 편입니다.
벡터 데이터베이스는 복잡한 비정형 데이터의 급증과 대규모 언어 모델(LLMs)의 부상에 힘입어, 빠르게 진화하는 데이터 과학 및 인공지능 분야에서 중요한 혁신으로 떠올랐습니다. 이 새로운 유형의 데이터베이스는 벡터 임베딩을 통해 비정형 데이터를 관리하고 의미론적으로 쿼리하는 데 핵심적인 역할을 하며, 데이터 접근성과 분석을 현대화하고 차세대 AI 애플리케이션의 요구를 충족합니다. Zilliz의 CEO Charles의 인사이트를 바탕으로, 이 블로그는 벡터 데이터베이스의 진화, 현재 동향, 미래 방향을 살펴봅니다.
벡터 데이터베이스란 무엇인가요?
벡터 데이터베이스는 이미지, 동영상, 자연어와 같은 비정형 데이터를 관리하고 쿼리하도록 설계된 최첨단 데이터 인프라입니다. 우리는 딥러닝 알고리즘을 사용해 비정형 데이터를 벡터 임베딩이라고 알려진 새로운 데이터 형식으로 변환할 수 있습니다. 그런 다음 이러한 임베딩을 벡터 데이터베이스에 저장하며, 이를 통해 해당 데이터에 대해 의미론적 쿼리를 수행할 수 있습니다. 이 기능은 매우 강력한데, 전통적인 키워드 기반 검색과 달리 비정형 데이터의 의미를 들여다볼 수 있게 해주어, 더 미묘하고 맥락이 풍부한 검색 경험을 제공하기 때문입니다.
개발자들은 스마트하고 개인화된 추천 시스템, AI 기반 챗봇, 의미론적 검색을 구축하는 데 벡터 데이터베이스를 널리 사용합니다. LLM의 부상과 함께 벡터 데이터베이스는 검색 증강 생성(RAG)의 핵심 인프라 구성 요소로 떠올랐으며, LLM이 매우 관련성 높은 답변을 생성할 수 있도록 쿼리 컨텍스트로 추가 지식을 제공합니다.
벡터 데이터베이스의 현재 환경
현재 시장에는 Milvus와 같은 목적 특화형 벡터 데이터베이스, Elasticsearch와 같은 벡터 검색 플러그인을 갖춘 전통적인 데이터베이스, Chroma와 같은 경량 벡터 데이터베이스, 그리고 FAISS처럼 벡터 검색 기능을 갖춘 더 많은 기술을 포함하여 수많은 "벡터 데이터베이스”가 존재합니다. 벡터 데이터베이스의 유형은 매우 많지만, 모두가 동일하게 만들어진 것은 아닙니다.
벡터 검색 기술
일부는 임베디드 시스템과 유사한 접근 방식을 채택하며, Chroma가 이 점에서 선두주자로 돋보입니다. 그 장점은 최소한의 설치 공간에 있어, 사용자가 설정하고 운영을 시작하기가 매우 간단하다는 점입니다. 그러나 SQLite와 마찬가지로 Chroma는 완전한 데이터베이스 시스템이 아니라 런타임 라이브러리입니다. 따라서 데이터 영속성, 데이터 복구, 특히 확장성과 같은 필수 기능에 대한 지원이 부족합니다.
PGVector 및 Pinecone과 같은 데이터베이스는 스케일업 접근 방식을 받아들였습니다. 더 고급 프로세서에 배포되면 단일 노드 인스턴스 내에서 우수한 성능을 달성하여 그 역량에 대한 단기적인 신뢰를 심어줍니다. 그러나 스케일업에는 한계가 있으며, 이는 주로 단일 노드 머신이 부과하는 물리적 제약 때문입니다. 예를 들어 Pinecone은 상당한 수의 포드를 지원하지만 단일 x86 아키텍처에서의 CPU 호출에 의해 제한됩니다. 이러한 한계를 넘어서려면 최신의 더 비싼 CPU 아키텍처를 선택해야 합니다.
스케일업 모델의 또 다른 단점은 단일 장애 지점의 위험입니다. 노드 장애가 발생하면 해당 노드와 연결된 모든 데이터가 손실됩니다. 반면, 스케일아웃 접근 방식에 내재된 분산 아키텍처는 효율적인 데이터 복제 및 장애 조치 메커니즘을 가능하게 합니다. 예를 들어 16개 노드가 있는 분산 시스템에서 노드 하나를 잃는 최악의 시나리오에서는 데이터의 일부(1/16)만 손상됩니다. 이처럼 더 작은 부분의 데이터를 복구하는 것은 더 관리하기 쉽고 빠르며, 전체 데이터 손실 위험을 최소화합니다.
우리는 Milvus 벡터 데이터베이스를 어떻게 구축했나요?
Milvus를 구축한 여정을 살펴보기 전에, 데이터베이스 시스템의 본질에 대해 논의해 보겠습니다. 넓게 말해, 포괄적인 데이터베이스 시스템은 스토리지 계층, 지정된 스토리지 형식, 데이터를 적절한 위치에 배치하거나 캐싱하는 데이터 오케스트레이션 계층, 쿼리 옵티마이저, 그리고 효율적인 실행 엔진으로 구성됩니다. 지난 10년 동안 이기종 아키텍처가 확산되었기 때문에, 실행 엔진과 쿼리 옵티마이저는 더 넓은 범위의 하드웨어 인프라에 적응하고 최적화할 수 있도록 유연해야 합니다. 이러한 유연성은 최신 CPU, ARM 프로세서, GPU, 그리고 AI 애플리케이션을 위해 명시적으로 설계된 다양한 가속기에 이르는 여러 기반 프로세서에 의존합니다. 이러한 통합은 각 프로세서 유형의 고유한 강점을 활용하는 최적의 실행 계획을 만드는 것을 가능하게 하여, 쿼리 실행의 효율성과 성능을 크게 향상시킵니다.
그렇다면 Milvus 벡터 데이터베이스 시스템을 구축하는 우리의 철학은 무엇일까요?
이기종 컴퓨팅 수용
처음부터 Milvus는 이기종 컴퓨팅에 전념해 왔으며, 다양한 최신 프로세서 전반에서 그 다재다능함과 높은 성능을 보여주었습니다. Intel 및 AMD CPU부터 ARM 프로세서와 Nvidia GPU에 이르기까지 다양한 하드웨어를 지원합니다. Milvus의 통합 기능은 기본 선형대수부터 복잡한 그래프 기반 계산에 이르기까지 AI 벡터 처리 작업을 포괄합니다. 이러한 호환성은 각 프로세서 유형이 고유한 명령어 세트, 캐시 아키텍처, 실행 모델을 가지고 있기 때문에 중요합니다. 알고리즘을 맞춤화하고 이러한 고유한 특징에 맞게 실행 엔진을 최적화하면 성능과 효율성이 극대화됩니다.
수직 및 수평 확장성 모두 지원
데이터 양이 계속 증가함에 따라 확장성은 중요한 관심사가 됩니다. 우리는 수직(스케일업) 및 수평(스케일아웃) 확장성을 모두 통해 이 과제를 해결하도록 Milvus 시스템을 설계했습니다. 이 기능에는 스케일아웃을 촉진하기 위한 다양한 분산 알고리즘 개발과, 예기치 않은 시스템 장애 발생 시 데이터 일관성, 동기화, 복제 및 복구를 위한 견고한 전략 채택이 포함됩니다.
프로토타이핑부터 프로덕션까지 원활한 개발자 경험 제공
저희는 개발의 각 단계별 고유한 요구를 충족하기 위해 다양한 Milvus 배포 모드 제품군을 제공합니다: 빠른 프로토타이핑을 위한 Milvus Lite, 소규모 애플리케이션을 위한 Milvus Standalone, 수평적 확장성을 위한 Milvus Cluster, 그리고 관리 용이성을 위한 Zilliz Cloud(완전 관리형 Milvus)입니다. 고성능 벡터 데이터베이스 분야에서 시장 선도적 위치를 유지하는 것에 더해, 저희는 검색을 처음 접하는 AI 개발자들의 경험을 개선하는 데 전념하고 있습니다. 곧 Milvus Lite를 초보자에게 훨씬 더 친화적이고 사용하기 쉬운 배포 모드로 업그레이드할 예정입니다.
핵심 철학은 간단합니다: 클라이언트 측 코드를 한 번 구현하고, 벡터 검색이 필요한 곳이라면 어디서든 Jupyter notebook에서의 프로토타이핑부터 수십억 개의 문서를 제공하는 프로덕션 서비스까지, 맞춤형 Milvus 인스턴스를 사용해 애플리케이션 개발의 모든 단계에서 활용하는 것입니다.
네 가지 Milvus 버전 중에서 선택하는 방법에 대한 자세한 가이드는 어떤 Milvus 버전으로 시작할지에 대한 이 블로그를 참조하세요.
비즈니스에 적합한 벡터 데이터베이스를 선택하는 방법은?
벡터 데이터베이스로의 전환을 고려할 때 평가해야 할 주요 측면은 두 가지입니다:
첫째, 벡터 검색의 성능이 비즈니스에 중요한지 평가하세요. 예를 들어, 매일 수백만 명의 사용자에게 서비스를 제공하고 비즈니스의 핵심인 Retrieval Augmented Generation(RAG) 솔루션을 구축하고 있다면, 벡터 컴퓨팅의 성능이 무엇보다 중요해집니다. 이러한 경우 순수 벡터 데이터베이스 시스템을 선택하는 것이 권장됩니다. Zilliz Cloud와 같은 전문 벡터 데이터베이스는 일관되고 최적의 성능을 보장할 뿐만 아니라 SLA 요구 사항에도 부합하여, 성능에서 타협할 수 없는 미션 크리티컬 서비스에 안심을 제공합니다.
둘째, 시간에 따른 데이터 볼륨의 예상 증가를 고려하세요. 서비스가 장기간 운영되면 데이터셋의 볼륨이 증가하므로, 비용 최적화는 의사 결정에서 피할 수 없는 고려 사항이 됩니다. 시장의 대부분의 순수 벡터 데이터베이스 시스템은 더 적은 리소스를 필요로 하면서도 뛰어난 성능을 제공하여, 비용 효율성이 매우 높습니다. 이러한 맥락에서 Milvus는 두드러지며, PG Vector, OpenSearch 및 기타 비네이티브 웹 데이터베이스 솔루션과 같은 대안보다 100배 이상 높은 비용 효율성을 보여줍니다.
위의 요소들에 더해, 성능, 확장성, 기능성은 벡터 데이터베이스를 평가하는 핵심 지표에 속합니다. 벡터 데이터베이스 평가에 대한 더 자세한 가이드는 이 벤치마킹 블로그를 참조하세요.
언제 풀스케일 분산 벡터 데이터베이스가 불필요한가요?
풀사이즈 벡터 데이터베이스는 프로토타입을 개발하거나 RAG 솔루션을 테스트하는 개발자와 조직에는 과도할 수 있습니다. 로컬에서 실행되는 경량 벡터 데이터베이스만으로도 충분할 수 있습니다. 사용자에게 더 최적화된 사용자 경험을 제공하기 위해, Milvus는 개발 초기 단계에서 더 빠른 설정에 맞춰 로컬 배포에 대한 지원을 강화할 예정입니다.
우리의 노력은 프로젝트의 규모나 복잡성과 관계없이 개발자에게 통합된 경험을 제공하는 데까지 확장됩니다. 노트북에서 AI 스택을 시험해 보든, 확장 가능하고 프로덕션 준비가 완료된 벡터 검색 솔루션을 찾고 있든, Milvus는 순조로운 여정을 보장합니다. 프로토타입에서 프로덕션으로 나아가면서 Docker 및 Kubernetes 배포로 쉽게 마이그레이션하여 분산 아키텍처를 통한 뛰어난 성능과 사용자 지정 가능성을 얻고, 일관된 SDK 및 API 인터페이스의 이점을 누릴 수 있습니다. 잘 닦인 경로에서는 프로그램을 한 번만 작성하면 되며, 노트북부터 데이터 센터와 퍼블릭 클라우드에 이르기까지 다양한 환경에서 원활하게 실행될 수 있습니다. 우리는 사용자 경험을 저해하지 않으면서 유연성을 제공하여 모든 단계의 개발자에게 힘을 실어주는 것을 목표로 합니다.
벡터 데이터베이스의 미래는 무엇인가요?
우리는 벡터 데이터베이스 시스템이 제공하는 기능이 확장되는 것을 목격해 왔습니다. 지난 몇 년 동안 이러한 시스템은 주로 단일 기능, 즉 근사 최근접 이웃 검색(ANN search)을 제공하는 데 집중했습니다. 그러나 환경은 진화하고 있으며, 앞으로 2년 안에 더 다양한 기능을 보게 될 것입니다.
전통적으로 벡터 데이터베이스는 유사성 기반 검색을 지원했습니다. 이제는 정확 검색 또는 매칭까지 포함하도록 기능을 확장하고 있습니다. 이러한 다재다능함을 통해 두 가지 관점으로 데이터를 분석할 수 있습니다. 더 폭넓은 이해를 위한 similarity search와 미묘한 차이를 위한 정확 검색입니다. 이 두 접근 방식을 결합하면 사용자는 큰 그림을 파악하는 것과 구체적인 세부 사항을 깊이 파고드는 것 사이의 균형을 세밀하게 조정할 수 있습니다.
특정 상황에서는 데이터의 개략적인 파악만으로도 충분할 수 있으며, 의미 기반 검색이 잘 작동합니다. 그러나 아주 작은 차이가 중요한 상황에서는 사용자가 데이터를 확대하여 각 항목의 미묘한 특징을 면밀히 살펴볼 수 있습니다.
벡터 데이터베이스는 벡터 클러스터링 및 분류와 같은 추가적인 벡터 컴퓨팅 워크로드를 지원할 가능성이 높습니다. 이러한 기능은 단순한 추가 기능이 아니라 사기 탐지 및 이상 탐지와 같은 애플리케이션에서 특히 관련성이 높고 영향력이 큽니다. 여기서는 비지도 학습 기법을 적용하여 벡터 임베딩을 클러스터링하거나 분류함으로써 공통 패턴을 식별하고 잠재적으로 상당한 손실을 방지할 수 있습니다.
블로그 시리즈의 다음 편에서는 AI 기술의 진화와 그것이 벡터 데이터베이스의 미래에 미치는 영향에 대한 제 인사이트를 공유하겠습니다. 기대해 주세요!
계속 읽기
Zilliz Cloud BYOC Now Available Across AWS, GCP, and Azure
Zilliz Cloud BYOC is now generally available on all three major clouds. Deploy fully managed vector search in your own AWS, GCP, or Azure account — your data never leaves your VPC.
The Real Bottlenecks in Autonomous Driving — And How AI Infrastructure Can Solve Them
Autonomous driving faces a data bottleneck. Learn how AI-native vector databases like Zilliz solve scale, cost, and insight challenges across AV pipelines.
How to Use Anthropic MCP Server with Milvus
MCP + Milvus: Streamline AI agent development with standardized data access, eliminating integration hassles while enhancing context and flexibility.