AI의 발전과 미래 및 벡터 데이터베이스에 미치는 영향: Zilliz CEO Charles의 인사이트
이 글은 2부로 구성된 블로그 시리즈의 두 번째 편입니다.
2부로 구성된 블로그 시리즈의 두 번째 글에 다시 오신 것을 환영합니다. 여기에서는 Zilliz의 CEO Charles Xie의 인사이트를 바탕으로, 인공지능(AI), 특히 대규모 언어 모델(LLMs)과 벡터 데이터베이스 간의 역동적인 상호작용을 계속해서 살펴봅니다.
첫 번째 편에서는 벡터 데이터베이스의 본질과 현재 상태를 탐구하고, Milvus의 개발 과정을 자세히 설명하며, 벡터 데이터베이스 기술의 미래 방향을 고찰함으로써 토대를 마련했습니다. 이번 편에서는 이러한 기반을 확장하여 AI 기술의 진화로 들어가고, Foundation Models 시대에 vector database가 수행하는 핵심 역할을 논의하며, 서로 얽혀 있는 이 기술들이 앞으로 서로의 발전을 어떻게 형성해 나갈지 전망합니다.
벡터 데이터베이스의 개척: AI 혁신에서 Zilliz의 Pre-LLM 여정
6년 전, Zilliz의 우리는 대규모 언어 모델이 등장하기 훨씬 전, 대체로 미개척 영역이었던 Milvus 벡터 데이터베이스 개발에 착수했습니다. 그때에도 우리는 벡터 데이터베이스가 광범위한 AI 애플리케이션에 필수적이며, 폭넓은 사용 사례와 시장 기회를 열어줄 것이라고 믿었습니다.
당시 Google, DeepMind, OpenAI와 같은 기술 대기업들이 알고리즘 개발에서 진전을 이루고, NVIDIA와 Intel이 연산 능력을 향상시키는 동안, 이미 전 세계 데이터의 80%를 차지하고 있던 unstructured data를 위한 데이터 관리라는 핵심 측면은 다소 간과되고 있었습니다. 따라서 벡터 데이터베이스는 pre-LLM AI 환경 내의 절박한 수요를 충족하기 위한 솔루션으로 등장했습니다. 벡터 데이터베이스는 언어 처리, 컴퓨터 비전, recommendation systems를 포함한 다양한 영역에서 비정형 데이터를 효율적으로 관리할 수 있는 강력한 도구를 제공했습니다. 이 기술은 개발자들이 AI 앱 개발에서 비정형 데이터를 더 효과적으로 활용할 수 있게 하며, 벡터 데이터베이스 분야에서 우리의 개척 정신을 보여줍니다.
엔터프라이즈 중심 벡터 데이터베이스에서 모두를 위한 민주화된 AI로의 전환
6년 전 이 여정을 시작했을 때, 우리의 주요 목표는 엔터프라이즈 사용자들의 복잡한 요구를 충족하고, 추천 시스템, 전자상거래, 이미지 인식과 같은 분야의 얼리 어답터들과 협력하는 것이었습니다. 이러한 분야는 프로덕션 환경을 위한 신뢰할 수 있고, 확장 가능하며, 고성능인 벡터 데이터베이스 시스템을 요구했습니다.
우리의 여정 속에서 우리는 특히 natural language processing을 위한 대규모 데이터셋을 다루는 기존 AI 기업들과 전략적 제휴도 맺었습니다. 당시 AI 환경은 주로 하이퍼스케일러와 대기업들이 지배하고 있었으며, AI 알고리즘과 애플리케이션 개발에는 상당한 비용이 들었습니다. 이러한 파트너십은 우리에게 고유한 인사이트를 제공하며 매우 귀중한 것으로 입증되었습니다.
그러나 AI 환경은 현대 AI 기술의 발전과 대규모 언어 모델의 확산에 힘입어 지난 2년 동안 상당한 변화를 겪었습니다. 주로 소규모 팀이나 개인 기여자로 이루어진 독립 AI 개발자의 수가 눈에 띄게 증가하는 것을 보았습니다. 이러한 변화는 기업 중심의 AI 시대에서 더 민주화된 AI 환경으로 전환되고 있음을 의미하며, 이제 AI는 더 다양한 참여자들이 접근할 수 있는 범위 안에 들어왔습니다. 이러한 변화하는 환경에 대응하여, 우리의 목표는 고급 엔터프라이즈 솔루션을 제공하는 것뿐만 아니라 개인 개발자와 소규모 팀이 벡터 검색 서비스를 더 쉽게 이용할 수 있도록 하는 방향으로 발전했습니다.
반면, 전통적인 대기업들은 현대 AI 기술과 LLMs의 잠재력을 인식해 왔지만, 엄격한 보안 요구사항과 현대 AI 전문성 부족과 같은 과제에 직면해 있습니다. 우리는 AI 역량과 업계 표준 및 요구사항을 충족해 온 경험을 활용하여 이러한 기업들이 이와 같은 장애물을 극복하도록 돕고 있습니다.
이러한 변화의 대표적인 예는 클라우드에서 Milvus의 완전 관리형 버전인 Zilliz Cloud의 탄생입니다. 이는 AI 애플리케이션 개발을 프로토타이핑하고 실험하려는 개발자와 확장성, 성능, 장애 허용성을 갖춘 현대 AI 역량을 찾는 기업 모두에게 맞춤화된 합리적인 가격의 제품과 간소화된 운영을 제공합니다. 이러한 전략적 전환은 AI를 민주화하겠다는 우리의 의지를 반영하며, 최첨단 벡터 데이터베이스 기술이 모든 수준의 혁신가들에게 접근 가능하도록 보장합니다.
빠르게 진화하는 AI와 LLMs 시대에서 벡터 데이터베이스의 중요성
벡터 데이터베이스는 텍스트, 이미지, 오디오, 비디오, 지리공간 데이터, 행동 패턴, 그리고 유전학 및 단백질 구조와 같은 복잡한 생물학적 서열을 포함한 광범위한 비정형 데이터 내에서 의미적 유사성 검색을 수행하도록 설계되었습니다. 이러한 데이터베이스는 컴퓨터와 기계가 지식 획득 및 의사결정을 위해 정교한 딥러닝 모델과 알고리즘을 통해 이 데이터를 분석하고, 이해하고, 활용할 수 있게 합니다.
지난해에는 ChatGPT와 같은 LLMs의 급속한 발전에 힘입어 벡터 데이터베이스 시장이 극적으로 성장했습니다. 벡터 데이터베이스는 LLMs의 장기 기억과 외부 지식 저장소 역할을 하며, "환각" 문제를 완화합니다.
대규모 언어 모델 외에도, 앞으로 몇 년 동안 더 넓은 범위의 Foundation Models가 부상하는 것을 목격하게 될 것입니다. 이는 이미 컴퓨터 비전에서 관찰되고 있으며 곧 자율주행, 추천 엔진, 바이오제약 연구와 같은 분야로 확장될 것입니다. 각 Foundation Model은 텍스트, 이미지, 사용자 상호작용을 포함한 다양한 데이터 유형을 처리할 수 있는 의미적 저장 시스템을 필요로 합니다. 벡터 데이터베이스는 실용적이고 접근 가능하며 경제적인 데이터 관리 솔루션을 제공함으로써 두각을 나타내고, 다양한 Foundation Models 전반에서 의미적 데이터 검색을 향상시켜 개발자들에게 폭넓은 혜택을 줄 것입니다.
Milvus 3.0에서 RAG 검색 정확도 80% 증가 예상
검색 증강 생성(RAG)은 LLM과 벡터 데이터베이스를 통합하는 최첨단 AI 기술입니다. 주요 목적은 맥락 정보를 통합하여 LLM의 환각 문제를 해결하는 것입니다. 일반적인 RAG 시스템은 벡터 데이터베이스, LLM, 그리고 코드로서의 프롬프트로 구성됩니다. 벡터 데이터베이스는 이 시스템에서 핵심적인 역할을 하며, 도메인별 또는 비공개 정보를 저장하고 LLM을 위한 컨텍스트로 가장 관련성 높은 조각들을 검색합니다. 이 과정은 LLM이 더 정확하고 더 높은 품질의 답변을 생성할 수 있게 합니다.
지난 1년 동안 RAG 기술이 크게 발전했음에도 불구하고, 높은 검색 정확도를 달성하는 것은 여전히 과제로 남아 있습니다. 이 문제를 해결하기 위해, 곧 출시될 Milvus 3.0에서 향상된 하이브리드 검색 기능을 도입하고자 합니다. 키워드 기반의 정밀 검색과 벡터 기반의 유사도 검색을 결합한 이 방식은 RAG의 재현율을 기존 30%-40%에서 80%-90%로 끌어올려, 더 폭넓은 사용 사례에 대응할 것으로 기대됩니다.
80% 정확도를 달성한다는 것은 무엇을 의미할까요? 엔터프라이즈급 RAG 애플리케이션을 생각해 보세요. 60%의 정확도만으로도 이미 회사 인력 절반의 분석 능력을 능가합니다. 그러나 이 비율을 80%로 높이면 AI의 출력 품질은 고위 임원을 포함해 직원의 80%에서 90%를 뛰어넘게 됩니다. 따라서 80% 정확도 기준에 도달한다는 것은 AI가 더 정밀하고 우수한 품질의 결과를 제공할 수 있음을 의미하며, 사용자 경험을 혁신하고 AI가 접목된 제품의 영향력을 증폭시킵니다.
ChatGPT와 벡터 데이터베이스: 시맨틱 검색에서 보완재인가 경쟁자인가?
ChatGPT와 같은 대규모 언어 모델과 벡터 데이터베이스는 비정형 데이터의 의미적 의미를 표현하고 이해하기 위해 벡터 임베딩을 활용합니다. 이러한 임베딩은 유클리드 또는 코사인과 같은 거리 측정 방식으로 비교되어, 데이터의 의미적 유사성을 기반으로 효율적인 데이터 분석과 쿼리를 가능하게 합니다. 이러한 시너지는 시맨틱 검색에서 ChatGPT가 벡터 데이터베이스를 능가할 잠재력이 있는지에 대한 질문을 제기합니다.
기능이 일부 겹치지만, ChatGPT는 벡터 데이터베이스를 대체할 수 없습니다. ChatGPT의 강점은 정확한 시맨틱 조회 작업을 수행하는 데이터베이스로 기능하는 것이 아니라, 입력받은 내용을 기반으로 일관되고 맥락적으로 관련 있는 텍스트를 이해하고 생성하는 데 있습니다. 반면, 벡터 데이터베이스는 벡터 임베딩을 저장하고 검색하도록 맞춤 설계되어 효율적인 의미적 유사도 검색을 가능하게 합니다.
또한 시맨틱 검색을 수행하는 데 드는 비용 측면은 벡터 데이터베이스와 LLM 간에 크게 다릅니다. 벡터 데이터베이스 시스템에서 시맨틱 검색을 실행하는 것은 대규모 언어 모델 내에서 이러한 작업을 수행하는 것보다 약 100배 더 비용 효율적인 것으로 입증됩니다. 이러한 상당한 비용 차이로 인해 OpenAI를 포함한 많은 선도 AI 기업들은 AI 애플리케이션에서 시맨틱 검색 및 k-최근접 이웃 검색을 위해 벡터 데이터베이스 사용을 권장하고 있습니다.
LLM과 벡터 데이터베이스의 차이는 향후 5년 안에 더욱 분명해질 것입니다. LLM은 전통적인 컴퓨팅 인프라 위에서 정교한 시맨틱 프로세서로 부상할 준비가 되어 있습니다. 동시에 벡터 데이터베이스는 디스크, 테이프, 클라우드 스토리지, 파일 시스템과 같은 표준 스토리지 매체에서 지능형 데이터 검색을 제공하는 정교한 시맨틱 스토리지 솔루션으로 발전해 왔습니다.
AI의 미래: 5년 안에 부상할 저렴한 범용 지능
향후 5년 동안 머신러닝 알고리즘이 발전함에 따라 AI는 기하급수적으로 더 똑똑해져, 잠재적으로 오늘날보다 100배 더 똑똑해질 것으로 예상됩니다. 그러나 중요한 과제는 이러한 고도화된 AI를 접근 가능하고 저렴하게 만드는 데 있습니다. AI 구현과 관련된 비용은 하락 추세에 있지만, 하드웨어 확보, 대규모 언어 모델 활용, 지속적인 운영 유지보수를 포함한 누적 비용은 여전히 상당히 높습니다. 예를 들어, AI 어시스턴트의 구독료를 월 $20-30에서 $3-5로 낮추면 사용자 기반을 크게 확대할 수 있습니다. 따라서 향후 5년에 대한 비전은 모든 개인과 기업이 AI 솔루션을 경제적으로 활용할 수 있도록 하여 AI 기술의 민주화를 달성하는 것을 목표로 하는 Affordable General Intelligence (AGI)의 등장입니다.
벡터 데이터베이스 제공업체로서, 우리는 데이터 관리 효율성을 향상하고 비용을 절감함으로써 AI 기술에 대한 더 폭넓은 접근을 가능하게 하여 이러한 미래에 기여하고자 최선을 다하고 있습니다.
계속 읽기
Zilliz Cloud Now Available in AWS Asia Pacific (Seoul)
Zilliz Cloud is now available in AWS Seoul — low-latency vector search, in-country data residency, and one-step migration for Korean AI teams. 31 regions across 5 clouds.
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vectorDB deployments.