벡터 데이터베이스의 민주화: 접근성과 평등 강화
이 게시물은 원래 TheSequence에 게시되었으며 허가를 받아 여기에 다시 게시되었습니다.
21세기는 기술의 민주화가 핵심입니다. 인터넷 붐은 대규모 협업을 가능하게 했고, 오픈 소스가 일반적인 소프트웨어 도입 패턴이 되도록 이끌었습니다. 기술 혁신의 속도와 규모가 커짐에 따라, 우리는 이를 더 쉽게 접근할 수 있도록 노력해야 합니다.
소프트웨어 엔지니어로서 기술의 민주화란 기술을 가능한 한 널리 이용할 수 있게 만드는 것을 의미합니다. 이는 제가 알고 있는 것을 활용해 다른 사람들이 기술 발전을 만들고, 도입하고, 이해하는 일을 더 쉽게 하는 것을 의미합니다. 여기 Zilliz에서 우리는 단지 오픈 소스 프로젝트 Milvus의 도입을 늘리는 것뿐만 아니라, 항상 벡터 데이터베이스의 도입을 가속화하는 데 집중해 왔습니다.
이 글에서는 다음을 다루려고 합니다:
벡터 데이터베이스를 민주화한다는 것이 개발자에게 의미하는 바
기술 민주화의 기둥
벡터 데이터베이스 및 관련 도구에 대한 교육
벡터 데이터베이스에 대한 접근성 향상
기술 에반젤리즘
벡터 데이터베이스 민주화 요약
벡터 데이터베이스를 민주화한다는 것은 개발자에게 무엇을 의미하나요?
“XYZ 기술을 민주화한다”는 맥락에서 “민주화”라는 말을 들을 때마다, 저는 그 기술에 대한 접근을 확대하는 것을 떠올립니다. 따라서 벡터 데이터베이스에 관해서라면, 벡터 데이터베이스에 대한 접근을 확대하는 것을 생각합니다. 전통적으로 벡터 데이터베이스는 기업의 소프트웨어 개발자에게만 제공되어 왔습니다.
Milvus는 오픈 소스 Linux Foundation 프로젝트가 되면서 벡터 데이터베이스를 민주화하는 과정을 시작했습니다. 이는 오픈 소스 프로젝트로서 개발자들이 사용할 수 있었던 최초의 벡터 데이터베이스 중 하나였습니다. 프로젝트가 성장함에 따라, 점점 더 많은 개발자들이 벡터 데이터베이스를 사용하고, 배우고, 기여할 수 있게 되었습니다.
기술 민주화의 기둥
기술의 민주화에는 특정한 과제가 따릅니다 — 특히 벡터 데이터베이스와 같은 복잡한 도구를 민주화할 때 더욱 그렇습니다. 기술을 민주화할 때 살펴봐야 할 세 가지 기둥이 있습니다. 그것은 교육, 접근성 향상, 에반젤리즘입니다.
벡터 데이터베이스 및 관련 도구에 대한 교육
교육은 많은 기업이 자주 잘못 접근하는 가장 중요한 주제입니다. 교육은 특정 제품, 기술 전반, 그리고 관련 도구에 대해 가르치는 것입니다. 그래서 여기 Zilliz에서는 Milvus뿐만 아니라 다양한 것들에 대한 콘텐츠를 만듭니다.
우리가 작성하는 콘텐츠는 교육을 통해 벡터 데이터베이스의 도입을 가속화하려는 우리의 열망을 반영합니다. 따라서 우리는 Hierarchical Navigable Small Worlds (HNSW), 스칼라 및 곱 양자화, 역파일 인덱스와 같은 핵심 개념에 대한 콘텐츠를 보유하고 있습니다.
벡터 데이터베이스의 기반 개념을 이해하기 위한 리소스를 제공하는 것 외에도, 우리는 관련 도구에 대한 리소스도 제공해야 합니다. 예를 들어, 대규모 언어 모델(LLM)의 인기는 다양한 새로운 도구의 등장을 이끌었습니다.
전면에 등장한 새로운 도구로는 LlamaIndex, Auto-GPT, LangChain 등이 있습니다. 또한 커뮤니티를 위한 교육 리소스를 제공하려는 우리의 목표에 맞춰, 많은 콘텐츠가 The Sequence, The New Stack, 일부 Medium 출판물과 같은 제3자에게도 제공됩니다.
벡터 데이터베이스에 대한 접근성 향상
기술에 대한 교육을 제공하는 것은 훌륭하지만, 그것에 접근할 수 있는 방법을 제공하지 않는다면 도움이 되지 않습니다. 우리의 경우, Milvus를 오픈소스로 공개한 것이 벡터 데이터베이스에 대한 접근성을 높이는 첫걸음이었습니다. 단순히 오픈소스가 되는 것을 넘어, Milvus 프로젝트는 접근성을 높이기 위한 다른 방법들도 추진해 왔습니다.
Milvus는 Docker Compose와 Helm용 템플릿이 포함된 Docker 이미지로도 제공됩니다. 또한 최근에는 Milvus Lite로 pip install을 통해 사용할 수 있게 했습니다. Milvus는 350만 회 이상의 Docker 다운로드, 18.8k개의 GitHub 스타, 212명의 기여자를 확보했습니다.
Milvus 외에도 Zilliz 역시 접근성을 높이기 위해 노력해 왔습니다. 처음에 Zilliz는 $400의 무료 크레딧을 제공했고, 이제는 최대 50만 개의 벡터를 허용하는 무료 티어를 제공합니다! 이는 거의 모든 개발자에게 충분한 수준입니다. Zilliz Cloud의 무료 티어를 통해 거의 모든 개발자가 무료로 벡터 데이터베이스를 시작할 수 있습니다.
기술 에반젤리즘
기술의 민주화에서 다뤄야 할 마지막 기둥은 그것을 전파하는 것입니다. 사람들에게 그것이 왜 유용한지 말하지 않는다면, 기술을 사용할 수 있게 만들고 그에 대한 교육을 제공하는 것이 무슨 소용이 있을까요? 도입을 가속화한다는 측면에서, 교육은 어떻게 사용하는지를 설명하고, 접근성 향상은 무엇을 사용할 수 있는지를 담당하며 — 에반젤리즘은 왜 필요한지를 제공합니다.
우리는 주로 벡터 데이터베이스의 힘을 보여주는 콘텐츠를 통해 에반젤리즘을 수행합니다. 위에서 제공한 교육 자료 중 일부를 통해 이를 확인할 수 있습니다. 또한 벡터 데이터베이스에 대한 발표도 진행합니다. 일부는 온라인으로, 일부는 오프라인으로 진행됩니다. 최근 저는 Seattle에서 LLM으로 데이터 문제를 해결하기 위한 솔루션으로서 벡터 데이터베이스를 사용하는 방법에 대해 발표했습니다.
요약: 벡터 데이터베이스의 민주화
벡터 데이터베이스의 민주화는 매우 중요합니다. 벡터 데이터베이스가 비정형 데이터의 많은 문제를 해결하기 때문입니다. 이전에는 이러한 프로젝트의 엄청난 복잡성과 규모 때문에 대기업의 개발자들만 사용할 수 있었습니다. 그러나 LLM의 인기는 벡터 데이터베이스라는 개념을 주류로 끌어올렸고, 이전에는 없던 수많은 사용 사례를 만들어냈습니다. 이는 민주화를 더욱 중요하게 만듭니다.
Zilliz에서 우리는 교육, 접근성, 에반젤리즘이라는 세 가지 기둥으로 민주화에 접근했습니다. 우리에게 이 기둥들 중 가장 중요한 부분은 교육입니다. 개발자에게 교육 자료는 벡터 데이터베이스와 보완 도구를 사용하는 “방법”을 제공합니다.
또한 우리는 항상 접근성을 높이기 위해 노력해 왔으며, 앞으로도 계속 그렇게 할 것입니다. 소프트웨어를 오픈소스로 공개한 것이 첫걸음이었습니다. 접근성을 높이기 위한 다른 단계에는 컨테이너화를 위한 템플릿과 이미지를 제공하는 것이 포함됩니다. 최근에는 Jupyter Notebook에서 직접 실행할 수 있는 벡터 데이터베이스인 Milvus Lite를 출시했습니다.
마지막으로, 우리는 벡터 데이터베이스의 사용과 힘을 널리 알리기 위해 기술 에반젤리즘에 참여합니다. 웨비나를 제공하고, 커뮤니티 이벤트에서 발표하며, 소셜 미디어에서 활동함으로써 이를 수행합니다.
Zilliz는 벡터 데이터베이스를 민주화하기 위한 노력을 계속하고 있으며, 이는 벡터 데이터베이스가 얼마나 중요한지를 생각하면 매우 흥미로운 일입니다. 벡터 데이터베이스는 LLM의 데이터 문제를 해결하는 데 핵심적이며, 역이미지 검색, 시맨틱 텍스트 검색, 제품 추천과 같은 것들을 위한 현존 최고의 솔루션입니다. 저는 개인적으로 벡터 데이터베이스 분야의 성장을 돕는 팀의 일원이 되어 기쁘며, 커뮤니티를 위해 그리고 커뮤니티에 의해 만들어질 모든 놀라운 것들을 기대하고 있습니다!
계속 읽기
Introducing Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud
We're announcing the general availability of Customer-Managed Encryption Keys (CMEK) on Zilliz Cloud.
1 Table = 1000 Words? Foundation Models for Tabular Data
TableGPT2 automates tabular data insights, overcoming schema variability, while Milvus accelerates vector search for efficient, scalable decision-making.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.