엔지니어링 관점: Milvus가 당신의 앱에 매력적인 선택지인 이유는?
벡터 데이터베이스는 현대 데이터 관리에 필수적이며, 추천 시스템과 챗봇부터 범용 인공지능(AGI) 및 검색 증강 생성(RAG)에 이르는 애플리케이션 구축에 널리 사용됩니다. 이러한 역동적인 환경에서 Milvus는 선구자이며, 최근 릴리스인 Milvus 2.3은 수많은 흥미로운 새 기능과 개선 사항을 도입합니다.
이 블로그에서는 엔지니어링 관점에서 Milvus 2.3을 살펴보고, 데이터베이스 선택, 개발 경험, 시스템 신뢰성이라는 세 가지 중요한 관점에서 Milvus 2.3이 신규 사용자와 기존 사용자에게 탁월한 선택인 이유에 대한 인사이트를 공유합니다.
성능, 비용, 확장성의 균형
벡터 데이터베이스를 선택할 때 대부분의 사용자는 성능, 비용, 확장성이라는 세 가지 주요 요소를 고려합니다. 이전 Milvus 2.x 시리즈는 확장성을 우선시하여 다양한 환경에 적응할 수 있고 수십억 개의 벡터를 저장하고 검색할 수 있었습니다. Milvus 2.3은 클라우드 네이티브 스토리지-컴퓨팅 분리를 활용하여 수백만 개에서 수십억 개의 벡터로 원활하게 전환할 수 있도록 함으로써 확장 최적화에서 한 단계 더 나아갑니다.
Milvus 2.3은 또한 GPU, CPU(ARM64 및 x86) docker 옵션과 Kubernetes(Milvus Operator 및 Helm) 옵션을 포함하여 성능과 비용을 위한 다양한 배포 옵션을 사용자에게 제공합니다.
성능을 우선시하는 사용자는 CPU 옵션보다 3~10배 빠른 성능을 제공하는 GPU docker가 포함된 Milvus 2.3을 선택할 수 있습니다.
비용에 민감한 사용자는 합리적인 성능을 유지하면서도 더 예산 친화적인 Milvus의 ARM64 옵션을 선택할 수 있습니다.
Milvus 2.3은 파일과 기타 객체를 메모리에 매핑하는 UNIX 시스템 호출인 MMap도 지원하여, 비용을 절감하면서 단일 머신의 데이터 용량을 크게 늘립니다. 테스트 결과에 따르면 MMap 지원을 통해 Milvus는 성능 저하를 20% 이내로 제한하면서 데이터 용량을 두 배로 늘릴 수 있습니다. 곧 출시될 Milvus 2.3.1에서 이 기능을 계속 최적화하여 데이터 용량을 현재보다 최대 20배까지 확대하는 것을 목표로 하고 있습니다.
단순함으로 개발자 역량 강화
현대 애플리케이션은 삽입, 삭제, 검색과 같은 기본 벡터 검색 기능 이상을 요구합니다. 예를 들어, 애플리케이션마다 top-k 벡터 쿼리, 거리 기반 쿼리, 속성 필터링 쿼리와 같은 서로 다른 쿼리가 필요합니다. 또한 이러한 앱은 유클리드 거리(L2), 내적(IP), 코사인 유사도(COSINE)를 포함한 벡터 거리 계산을 위한 다른 방법을 요구할 수 있습니다.
Milvus 2.3은 이러한 모든 다양한 요구사항을 충족하도록 API를 개선하여 개발을 더 간단하게 만들었습니다. 예를 들어, 새로운 upsert 기능은 데이터 삽입과 업데이트를 한 줄의 코드로 결합하여 데이터 관리를 단순화합니다. ScaNN 인덱스는 고성능 인덱싱을 제공하여 이전 버전보다 더 빠른 쿼리 속도를 제공합니다.
Milvus는 또한 데이터 관리를 간소화하기 위해 마이그레이션 도구와 증분 데이터 캡처 기능을 제공함으로써 다른 제품과의 데이터 통합을 지원합니다.
안정성과 초 단위 가용성 보장
Milvus는 지속적인 최적화 덕분에 프로덕션 환경에서 안정적이고 가용성이 높은 것으로 입증되었습니다.
2.1.x 시리즈는 메모리 복제를 도입하여 시스템 안정성을 크게 향상시켰습니다. 2.2.x 시리즈는 리소스 그룹에 대한 장애 격리 기능을 추가하여 시스템 복원력을 강화했습니다. 이전 버전들의 성공을 바탕으로 Milvus 2.3은 Look Aside Load Balancer를 도입하여 노드 이벤트를 더욱 빠르게 감지하고 초 단위 장애 조치 및 리소스 확장을 보장합니다.
Milvus 2.3에는 더 나은 메모리 관리, 향상된 롤링 업그레이드, 단일 클러스터에서 훨씬 더 많은 수의 테이블 지원도 포함되어 있어 전반적인 시스템 안정성이 추가로 개선되었습니다.
결론
빠르게 진화하는 벡터 데이터베이스 환경에서 Milvus 2.3은 탁월함의 상징으로 돋보입니다. 최신 벡터 데이터베이스에서 사용자가 필요로 하는 모든 것, 즉 고성능, 확장성, 가용성, 안정성, 비용 효율성을 제공합니다.
기술이 계속 발전함에 따라 Milvus도 함께 발전합니다. 저희는 Milvus를 끊임없이 최적화하고 향후 버전에서 표현식 삭제, 원활한 Azure 클라우드 배포, 향상된 배열 지원, 기본값/null 값 최적화, 동적 열 추가와 같은 최첨단 기능을 도입할 것입니다. 계속 지켜봐 주십시오.
이 여정은 저희만이 홀로 시작하는 것이 아닙니다. 전체 커뮤니티가 Milvus를 적극적으로 탐색하고, 여러분의 통찰을 공유하며, 이 놀라운 기술의 지속적인 발전에 기여해 주시기를 초대합니다.
계속 읽기
Why Teams Are Migrating from Weaviate to Zilliz Cloud — and How to Do It Seamlessly
Explore how Milvus scales for large datasets and complex queries with advanced features, and discover how to migrate from Weaviate to Zilliz Cloud.
Context Engineering Strategies for AI Agents: A Developer’s Guide
Learn practical context engineering strategies for AI agents. Explore frameworks, tools, and techniques to improve reliability, efficiency, and cost.
Balancing Precision and Performance: How Zilliz Cloud's New Parameters Help You Optimize Vector Search
Optimize vector search with Zilliz Cloud’s level and recall features to tune accuracy, balance performance, and power AI applications.