Zilliz Cloud: 로켓 같은 속도로 벡터 검색에 불을 붙이다
최근 저희는 새로운 무료 티어, 동적 스키마 및 파티션 키, 다양한 비즈니스 요구를 충족하기 위한 더 합리적인 가격 플랜 등 여러 흥미로운 기능을 도입한 Zilliz Cloud의 최신 버전을 출시했습니다. 또한 성능을 크게 개선하여 Zilliz Cloud가 이전 버전보다 두 배 더 빠르고 Milvus 및 기타 벡터 데이터베이스보다 세 배에서 열 배 더 빠르게 만들었습니다.
소프트웨어 엔지니어로서 저는 특히 쿼리를 처리하는 Zilliz Cloud의 로켓 같은 속도에 큰 기대를 가지고 있습니다. 이 글에서는 Zilliz Cloud가 얼마나 빠른지, 그리고 무엇이 Zilliz를 번개처럼 빠르게 만드는지 보여드리겠습니다.
Zilliz Cloud는 얼마나 빠른가요?
Zilliz Cloud의 속도를 보여드리기 전에, 비교의 맥락과 평가하려는 구체적인 조건을 설정해야 합니다.
VectorDBBench는 직관적이고 사용자 친화적인 인터페이스를 통해 QPS, 용량, 처리량, 지연 시간과 같은 여러 지표에서 다양한 벡터 데이터베이스의 성능을 평가하는 오픈 소스 벤치마킹 도구입니다.
저는 VectorDBBench를 사용해 Zilliz Cloud를 Zilliz가 만든 오픈 소스 데이터베이스인 Milvus 및 Quadrant Cloud, Pinecone, WeaviateCloud, ElasticCloud를 포함한 시장의 다른 벡터 데이터베이스와 비교하겠습니다.
Zilliz Cloud는 Milvus보다 쉽게 6배 뛰어난 성능을 보입니다
아래 그림은 다양한 컴퓨팅 및 스토리지 리소스 구성에서 100만 개의 768차원 데이터를 처리할 때 QPS 측면에서 Zilliz Cloud와 Milvus의 성능을 비교합니다. 결과에 따르면 Zilliz Cloud는 Milvus보다 최소 세 배 빠릅니다.
Zilliz Cloud vs. Milvus (1M dataset, 768 Dim)
1,000만 개의 768차원 데이터를 검색할 때 Zilliz Cloud는 Milvus보다 여섯 배 뛰어난 성능을 보입니다.
Zilliz Cloud vs. Milvus (10M dataset, 768 Dim)
Zilliz Cloud는 다른 벡터 데이터베이스보다 최소 4배 빠릅니다
Zilliz Cloud는 다른 벡터 데이터베이스보다도 빠릅니다. 벤치마킹 결과에 따르면, Zilliz Cloud는 100만 개의 768차원 데이터를 검색할 때 경쟁사보다 4~191배 더 높은 QPS를 달성하며 훨씬 더 합리적인 가격 플랜을 제공합니다.
Zilliz Cloud vs. other vector databases (1M dataset, 768 Dim)
더 큰 데이터셋에서 유사도 검색을 수행할 때, Zilliz Cloud는 QPS 측면에서 Pinecone 및 Quadrant Cloud와 같은 벡터 데이터베이스 서비스를 3배 앞섭니다.
Zilliz Cloud vs. other vector databases (10M dataset, 768 Dim)
더 많은 결과는 벤치마킹 페이지를 확인하세요.
Zilliz Cloud가 이렇게 빠른 이유
이제 Zilliz Cloud의 속도에 대해 읽어보셨으니, 무엇이 그렇게 빠르게 만드는지 알아볼 차례입니다.
Zilliz Cloud에는 강력한 벡터 인덱싱 엔진이 있습니다
벡터 데이터베이스는 컴퓨팅 성능에 크게 의존하며, 벡터 인덱싱 알고리즘이 대부분의 리소스를 소비하고 주로 성능을 결정합니다.
Zilliz Cloud에는 강력한 벡터 컴퓨팅 기능을 갖춘 견고한 인덱싱 엔진이 있습니다. Glass는 오픈 소스 버전이며 ANN-Benchmark에서 최근 발표한 테스트 결과에서 순위 1위를 차지했습니다. 이 잘 알려진 벤치마킹 도구는 다양한 실제 데이터셋에서 서로 다른 알고리즘의 성능을 비교합니다.
두 가지 예를 살펴보겠습니다. 다음 다이어그램은 서로 다른 두 데이터셋을 기반으로 한 ANN-Benchmark의 최신 벤치마킹 결과를 보여줍니다:
gist-960-euclidean: 유클리드 거리 함수를 사용하는 100만 개의 960차원 벡터.fashion-mnist-784-euclidean: 유클리드 거리 함수를 사용하는 60,000개의 784차원 벡터.
곡선이 더 높이 도달할수록 알고리즘이 초당 더 많은 쿼리를 처리할 수 있습니다. 마찬가지로 곡선이 오른쪽으로 더 길게 뻗을수록 알고리즘이 더 높은 recall을 얻을 수 있습니다.
ANN Benchmark 결과(데이터셋: gist-960-euclidean, k=10)
ANN Benchmark 결과(데이터셋: gist-960-euclidean, k=10)
다이어그램에 표시된 결과를 바탕으로 Glass(분홍색 곡선)는 초당 쿼리 수와 recall 측면에서 모두 최고 성능을 기록했습니다. Glass의 탁월한 성능은 Zilliz Cloud가 번개처럼 빠른 속도를 달성하는 데 크게 기여했습니다.
최적화된 코드 구조
Glass의 강력한 인덱싱 기능 외에도, 우리는 Zilliz Cloud의 코드 구조를 최적화했습니다. 이 최적화에는 중복 쿼리 경로 정리, 쿼리 병합 및 동시 쿼리 규칙의 스케줄링 개선, 로드 밸런싱 구조 최적화, 비효율적이고 오래된 많은 타사 라이브러리의 교체/업그레이드가 포함됩니다. 이러한 모든 노력은 Zilliz Cloud가 인덱스 알고리즘 기능을 최대한 활용하고 오버헤드를 줄이는 데 도움이 됩니다.
또한 이전에 Zilliz Cloud의 쿼리 성능을 저해했던 여러 문제를 해결했습니다. 그 결과, 대규모 데이터셋을 대상으로 하는 스칼라 필터링 및 벡터 필터링 검색이 이제 훨씬 더 빨라졌습니다.
안정적인 recall 비율을 위한 Zilliz Cloud의 AutoIndex
recall 비율은 시스템 성능의 중요한 요소입니다. 부적절한 recall 비율은 고객의 요구 사항을 충족하지 못하는 검색 결과로 이어집니다. 그러나 지나치게 높은 recall 비율은 성능을 크게 저하시킬 수 있습니다. 따라서 성능과 정확성의 균형을 맞추고, 예측 가능한 결과와 다양한 프로덕션 시나리오에 대한 더 나은 지원을 보장하는 안정적인 recall 비율이 필요합니다.
recall 비율을 제어하는 것은 필수적이지만, 데이터 크기, 인덱싱 및 쿼리 매개변수, 데이터 분포, 심지어 topk 결과의 크기 등 다양한 요인의 영향을 받을 수 있기 때문에 복잡하기도 합니다. 대부분의 데이터베이스 시스템은 이 문제를 해결하기 위해 다음 두 가지 솔루션 중 하나를 사용합니다:
- 사용자가 매개변수를 제공하도록 허용: 유연하지만 도입하기 어렵습니다.
- 경험적 매개변수 제공: 사용하기 쉽지만 유연성이 떨어지며 서로 다른 데이터셋과 topk 요구 사항이 있는 상황을 정밀하게 제어할 수 없습니다.
Zilliz Cloud는 AutoIndex라는 더 간단하고 유연한 솔루션을 제공합니다. 이는 모델을 기반으로 실제 애플리케이션 사례를 분석하고 각 인덱싱 요청에 맞게 매개변수를 맞춤 설정합니다. 이 접근 방식은 안정적인 recall 비율을 보장하는 동시에 실제 애플리케이션에서 사용자의 요구 사항을 충족하는 뛰어난 성능을 제공합니다.
요약
Zilliz Cloud의 최신 업데이트는 기능과 성능 면에서 획기적인 개선을 이루었습니다. 이제 대규모 벡터 검색을 처리할 때 로켓 같은 속도를 자랑하며, 다른 벡터 데이터베이스를 크게 능가합니다.
Zilliz Cloud 시작하기
- 새로운 Starter Plan으로 무료로 시작하세요! 설치 번거로움 없이 시작할 수 있고 신용 카드가 필요 없는 훌륭한 플랜입니다!
- 또는 등록 시 $100 상당의 크레딧과 총 최대 $200 상당의 크레딧을 받을 수 있는 기회가 제공되는 Standard 플랜의 30일 무료 체험을 시작하세요.
- Zilliz Cloud 문서를 더 자세히 살펴보세요.
- Milvus에서 Zilliz Cloud로 마이그레이션하는 가이드를 확인하세요.
계속 읽기
Zilliz Cloud Now Available in AWS Europe (Ireland)
Zilliz Cloud launches in AWS eu-west-1 (Ireland) — bringing low-latency vector search, EU data residency, and full GDPR-ready infrastructure to European AI teams. Now live across 30 regions on five cloud providers.
Will Amazon S3 Vectors Kill Vector Databases—or Save Them?
AWS S3 Vectors aims for 90% cost savings for vector storage. But will it kill vectordbs like Milvus? A deep dive into costs, limits, and the future of tiered storage.
Vector Databases vs. Object-Relational Databases
Use a vector database for AI-powered similarity search; use an object-relational database for complex data modeling with both relational integrity and object-oriented features.