블로그
Milvus 성능 평가 2023

Milvus 성능 평가 2023

Mar 18, 20232 min read

Zilliz에서 개발자들은 종종 저희에게 이렇게 묻습니다: "임베딩 워크로드에서 Milvus는 이전 버전들과 비교해 어떤가요?" 여기에는 두 가지 주요 이유가 있습니다. 첫째, 새 프로젝트를 시작하는 개발자들은 최신 기능을 이용하기 위해 최신 소프트웨어 버전을 사용하고 싶어 하지만, 성능 저하에 대한 우려 때문에 망설일 수 있습니다. 둘째, 현재 사용자들 역시 성능에 대한 우려가 있을 수 있으며, 새로운 기능이 매력적일 때만 업그레이드할 것입니다.

이러한 우려를 완화하기 위해, Milvus v2.2.3과 Milvus 2.2.0 및 Milvus v2.0.0을 비교하여 잘 알려진 네 가지 데이터셋(DEPP, GIST, GloVe, SIFT)에서 검색 지연 시간과 처리량을 비교한 최신 벤치마크를 공유하고자 합니다. 벤치마크 결과 Milvus v2.2.3은 v2.2.0과 v2.0.0보다 뛰어난 성능을 보였으며, 검색 및 인덱싱 속도를 크게 향상했습니다. 구체적으로, Milvus 2.2.3에서는 최초 Milvus 2.0.0 릴리스와 비교해 검색 지연 시간이 2.5배 감소했습니다. 또한 동일한 환경에서 테스트한 결과, Milvus 2.2.3은 2.0.0 대비 QPS가 4.5배 증가했습니다.

저희는 이 데이터가 유사도 검색 사용 사례에 최신 Milvus 버전이 적합한지 평가하는 엔지니어들에게 유용할 것이라고 생각했습니다; "Milvus Performance Evaluation 2023" 기술 문서를 다운로드하여 방법론과 평가 결과를 읽어보세요.

저희의 최우선 목표는 최신 Milvus 개발 사항을 반영하는 일관되고 최신의 비교를 만드는 것이었습니다. 저희는 정기적으로 이러한 벤치마크와 기타 벡터 데이터베이스 벤치마크를 다시 실행하고, 그 결과를 상세 기술 문서에 업데이트할 예정입니다. 이러한 벤치마크의 모든 코드는 Github에서 확인할 수 있습니다. 질문, 의견 또는 제안이 있다면 해당 repository에 자유롭게 이슈를 열거나 풀 리퀘스트를 보내주세요.

테스트한 버전

Milvus v2.2.3 | 릴리스 날짜: 2023년 2월 10일
Milvus v2.2.2 | 릴리스 날짜: 2022년 11월 18일
Milvus v2.0.0 | 릴리스 날짜: 2022년 1월 25일

저희는 대표적인 벤치마크 제품군을 구축하기 위해 임베딩 작업에서 가장 일반적으로 평가되는 특성을 식별했습니다. 다음 항목 전반의 성능을 살펴보았습니다:

쿼리 지연 시간 – 밀리초 단위로 측정
QOS – 초당 쿼리 수
지연 시간 vs. 처리량
10억 규모에서의 확장성
다중 복제본에서의 확장성

데이터셋 소개

또한 벤치마크에는 여섯 개의 데이터셋이 사용되었습니다:

ann-benchmarks의 네(4) 개 데이터셋은 서로 다른 Milvus 버전의 검색 성능을 평가하는 데 사용되었습니다.
두(2) 개의 10억 규모 데이터셋(BIGANN 및 LAION의 LAION-5B)은 Milvus 2.2.3의 확장성을 평가하는 데 사용되었습니다.

결과

ANN 검색 지연 시간

Milvus 2.2.3에서 최초 Milvus 2.0.0 릴리스와 비교해 검색 지연 시간이 2.5배 감소했습니다. Milvus 2.0.0, 2.2.0 및 2.2.3의 검색 지연 시간.png

ANN 검색 처리량

Milvus 2.2.3은 2.0.0 대비 QPS가 4.5배 증가했습니다. Milvus 2.0.0, 2.2.9 및 2.2.3의 QPS.png

10억 규모

확장된 Milvus 2.2.3 클러스터는 검색 지연 시간과 QPS 모두에서 성능 저하가 거의 없었습니다. 다양한 클러스터 크기의 지연 시간 및 QPS | Milvus.png

다중 복제본 (선형 확장성)

Milvus 2.2.3은 여러 복제본을 사용할 때 선형 확장성을 보였습니다. 복제본 수가 두 배가 될 때의 지연 시간 및 QPS | Milvus.png

요약

개발자들이 선택한 환경과 데이터 세트에서 결과를 독립적으로 검증하기 위해 이 벤치마크를 실행해 볼 것을 적극 권장합니다.

다음 단계는?

자세한 기술 문서 다운로드: "Milvus Performance Evaluation 2023."
Zilliz Cloud에 Sign Up하고 시작하기.
Slack Community에서 함께하세요!

Jul 13, 2026에 업데이트됨

Chris Churilo
Chris Churilo is the VP of Marketing & Community at Zilliz where she leads all community, developer relations, and marketing efforts. Prior to Zilliz, Chris was a founding member of the InfluxData’s go to market efforts and helped propel the time series database platform to dominance in the market. In earlier roles she defined and designed a SaaS monitoring solution at Centroid, and prior to that she was the VP of product management at iPass and was the LOB for several cloud services that required her to track the business and operational metrics and analytics to help identify and resolve issues.

계속 읽기

Introducing Functions and Model Inference on Zilliz Cloud: Automatic Embedding and Reranking with Hosted Models

Zilliz Cloud Functions auto-generate embeddings via OpenAI, Voyage AI, Cohere, or Zilliz Hosted Models. Built-in reranking — just insert text and search.

How to Improve Retrieval Quality for Japanese Text with Sudachi, Milvus/Zilliz, and AWS Bedrock

Learn how Sudachi normalization and Milvus/Zilliz hybrid search improve Japanese RAG accuracy with BM25 + vector fusion, AWS Bedrock embeddings, and practical code examples.

Announcing VDBBench 1.0: Open-Source VectorDB Benchmarking with Your Real-World Production Workloads

Discover VDBBench 1.0, an open-source tool for benchmarking vector databases with real-world production data, streaming ingestion, and concurrent workloads.