밀버스와 함께 멀티미디어 비즈니스를 혁신하는 Shopee
> 100M
벡터 저장소 임베딩 및 검색
원활한 통합
다양한 내부 시스템 및 기술 스택
향상된 실시간 데이터 검색
지연 시간 감소 및 시스템 가용성 향상
Milvus has dramatically facilitated the MMU team in building various business systems and effectively supports our rapid business growth. Thanks to the Milvus team for developing such a fantastic vector database with stable vector search capabilities and rich functionalities.
The MMU team
Shopee 소개
Shopee는 동남아시아 및 라틴 아메리카의 선도적인 이커머스 플랫폼으로, 다양한 제품에 걸쳐 구매자와 판매자 간의 격차를 해소합니다. 사용자 친화적인 인터페이스, 안전한 결제 옵션, 광범위한 제품군을 갖춘 Shopee는 수백만 명의 지역 사용자에게 원활한 온라인 쇼핑 경험을 제공하며 최고의 선택이 되고 있습니다.
Shopee는 멀티미디어 이해(MMU) 사업을 시작하여 TikTok과 같은 거대 쇼트 비디오 업체들과 경쟁하고 이커머스 시장 점유율을 잠식하는 것을 방지하고 있습니다. MMU 사업의 일환으로 Shopee는 TikTok과 유사한 기능인 Shopee 비디오와 짧은 비디오 애플리케이션을 포함한 짧은 비디오 서비스를 출시했습니다.
도전 과제: 방대한 양의 비정형 데이터를 위한 강력한 벡터 검색 엔진의 부재
급성장하는 멀티미디어 벤처인 Shopee는 비디오, 이미지, 오디오, 텍스트로 구성된 방대한 양의 비정형 데이터의 유입으로 인해 기존 데이터베이스로는 감당하기 어려운 큰 도전과제를 안게 되었습니다. 이러한 데이터에서 실행 가능한 인사이트를 효과적으로 도출하기 위해 Shopee의 팀은 임베딩 도구를 사용하여 비정형 데이터를 임베딩 벡터로 변환했지만, 이러한 벡터를 저장하고 신속하게 검색할 수 있는 강력한 벡터 데이터베이스 시스템이 절실히 필요했습니다.
비디오 리콜 시스템, 비디오 중복 제거 시스템, 비디오 추천 시스템 등 Shopee의 다양한 내부 시스템은 시나리오를 더욱 복잡하게 만들었습니다. 이러한 시스템은 Shopee의 멀티미디어 비즈니스를 관리하고 향상시키기 위해 세심하게 제작되었습니다. 이러한 내부 시스템은 서로 다른 기술로 구축되었으며 벡터 검색 기능에 크게 의존하고 있었습니다. 따라서 Shopee는 이러한 시스템과 다양한 기술 스택에 완벽하게 들어맞는 강력한 벡터 검색 엔진이 필요했습니다.
솔루션: Milvus를 사용한 벡터 검색 엔진 구축
MMU 팀은 강력한 솔루션을 찾기 위해 다양한 오픈 소스 벡터 검색 엔진을 엄격하게 탐색했습니다. 광범위한 연구 끝에 Milvus가 가장 적합한 것으로 나타났습니다. Milvus는 수십억 개의 벡터를 처리할 수 있으며 데이터 양이 증가함에 따라 빠르게 확장할 수 있습니다. Milvus의 클라우드 네이티브 아키텍처는 Shopee의 내부 에코시스템과 원활하게 통합되어 처음부터 벡터 검색 시스템을 빠르게 설정할 수 있습니다. 분산 처리, GPU 지원, 점진적 업데이트, 스칼라 지원 등 풍부한 기능으로 Shopee의 다각적인 요구 사항을 포괄적으로 해결했습니다. 신중한 검토 끝에, 팀은 처음부터 벡터 검색 시스템을 구축하기 위한 벡터 검색 엔진의 기반으로 Milvus를 선택했습니다.
Milvus 1.x로 구축된 검색 엔진: 효율적이지만 데이터 규모에 따라 지연 시간이 길어짐
Shopee의 MUU 팀은 처음에 Milvus 1.1과 Mishards를 사용하는 분산 솔루션을 사용하여 Milvus 1.x를 구현했습니다. 이 효율적인 솔루션은 방대한 양의 벡터를 저장하고 검색해야 하는 Shopee의 고충을 해결할 수 있었습니다. 하지만 Shopee의 비즈니스가 성장하면서 데이터와 요청이 급증함에 따라 문제가 발생했습니다. 미샤드의 기본 샤딩 전략은 때때로 읽기 전용 노드 간에 세그먼트가 고르지 않게 분산되어 지연 시간을 유발했습니다. 이에 대한 해결책은 여러 개의 미샤즈 클러스터, 공유 데이터베이스, S3 버킷을 배포하는 것이었습니다.
Milvus 2.x: 확장성 향상과 지연 시간 단축을 가져오는 게임 체인저
Milvus 1.x로 구축된 검색 엔진은 효과적이었지만 이 접근 방식은 상당한 배포 및 유지보수 비용이 발생하여 팀은 보다 효율적인 배포 방법을 모색하게 되었습니다.
Milvus 2.x를 도입하면서 Shopee의 시스템은 획기적인 변화를 겪었습니다. Milvus 2.x의 향상된 안정성, 확장성 및 다중 복제 기능은 혁신적인 것으로 입증되었습니다. 이러한 개선은 실시간 검색 서비스를 강화하여 짧은 지연 시간과 높은 가용성을 보장했습니다. Milvus 2.x의 클라우드 네이티브 아키텍처는 저비용 로깅 및 모니터링 기능을 도입하여 Shopee에 사용자 친화적이고 효율적인 솔루션의 시대를 열었습니다.
Milvus 2.x 아키텍처
다양한 비즈니스 시스템을 지원하는 Milvus
밀버스 통합으로 쇼피의 실시간 검색 기능은 새로운 차원에 도달했습니다. 비디오 리콜 시스템은 이러한 개선의 대표적인 예입니다. Milvus는 즉각적인 동영상 리콜 기능을 Shopee의 동영상 추천 시스템에 원활하게 통합하여 전 세계 수백만 명의 사용자 경험을 향상시켰습니다. 또한 Milvus는 저작권 비디오 매칭 및 비디오 중복 제거에 중요한 오프라인 데이터 검색을 훨씬 더 효율적으로 만들었습니다. Milvus는 원본 콘텐츠를 인식하고 중복 동영상을 식별하여 콘텐츠의 신선함과 독창성을 유지하면서 사용자 만족도를 향상시키는 데 중요한 역할을 합니다.
비디오 리콜 시스템: 동영상 추천 개선
쇼피의 동영상 리콜 시스템은 동영상 추천 프로세스의 초석으로 Milvus를 사용합니다. 사용자가 동영상을 검색하면 비즈니스는 Milvus에 액세스를 요청하여 가장 유사한 Top-K 후보를 검색합니다. 이러한 결과는 사용자에게 반환되기 전에 사후 순위 알고리즘을 통해 정제 과정을 거칩니다.
Milvus 1.x를 활용한 동영상 리콜 시스템 아키텍처
처음에 쇼피는 Milvus 1.x 버전을 사용하여 비디오 리콜 시스템을 구축했습니다. 하지만 시스템이 확장되면서 지연 시간 문제에 직면했습니다. 이 문제를 해결하기 위해 Shopee는 Top-K 및 백엔드 업데이트를 저장하는 캐싱 메커니즘을 도입했습니다. Milvus 2.x로 업그레이드하면서 시스템의 아키텍처와 운영이 간소화되어 Milvus의 강력한 분산 인터페이스를 통해 직접 Top-K 리콜 기능을 구현하고 시스템 성능을 향상시킬 수 있게 되었습니다.
Milvus 2.x를 사용한 비디오 리콜 시스템 아키텍처
저작권 일치 시스템: 사용자 경험 및 시스템 무결성 향상
쇼피의 짧은 동영상 서비스가 점점 인기를 얻으면서 많은 수의 동영상이 제작되어 플랫폼에 업로드되고 있습니다. 우수한 사용자 경험을 유지하고 동영상 제작자의 저작권을 보호하기 위해 Shopee는 Milvus를 사용하여 저작권 일치 시스템을 구현했습니다. 공개된 모든 동영상은 벡터로 변환되어 밀버스에 저장되며, 새로 업로드되는 모든 동영상은 유사도 검색을 통해 밀버스에서 보유하고 있는 동영상과 매칭됩니다.
저작권 매칭 시스템 아키텍처
이 방법은 전처리, 특징 추출, 결과 정렬, 재검색의 네 가지 필수 모듈로 구성됩니다. 이러한 모듈은 함께 작동하여 중복되거나 도용된 콘텐츠를 정확하게 식별하여 시스템의 무결성과 신뢰성을 보장합니다.
비디오 중복 제거 시스템: 사용자 가치 향상
비디오 중복 제거 시스템은 Shopee의 비디오 플랫폼에서 중복 콘텐츠를 제거하도록 설계되었습니다. Shopee의 저작권 일치 시스템과 마찬가지로, 중복 제거 시스템은 Milvus를 사용하여 비디오 기능에서 변환된 임베딩 벡터를 저장합니다. 이 시스템은 Milvus에서 특정 부분과 가장 유사한 Top-K 결과를 검색하여 중복 동영상을 효율적으로 식별하고 제거합니다. 이 시스템에는 Top-K 유사도 검색 외에도 일괄 데이터 검색, 포스트 랭킹, 클러스터링, 지문 할당과 같은 다른 처리 기술이 포함됩니다. 결국 Milvus는 이러한 모든 결과를 저장하여 다양한 비즈니스 부서에 귀중한 인사이트를 제공합니다.
영상 중복제거 시스템 아키텍처
앞으로의 길
Shopee와 Milvus의 협업은 이커머스의 미래를 형성하는 혁신의 힘을 입증하는 사례입니다. Milvus는 멀티미디어 이해의 복잡성을 풀어내는 데 필요한 도구를 제공함으로써 Shopee의 멀티미디어 비즈니스에 힘을 실어주었습니다. 앞으로 Shopee는 점점 더 정교해지는 AI 수요를 충족하기 위해 Milvus가 진화할 것으로 예상하고 있습니다. 밀버스를 확고한 파트너로 삼아 멀티미디어 이해가 사용자 경험과 원활하게 통합되어 이커머스의 새로운 길을 개척하는 미래를 기대합니다.
*이 게시물은 Shopee MMU 팀이 작성했으며 허가를 받아 여기에 편집 및 게시되었습니다.