사용자 경험 최적화: BIGO, 중복 동영상 제거에 Milvus 활용
짧은 동영상 공유 플랫폼은 우리 일상생활의 필수적인 부분이 되었습니다. BIGO가 소유한 글로벌 짧은 동영상 플랫폼 Likee에는 매일 수백만 개의 짧은 동영상이 업로드됩니다. 하지만 매일 엄청난 수의 새 동영상이 올라오면서 중복 동영상 문제는 콘텐츠 품질과 전반적인 사용자 경험에 위협이 되고 있습니다. 이 문제를 해결하기 위해 BIGO는 오픈 소스 벡터 데이터베이스인 Milvus를 사용하여 동영상 중복 제거 시스템을 혁신했습니다.
이 글에서는 BIGO가 직면한 구체적인 과제, 회사가 동영상 중복 제거 시스템을 구동하기 위해 Milvus 벡터 데이터베이스를 선택한 이유, 그리고 Milvus가 어떻게 해결책이 되었는지에 대해 설명합니다.
중복 동영상의 급증은 열악한 사용자 경험으로 이어집니다
4억 명을 넘는 인상적인 사용자 기반을 갖춘 Likee에는 매일 수백만 개의 새 동영상이 업로드됩니다. 그러나 새로운 콘텐츠의 확산은 특히 중복 동영상이라는 형태로 고유한 과제를 수반합니다. 이러한 급증은 고품질 콘텐츠 추천과 사용자 친화적인 경험을 유지하는 데 위협이 되며, 다른 창작자의 지적 재산권을 침해할 가능성에 대한 우려도 제기합니다.
과거 Likee는 유사도 검색 및 클러스터링 라이브러리인 FAISS를 사용하여 이 문제를 해결했습니다. 처음에는 효과적이었지만, FAISS는 방대한 벡터를 관리하고 저장해야 하는 중대한 과제에 직면했을 때 한계를 드러냈습니다. 이러한 한계는 느린 쿼리 응답과 제한된 처리량으로 이어졌습니다. 따라서 Likee 팀은 급증하는 중복 동영상을 신속하게 식별하고 제거할 수 있는 더 효율적인 기술을 찾기 시작했습니다.
Milvus: 변화를 이끄는 촉매제
Likee는 더 효율적인 솔루션을 찾는 과정에서 10억 규모의 임베딩 벡터를 저장, 인덱싱, 쿼리하도록 설계된 오픈 소스 벡터 데이터베이스인 Milvus를 선택했습니다. 그 영향은 그야말로 혁신적이었습니다. Milvus는 Likee의 중복 제거 시스템에 초고속 유사도 검색 기능을 주입하여 높은 재현율을 유지하면서도 중복 동영상 검색을 200밀리초 이내에 완료했습니다. 또한 Likee는 Milvus의 확장성 덕분에 벡터 쿼리 처리량이 향상되고 작업 효율이 높아지는 이점을 얻었습니다.
Milvus로 Likee의 중복 동영상 해결하기
Likee 중복 제거 시스템의 변화는 매우 흥미롭습니다. 새로 업로드된 동영상은 정교한 변환 과정을 거칩니다. 프레임으로 잘리고, 특징 벡터로 변환된 다음, 기존 콘텐츠에 해당하는 7억 개 이상의 벡터를 보유한 방대한 데이터베이스와 정교하게 매칭됩니다. 이 복잡한 과정은 동영상을 Kafka에 저장하고, 딥러닝 모델을 통해 동영상을 벡터 임베딩으로 변환하며, Milvus로 임베딩을 인덱싱하고, 회수된 결과를 Ceph에 저장하는 첨단 기술들의 안무와도 같습니다. 더 나은 동영상 매칭을 위해 벡터 임베딩에 해당하는 동영상 ID는 두 관계형 데이터베이스인 TiDB 또는 Pika에서 관리됩니다.
Likee 중복 제거 시스템의 아키텍처
Milvus로 Likee의 유사도 검색 여정 강화하기
Milvus는 Likee의 유사도 검색 과정에 새로운 수준의 효율성을 제공합니다. Milvus는 배치 검색을 수행하여 새 동영상의 각 특징 벡터와 유사한 상위 100개 벡터를 회수합니다. 그런 다음 시스템은 동영상 ID를 비교하고, 남은 동영상의 특징 벡터를 검색하며, 검색된 동영상 특징 벡터와 쿼리 동영상 특징 벡터 간의 유사도를 점수화하여 중복 동영상을 식별하고 제거합니다.
Milvus가 Likee의 유사도 검색을 돕는 방식
협업의 지평을 향하여
Likee의 비디오 중복 제거 시스템을 개선하는 데 거둔 Milvus의 성공은 BIGO와 Milvus 간의 더 폭넓은 협업을 위한 발판을 마련합니다. BIGO의 소프트웨어 엔지니어인 Xinyang Guo는 콘텐츠 모더레이션, 제한 및 맞춤형 비디오 서비스로 Milvus의 역량을 확장하는 것을 구상하고 있습니다. BIGO와 Milvus 간의 시너지는 상호 이익이 되는 여정을 약속하며, 두 주체 모두 지속적인 성장과 번영을 이룰 준비가 되어 있습니다.
결론적으로, Milvus는 BIGO의 Likee를 효율성과 사용자 만족의 새로운 시대로 이끄는 원동력으로 부상하고 있습니다. 파트너십이 발전함에 따라, 복잡한 과제를 해결한 Milvus의 성공 사례는 디지털 환경의 복잡성을 헤쳐 나가고 극복할 수 있는 오픈소스 기술의 잠재력을 잘 보여줍니다.
계속 읽기
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).
Zilliz Cloud Delivers Better Performance and Lower Costs with Arm Neoverse-based AWS Graviton
Zilliz Cloud adopts Arm-based AWS Graviton3 CPUs to cut costs, speed up AI vector search, and power billion-scale RAG and semantic search workloads.
Building RAG Pipelines for Real-Time Data with Cloudera and Milvus
explore how Cloudera can be integrated with Milvus to effectively implement some of the key functionalities of RAG pipelines.