Sohu가 Milvus로 개인화 뉴스 추천을 향상시키는 방법
빠르게 변화하는 인터넷 서비스 세계에서 사용자 기대보다 앞서 나가는 것은 매우 중요합니다. NASDAQ 상장 기업인 Sohu는 이러한 필요성을 인식하고 오픈 소스 벡터 데이터베이스인 Milvus와의 전략적 협업을 통해 뉴스 추천 시스템을 개편했습니다. 이 블로그에서는 Sohu News(Sohu의 주요 부문)가 직면한 과제, 구현된 혁신적인 솔루션, 그리고 Milvus가 Sohu News의 추천 시스템에 미친 혁신적인 영향을 살펴봅니다.
Sohu의 뉴스 전달 문제
앞서 나가는 것의 중요성을 인정했음에도 불구하고, Sohu News는 추천 시스템 내의 오래되고 비효율적인 레거시 벡터 검색 스택에 제약을 받고 있었습니다. 이 오래된 스택은 빠른 벡터 검색을 방해했고, 증가하는 뉴스 데이터 규모에 맞춰 원활하게 확장하는 데 어려움을 겪었으며, 그 결과 사용자에게 실시간 개인화 뉴스를 제공하지 못했습니다. 문제를 더욱 복잡하게 만든 것은 제한된 정보로 알려진 짧은 텍스트 뉴스 기사의 분류였습니다. 기존 시스템은 이러한 간결한 스니펫을 정확하게 분류하는 데 어려움을 겪어 빈번한 오분류로 이어졌습니다.
대규모 데이터셋을 처리하고, 정확한 추천을 제공하며, 짧은 텍스트 뉴스의 분류를 개선하기 위한 강력한 솔루션의 필요성을 인식한 Sohu News 팀은 뉴스 전달 분야의 리더로 자리매김하기 위한 혁신적인 접근 방식을 찾기 시작했습니다.
Milvus 벡터 데이터베이스가 해결책으로 나서다
번개처럼 빠른 성능과 높은 재현율로 알려진 Milvus는 방대한 양의 비정형 데이터를 처리하기 위한 이상적인 솔루션임이 입증되었습니다. FLAT, HNSW, ScaNN을 포함한 다양한 인덱스를 지원하는 Milvus는 정확도, 성능, 비용의 균형을 맞출 수 있는 유연성을 제공했습니다. 신중한 평가 끝에 Sohu News 팀은 추천 시스템을 위한 벡터 검색 엔진을 구축하기 위해 Milvus를 선택했습니다.
Milvus와 Sohu의 뉴스 추천 시스템 통합
Sohu News는 Milvus를 추천 시스템에 원활하게 통합하고 Milvus 기반 벡터 검색 엔진 내에서 듀얼 타워 구조를 사용합니다. 각 타워는 사용자의 선호도와 뉴스 기사의 의미 벡터를 나타냅니다.
뉴스 기사는 BERT-as-service 모델을 사용하여 벡터로 변환되어 Milvus 벡터 데이터베이스에 저장되었습니다. 동시에, 탐색 기록, 검색 쿼리, 관심사에서 나온 라벨 태그와 키워드로 구성된 사용자 프로필도 벡터로 변환되었습니다. 그런 다음 Milvus는 사용자 벡터와 기사 벡터 간의 코사인 유사도를 계산하고 추천 풀에서 Top-K 결과를 생성하여, 예상 클릭률(CTR)을 기반으로 기사의 우선순위를 정하고 전달합니다.
Milvus로 짧은 뉴스 오분류 해결
짧은 텍스트 뉴스 기사는 제한된 정보를 포함하므로, 시스템은 벡터 의미 검색을 수행하기 전에 이를 사전 분류합니다. Milvus는 잘못 분류된 짧은 뉴스를 식별하고 수정하는 데 중요한 역할을 하며, 분류 정확도를 향상시킵니다. 이 과정에는 BERT-as-service 임베딩 모델을 사용하여 긴 뉴스 기사와 짧은 뉴스 기사를 벡터로 변환하고, 이를 Milvus에 저장하며, 두 유형의 벡터 간 코사인 유사도를 계산하는 작업이 포함됩니다. 다음으로, Milvus는 코사인 유사도가 가장 높은 상위 20개의 긴 뉴스 기사를 반환합니다.
이후 분석에서는 질의된 짧은 뉴스와 의미적으로 가장 유사한 이 20개의 긴 뉴스 기사의 카테고리를 검토합니다. 이 기사들 중 18개 이상이 일관된 카테고리를 공유하지만 질의된 짧은 뉴스에 할당된 카테고리와 다르다고 가정해 보겠습니다. 이 경우 이는 짧은 뉴스 카테고리 분류에 잠재적인 오류가 있음을 나타냅니다. 팀은 이러한 오류를 즉시 수정하여 95%를 초과하는 분류 정확도를 달성했으며, 이 과정에서 Milvus의 효과를 보여주었습니다.
Sohu News 추천 시스템에 미친 혁신적 영향
Sohu와 Milvus의 협업은 인상적인 결과를 가져왔습니다. 추천 시스템은 벡터 검색 속도를 10배 향상시켰으며 추천 정확도도 크게 개선했습니다. Milvus의 주요 인덱스 지원과 효율적인 메모리 사용은 Sohu의 운영 요구 사항과 원활하게 부합하여, 더욱 개인화되고 몰입도 높은 사용자 경험을 보장했습니다.
결론
Sohu와 Milvus의 협업은 고급 벡터 검색 기술이 지닌 혁신적 힘을 보여주는 증거입니다. 벡터 검색 속도, 추천 정확도, 짧은 텍스트 뉴스 분류의 과제를 해결함으로써 Milvus는 Sohu News를 혁신의 새로운 시대로 이끌었고, 사용자에게 더욱 개인화되고 몰입도 높은 뉴스 경험을 제공했습니다.
계속 읽기
A Developer's Guide to Exploring Milvus 2.6 Features on Zilliz Cloud
Milvus 2.6 marks a shift from “vector search + glue code” to a more advanced retrieval engine, and it is now Generally Available (GA) on Zilliz Cloud (a managed Milvus service).
Zilliz Cloud Enterprise Vector Search Powers High-Performance AI on AWS
Zilliz Cloud on AWS powers secure, scalable, ultra-fast vector search for enterprise AI apps, with BYOC, sub-10ms latency, and zero-DevOps simplicity.
VidTok: Rethinking Video Processing with Compact Tokenization
VidTok tokenizes videos to reduce redundancy while preserving spatial and temporal details for efficient processing.