NAVER가 Milvus로 대규모 검색과 추천을 재창조하는 방법
대규모 환경에서 <20ms 지연 시간
5천만 개 이상의 엔터티에서 5K QPS를 지원하며 응답 시간은 20ms 미만입니다.
멀티모달 검색
텍스트, 이미지, 동영상, 오디오 전반에서 검색 및 추천을 지원합니다.
하이브리드 검색 아키텍처
대화형 쿼리를 위한 키워드 정밀도와 의미론적 벡터 검색을 결합합니다.
엔터프라이즈 신뢰성
분산 확장성과 고가용성은 항상 켜져 있는 서비스를 보장합니다.
Among Milvus's rich vector search capabilities, features such as support for multiple ANN index types, multi-vector support, and hybrid search have proven especially valuable in real-world service environments. As Milvus continues to evolve with new capabilities, NAVER expects even broader applications across its services.
NAVER Engineering Team
NAVER 소개
NAVER는 대한민국을 대표하는 인터넷 플랫폼 기업으로, 국내 검색 시장의 절반 이상을 차지하며 매일 수천만 명의 사용자를 보유하고 있습니다. NAVER의 생태계는 한국에서 가장 널리 사용되는 검색 엔진, 뉴스, 블로그, 온라인 커뮤니티, 그리고 전 세계적으로 인기 있는 NAVER Webtoon에 걸쳐 있습니다. 콘텐츠를 넘어, NAVER는 NAVER Shopping으로 이커머스를 이끌고, Npay를 통해 디지털 결제를 지원하며, 헬스케어 정보 서비스를 제공합니다.
NAVER 성공의 핵심에는 플랫폼 전반에서 원활한 탐색과 참여를 가능하게 하는 고도화된 검색 및 추천 기술이 있습니다. 사용자의 요구가 키워드 기반 검색에서 자연어 질의와 멀티모달 콘텐츠로 이동함에 따라, NAVER는 이러한 새로운 탐색의 시대를 지원하기 위해 벡터 검색을 도입했습니다. 고성능 오픈 소스 벡터 데이터베이스인 Milvus는 NAVER의 주요 서비스 전반에 널리 배포되어 확장 가능한 멀티모달 검색, 추천, 요약을 제공합니다.
키워드 기반 검색의 성장통
수년간 NAVER의 검색 인프라는 역색인 기반 텍스트 매칭에 의존해 왔습니다. 이러한 시스템은 정확한 키워드 매칭에는 강점을 보였지만, 사용자가 더 대화형이고 자연어에 가까운 상호작용을 기대하기 시작하면서 한계를 드러냈습니다. “아이가 열이 나고 밥을 안 먹으면 어떻게 해야 하나요?” 또는 “$100 미만의 편안한 러닝화” 같은 질의는 의미적 이해를 필요로 하며, 이는 키워드 검색으로는 제공할 수 없습니다.
사용자 행동 또한 이미지, 오디오, 동영상과 같은 멀티모달 콘텐츠로 이동하고 있었습니다. NAVER의 기존 검색 시스템은 이러한 입력을 처리하거나 개인화 추천, 요약, 문맥 기반 검색과 같은 고급 기능을 지원하는 데 어려움을 겪었습니다.
이러한 과제를 해결하기 위해 NAVER는 대규모의 멀티모달 및 비정형 데이터를 처리할 수 있는 새로운 벡터 검색 솔루션이 필요했습니다. 50% 이상의 점유율을 가진 대한민국 검색 시장의 선도 기업으로서, NAVER는 자사의 규모와 책임에 모두 부합하는 플랫폼을 필요로 했습니다. 규모를 넘어, NAVER의 각 서비스는 엔터티 크기, 컬렉션 규모, QPS, 지연 시간에 대해 서로 다른 요구사항을 가지고 있었습니다. 새로운 솔루션은 포트폴리오 전반에서 폭넓게 작동해야 했으며, 여러 팀이 채택할 수 있도록 통합 관리, 모니터링, 유연한 API를 제공해야 했습니다. 더 구체적으로, NAVER는 다음을 요구했습니다:
초저지연: 예를 들어, 한 서비스는 5K QPS에서 5천만 개 엔터티를 대상으로 검색해야 하며, 응답 시간은 20ms 미만이어야 합니다.
분산 확장성: 트래픽 급증 시에도 원활하게 확장할 수 있는 능력으로, 한국 검색의 절반 이상을 지원하는 플랫폼에 필수적입니다.
운영 안정성: 고가용성과 강력한 장애 허용성을 갖춘 상시 가동 서비스.
광범위한 적용 가능성: 다양한 엔터티 크기, 컬렉션 규모, QPS, 지연 시간 요구사항을 가진 여러 사용 사례를 포괄할 수 있는 유연성.
사용성: 통합 관리, 모니터링, 유연한 API를 통해 여러 서비스 팀이 쉽게 채택할 수 있어야 합니다.
솔루션: Milvus Vector Database로 검색 아키텍처 혁신
NAVER의 엔지니어링 팀은 벡터 데이터베이스 솔루션에 대한 광범위한 평가에 착수했습니다. 평가 과정에서는 엔터프라이즈 규모 워크로드에서의 성능, 안정성 및 장애 허용 역량, 다양한 서비스 아키텍처 전반의 통합 용이성, 커뮤니티 지원, 장기적인 지속 가능성을 포함한 여러 요소가 고려되었습니다.
Milvus는 고부하 프로덕션 환경에서 검증된 안정성과 풍부한 벡터 검색 기능으로 인해 명확한 선택지로 떠올랐습니다. 이 데이터베이스의 다양한 ANN 인덱스 유형 지원, 멀티 벡터 지원, 하이브리드 검색 기능은 NAVER의 요구사항과 완벽하게 부합했습니다. 또한 Milvus는 배포 전반의 통합 관리 및 모니터링, 다양한 통합 패턴을 지원하는 유연한 API, 지속적인 혁신을 뒷받침하는 강력한 커뮤니티를 포함하여 NAVER가 필요로 하는 운영상의 이점을 제공했습니다.
Milvus를 도입한 후 NAVER는 이 벡터 데이터베이스를 여러 서비스에 걸쳐 배포하여, 시스템이 대화형 사용자 쿼리를 이해하고 응답하는 방식을 근본적으로 바꾼 통합 벡터 검색 인프라를 구축했습니다. 기존의 키워드 기반 시스템을 완전히 대체하기보다는, 전통적인 검색의 정확성과 벡터 검색의 의미론적 이해를 결합한 하이브리드 접근 방식을 만들었습니다.
이 아키텍처는 검색 개선뿐만 아니라 완전히 새로운 범주의 기능까지 지원할 수 있는 기반을 마련했습니다. 쿼리 재작성 기능은 사용자 입력을 의미적으로 유사하면서도 더 높은 품질의 검색으로 자동 변환하여 더 관련성 높은 결과를 반환합니다. 자연어 처리를 통해 사용자는 적절한 키워드를 추측해야 하는 대신 대화형 언어로 검색할 수 있습니다. 무엇보다도 이제 시스템은 단순한 문자 그대로의 텍스트 일치가 아니라 사용자의 의도와 맥락을 고려합니다.
비즈니스 영향: 검색에서 인텔리전스로
Milvus를 통해 NAVER는 자연어 쿼리 처리 개선을 넘어 여러 서비스 전반에서 더 풍부하고 지능적인 기능을 구현할 수 있게 되었습니다. 한 가지 예는 사용자 리뷰와 블로그 콘텐츠를 결합해 지능형 요약을 제공하는 NAVER의 AI Briefing입니다. 이를 통해 사용자는 여러 출처를 일일이 읽지 않고도 주제에 대한 종합적인 개요를 얻을 수 있습니다.
NAVER Healthcare에서는 그 영향이 특히 극적으로 나타났습니다. 이제 자연어 증상 검색은 정확한 키워드 일치가 아니라 의미론적 이해를 기반으로 의학적으로 관련성 높은 결과를 반환합니다. 이는 건강 관련 쿼리에 대한 사용자 경험을 크게 향상시킵니다.
NAVER Shopping은 상품 탐색에서 완전한 변화를 경험했습니다. 벡터 검색을 통해 플랫폼은 이제 의미론적 유사성을 기반으로 유사 상품을 추천하고, 장바구니 내용, 위시리스트 항목, 구매 이력, 검색 패턴, 심지어 대화 데이터까지 통합하는 개인화 엔진을 활용합니다. 이를 통해 사용자는 특정 이름이나 카테고리를 알지 못하더라도 자연어로 상품을 설명하고 자신이 찾는 것을 정확히 발견할 수 있습니다. NAVER에게 이러한 기능은 더 관련성 높은 추천, 더 매끄러운 상품 탐색, 그리고 더 높은 전환율, 참여 증가, 플랫폼 체류 시간 증가를 포함한 측정 가능한 비즈니스 이점으로 이어집니다.
뉴스 플랫폼은 기존 콘텐츠 관리 시스템에 정교한 벡터 검색 기능을 확장했습니다. 이 개선을 통해 문장 수준 유사성을 기반으로 중복 기사를 자동 감지하고 제거할 수 있어 플랫폼 전반의 중복성이 줄어듭니다. 또한 관련 기사 추천을 위한 의미론적 매칭을 구동하여, 정확한 키워드가 일치하지 않더라도 사용자가 주제적으로 관련된 기사에 계속 참여할 수 있도록 돕습니다.
결론
Milvus를 도입함으로써 NAVER는 키워드 기반 검색의 한계를 넘어 진정한 의미론적 및 멀티모달 경험을 제공하게 되었습니다. 이러한 전환은 사용자 만족도를 향상시켰을 뿐만 아니라 완전히 새로운 서비스 기회를 위한 토대도 마련했습니다.
이제 더 많은 NAVER 팀들이 이 기반 위에서 구축하고 있으며, 벡터 검색을 적용해 추천, 요약, 개인화 및 기타 고급 기능을 구동하고 있습니다. Milvus가 계속 발전함에 따라, 이 검색 선도 기업은 사용 사례가 더욱 확장되어 대규모 검색 및 추천 시스템 분야의 리더로서 입지를 강화할 것으로 기대하고 있습니다.
앞으로 NAVER의 비전은 모든 플랫폼 전반에서 검색, 추천, 콘텐츠가 개인화되고 직관적으로 느껴지는 매끄러운 발견 생태계를 만드는 것입니다. 확장 가능한 기반인 Milvus를 통해 NAVER는 더 빠르게 혁신하고, 사용자에게 더 큰 가치를 제공하며, 지능형 정보 서비스의 미래를 계속 만들어갈 수 있습니다.