Как NAVER переосмысливает поиск и рекомендации в масштабе с помощью Milvus
Задержка <20ms в масштабе
Поддерживает 5K QPS для 50M+ сущностей со временем отклика менее 20 мс.
Мультимодальный поиск
Обеспечивает поиск и рекомендации по тексту, изображениям, видео и аудио.
Архитектура гибридного поиска
Сочетает точность ключевых слов с семантическим векторным поиском для разговорных запросов.
Надёжность корпоративного уровня
Распределённая масштабируемость и высокая доступность обеспечивают постоянную работу сервиса.
Among Milvus's rich vector search capabilities, features such as support for multiple ANN index types, multi-vector support, and hybrid search have proven especially valuable in real-world service environments. As Milvus continues to evolve with new capabilities, NAVER expects even broader applications across its services.
NAVER Engineering Team
О NAVER
NAVER — ведущая интернет-платформенная компания Южной Кореи, занимающая более половины национального рынка поиска и имеющая десятки миллионов ежедневных пользователей. Ее экосистема охватывает самую широко используемую поисковую систему Кореи, новости, блоги, онлайн-сообщества и глобально популярный NAVER Webtoon. Помимо контента, NAVER развивает электронную коммерцию с NAVER Shopping, обеспечивает цифровые платежи через Npay и предоставляет сервисы медицинской информации.
В основе успеха NAVER лежат передовые технологии поиска и рекомендаций, которые обеспечивают удобное обнаружение контента и вовлечение на всех ее платформах. По мере того как потребности пользователей сместились от поиска по ключевым словам к запросам на естественном языке и мультимодальному контенту, NAVER обратилась к векторному поиску, чтобы поддержать эту новую эру обнаружения. Milvus, высокопроизводительная векторная база данных с открытым исходным кодом, широко развернута в ключевых сервисах NAVER для обеспечения масштабируемого мультимодального поиска, рекомендаций и суммаризации.
Болезни роста поиска на основе ключевых слов
На протяжении многих лет поисковая инфраструктура NAVER полагалась на сопоставление текста на основе инвертированного индекса. Хотя такие системы хорошо справлялись с точным сопоставлением ключевых слов, они начали испытывать трудности, когда пользователи стали ожидать более разговорного взаимодействия на естественном языке. Запросы вроде «Что делать, если у моего ребенка температура и он не ест?» или «удобные кроссовки для бега дешевле $100» требуют семантического понимания, которого поиск по ключевым словам обеспечить не может.
Поведение пользователей также смещалось в сторону мультимодального контента, такого как изображения, аудио и видео. Существующим поисковым системам NAVER было сложно обрабатывать такие входные данные или поддерживать расширенные функции, такие как персонализированные рекомендации, суммаризация и контекстный поиск.
Чтобы решить эти проблемы, NAVER требовалось новое решение для векторного поиска, способное работать с мультимодальными и неструктурированными данными в огромном масштабе. Как лидер поискового рынка Южной Кореи с долей более 50%, NAVER нуждалась в платформе, соответствующей как ее масштабу, так и ответственности. Помимо масштаба, разные сервисы NAVER имели различные требования к размерам сущностей, масштабам коллекций, QPS и задержке. Любое новое решение должно было широко работать во всем портфеле, с единым управлением, мониторингом и гибкими API для внедрения несколькими командами. В частности, NAVER требовалось:
Сверхнизкая задержка: например, один сервис должен выполнять поиск по 50 миллионам сущностей при 5K QPS, с временем ответа менее 20 мс.
Распределенная масштабируемость: возможность бесшовно масштабироваться во время всплесков трафика, что критически важно для платформы, обеспечивающей более половины поисковых запросов в Корее.
Операционная надежность: постоянно доступный сервис с высокой доступностью и сильной отказоустойчивостью.
Широкая применимость: гибкость для охвата разнообразных сценариев использования с разными размерами сущностей, масштабами коллекций, QPS и требованиями к задержке.
Удобство использования: простое внедрение несколькими сервисными командами, с единым управлением, мониторингом и гибкими API.
Решение: трансформация поисковой архитектуры с помощью векторной базы данных Milvus
Инженерные команды NAVER приступили к всесторонней оценке решений для векторных баз данных. В процессе оценки учитывались многочисленные факторы, включая производительность при корпоративных нагрузках, надежность и возможности отказоустойчивости, простоту интеграции в различные сервисные архитектуры, поддержку сообщества и долгосрочную жизнеспособность.
Milvus стал очевидным выбором благодаря своей доказанной стабильности в производственных средах с высокой нагрузкой и богатым возможностям векторного поиска. Поддержка базой данных нескольких типов ANN-индексов, поддержка нескольких векторов и функциональность гибридного поиска идеально соответствовали требованиям NAVER. Кроме того, Milvus предлагал операционные преимущества, которые были необходимы NAVER, включая единое управление и мониторинг развертываний, гибкие API, поддерживающие разнообразные шаблоны интеграции, и сильное сообщество, поддерживающее непрерывные инновации.
После внедрения Milvus компания NAVER развернула эту векторную базу данных в нескольких сервисах, создав единую инфраструктуру векторного поиска, которая фундаментально изменила то, как их системы понимают разговорные пользовательские запросы и отвечают на них. Вместо того чтобы полностью заменить существующие системы на основе ключевых слов, они создали гибридный подход, сочетающий точность традиционного поиска с семантическим пониманием векторного поиска.
Эта архитектура создала основу, способную поддерживать не только улучшенный поиск, но и совершенно новые категории функций. Возможности переформулирования запросов автоматически преобразуют пользовательский ввод в семантически похожие, более качественные поисковые запросы, которые возвращают более релевантные результаты. Обработка естественного языка позволяет пользователям искать с использованием разговорного языка вместо необходимости угадывать правильные ключевые слова. Самое главное, система теперь учитывает намерение и контекст пользователя, а не только буквальные совпадения текста.
Влияние на бизнес: от поиска к интеллекту
С Milvus компания NAVER вышла за рамки простого улучшения обработки запросов на естественном языке и обеспечила более богатые, интеллектуальные функции в нескольких сервисах. Одним из примеров является NAVER AI Briefing, который предоставляет интеллектуальное резюмирование, объединяя отзывы пользователей и контент блогов. Это дает пользователям комплексные обзоры тем без необходимости читать несколько источников.
В NAVER Healthcare эффект оказался особенно значительным. Поиск симптомов на естественном языке теперь возвращает медицински релевантные результаты на основе семантического понимания, а не точных совпадений ключевых слов. Это существенно улучшает пользовательский опыт для запросов, связанных со здоровьем.
NAVER Shopping пережил полную трансформацию в области поиска товаров. Благодаря векторному поиску платформа теперь рекомендует похожие товары на основе семантического сходства и использует механизм персонализации, который учитывает содержимое корзины, товары из списка желаний, историю покупок, поисковые паттерны и даже данные разговоров. Это позволяет пользователям описывать товары на естественном языке и при этом находить именно то, что они ищут, — даже не зная конкретных названий или категорий. Для NAVER эти возможности означают более релевантные рекомендации, более плавный поиск товаров и измеримые бизнес-преимущества, включая более высокие коэффициенты конверсии, повышенную вовлеченность и более длительное время пребывания на платформе.
Новостная платформа расширила существующую систему управления контентом с помощью продвинутых возможностей векторного поиска. Это улучшение позволяет автоматически обнаруживать и удалять дублирующиеся статьи благодаря сходству на уровне предложений, снижая избыточность на платформе. Оно также обеспечивает семантическое сопоставление для рекомендаций связанных статей, помогая пользователям оставаться вовлеченными в тематически релевантные материалы даже тогда, когда точные ключевые слова не совпадают.
Заключение
Внедрив Milvus, NAVER вышла за пределы ограничений поиска на основе ключевых слов, чтобы предоставлять по-настоящему семантический и мультимодальный опыт. Этот переход не только повысил удовлетворенность пользователей, но и заложил основу для совершенно новых сервисных возможностей.
Теперь больше команд NAVER строят решения на этой основе, применяя векторный поиск для рекомендаций, резюмирования, персонализации и других продвинутых функций. По мере дальнейшего развития Milvus этот лидер в области поиска ожидает, что спектр его сценариев использования будет расширяться еще больше, укрепляя его позиции лидера в крупномасштабных системах поиска и рекомендаций.
Заглядывая вперед, видение NAVER заключается в создании бесшовной экосистемы обнаружения контента на всех своих платформах, где поиск, рекомендации и контент ощущаются персонализированными и интуитивно понятными. С Milvus в качестве масштабируемой основы NAVER может быстрее внедрять инновации, приносить пользователям больше ценности и продолжать формировать будущее интеллектуальных информационных сервисов.