Как Sohu улучшает персонализированные рекомендации новостей с помощью Milvus
В быстро меняющемся мире интернет-сервисов крайне важно опережать ожидания пользователей. Sohu, компания, котирующаяся на NASDAQ, осознала эту необходимость и реформировала свою новостную систему рекомендаций благодаря стратегическому сотрудничеству с Milvus, векторной базой данных с открытым исходным кодом. В этом блоге рассматриваются проблемы, с которыми столкнулась Sohu News (основное подразделение Sohu), внедренные инновационные решения и трансформационное влияние Milvus на систему рекомендаций Sohu News.
Проблемы Sohu с доставкой новостей
Несмотря на признание важности опережения ожиданий, Sohu News оказалась ограничена устаревшим и неэффективным стеком векторного поиска в своей системе рекомендаций. Этот устаревший стек препятствовал быстрому извлечению векторов и с трудом масштабировался по мере увеличения объема новостных данных, что приводило к неспособности доставлять пользователям персонализированные новости в реальном времени. Еще больше усложняла ситуацию классификация коротких новостных статей, известных ограниченным объемом информации. Существующая система испытывала трудности с точной категоризацией этих кратких фрагментов, что приводило к частым ошибкам классификации.
Осознав необходимость надежного решения для обработки больших наборов данных, предоставления точных рекомендаций и улучшения классификации коротких новостей, команда Sohu News начала искать инновационный подход, который позволил бы ей занять позицию лидера в доставке новостей.
Векторная база данных Milvus приходит на помощь
Milvus, известная своей молниеносной производительностью и высоким показателем полноты, оказалась идеальным решением для обработки огромных объемов неструктурированных данных. Благодаря поддержке различных индексов, включая FLAT, HNSW и ScaNN, Milvus обеспечила гибкость для балансирования точности, производительности и затрат. После тщательной оценки команда Sohu News выбрала Milvus для создания движка векторного поиска для своей системы рекомендаций.
Интеграция Milvus с системой рекомендаций новостей Sohu
Sohu News плавно интегрирует Milvus в свою систему рекомендаций и использует двухбашенную структуру внутри движка векторного поиска на базе Milvus. Каждая башня представляет семантические векторы предпочтений пользователей и новостных статей.
Новостные статьи были преобразованы в векторы с использованием модели BERT-as-service и сохранены в векторной базе данных Milvus. Одновременно профили пользователей, включающие помеченные теги и ключевые слова из истории просмотров, поисковых запросов и интересов, также были преобразованы в векторы. Затем Milvus вычисляет косинусное сходство между векторами пользователей и статей и формирует результаты Top-K в пуле рекомендаций, приоритизируя и доставляя статьи на основе предполагаемых показателей кликабельности (CTR).
Устранение ошибочной классификации коротких новостей с помощью Milvus
Короткие новостные статьи содержат ограниченный объем информации, поэтому система предварительно классифицирует их перед выполнением векторного семантического поиска. Milvus играет ключевую роль в выявлении и исправлении ошибочно классифицированных коротких новостей, повышая точность классификации. Процесс включает преобразование длинных и кратких новостных статей в векторы с использованием эмбеддинговой модели BERT-as-service, сохранение их в Milvus и вычисление косинусного сходства между двумя типами векторов. Затем Milvus возвращает 20 длинных новостных статей с наибольшим косинусным сходством.
Последующий анализ изучает категории этих 20 длинных новостных статей, наиболее семантически похожих на запрошенную короткую новость. Предположим, что более 18 из этих статей относятся к одной и той же категории, но отличаются от категории, присвоенной запрошенной короткой новости. В таком случае это сигнализирует о потенциальной ошибке в классификации категории краткой новости. Команда оперативно исправляет эти ошибки, что приводит к уровню точности классификации, превышающему 95%, и подчеркивает эффективность Milvus в этом процессе.
Трансформационное влияние на систему рекомендаций Sohu News
Сотрудничество Sohu с Milvus дало впечатляющие результаты. Рекомендательная система достигла 10-кратного увеличения скорости векторного поиска и значительно повысила точность рекомендаций. Поддержка Milvus основных индексов и эффективное использование памяти полностью соответствовали операционным потребностям Sohu, обеспечивая более персонализированный и увлекательный пользовательский опыт.
Заключение
Сотрудничество между Sohu и Milvus является свидетельством преобразующей силы передовой технологии векторного поиска. Решив задачи скорости векторного поиска, точности рекомендаций и классификации коротких новостных текстов, Milvus вывел Sohu News в новую эру инноваций, предлагая пользователям более персонализированный и увлекательный новостной опыт.
Читать далее
Why We Built Vector Lakebase: Rethinking Unstructured Data Architecture for AI
Vector Lakebase: a unified, lake-native data foundation for AI workloads — and an answer to what happens after vector databases succeed.
Introducing Zilliz MCP Server: Natural Language Access to Your Vector Database
Developers can easily manage and query vector databases with natural language via Zilliz MCP Server in AI-native environments.
Zilliz Named "Highest Performer" and "Easiest to Use" in G2's Summer 2025 Grid® Report for Vector Databases
Zilliz shines in G2's Summer 2025 Grid® Report as both "Highest Performer" and "Easiest to Use," solving the performance-usability dilemma.