Как Sohu улучшает персонализированные рекомендации новостей с помощью Milvus
В быстро меняющемся мире интернет-сервисов крайне важно опережать ожидания пользователей. Sohu, компания, котирующаяся на NASDAQ, осознала эту необходимость и реформировала свою новостную систему рекомендаций благодаря стратегическому сотрудничеству с Milvus, векторной базой данных с открытым исходным кодом. В этом блоге рассматриваются проблемы, с которыми столкнулась Sohu News (основное подразделение Sohu), внедренные инновационные решения и трансформационное влияние Milvus на систему рекомендаций Sohu News.
Проблемы Sohu с доставкой новостей
Несмотря на признание важности опережения ожиданий, Sohu News оказалась ограничена устаревшим и неэффективным стеком векторного поиска в своей системе рекомендаций. Этот устаревший стек препятствовал быстрому извлечению векторов и с трудом масштабировался по мере увеличения объема новостных данных, что приводило к неспособности доставлять пользователям персонализированные новости в реальном времени. Еще больше усложняла ситуацию классификация коротких новостных статей, известных ограниченным объемом информации. Существующая система испытывала трудности с точной категоризацией этих кратких фрагментов, что приводило к частым ошибкам классификации.
Осознав необходимость надежного решения для обработки больших наборов данных, предоставления точных рекомендаций и улучшения классификации коротких новостей, команда Sohu News начала искать инновационный подход, который позволил бы ей занять позицию лидера в доставке новостей.
Векторная база данных Milvus приходит на помощь
Milvus, известная своей молниеносной производительностью и высоким показателем полноты, оказалась идеальным решением для обработки огромных объемов неструктурированных данных. Благодаря поддержке различных индексов, включая FLAT, HNSW и ScaNN, Milvus обеспечила гибкость для балансирования точности, производительности и затрат. После тщательной оценки команда Sohu News выбрала Milvus для создания движка векторного поиска для своей системы рекомендаций.
Интеграция Milvus с системой рекомендаций новостей Sohu
Sohu News плавно интегрирует Milvus в свою систему рекомендаций и использует двухбашенную структуру внутри движка векторного поиска на базе Milvus. Каждая башня представляет семантические векторы предпочтений пользователей и новостных статей.
Новостные статьи были преобразованы в векторы с использованием модели BERT-as-service и сохранены в векторной базе данных Milvus. Одновременно профили пользователей, включающие помеченные теги и ключевые слова из истории просмотров, поисковых запросов и интересов, также были преобразованы в векторы. Затем Milvus вычисляет косинусное сходство между векторами пользователей и статей и формирует результаты Top-K в пуле рекомендаций, приоритизируя и доставляя статьи на основе предполагаемых показателей кликабельности (CTR).
Устранение ошибочной классификации коротких новостей с помощью Milvus
Короткие новостные статьи содержат ограниченный объем информации, поэтому система предварительно классифицирует их перед выполнением векторного семантического поиска. Milvus играет ключевую роль в выявлении и исправлении ошибочно классифицированных коротких новостей, повышая точность классификации. Процесс включает преобразование длинных и кратких новостных статей в векторы с использованием эмбеддинговой модели BERT-as-service, сохранение их в Milvus и вычисление косинусного сходства между двумя типами векторов. Затем Milvus возвращает 20 длинных новостных статей с наибольшим косинусным сходством.
Последующий анализ изучает категории этих 20 длинных новостных статей, наиболее семантически похожих на запрошенную короткую новость. Предположим, что более 18 из этих статей относятся к одной и той же категории, но отличаются от категории, присвоенной запрошенной короткой новости. В таком случае это сигнализирует о потенциальной ошибке в классификации категории краткой новости. Команда оперативно исправляет эти ошибки, что приводит к уровню точности классификации, превышающему 95%, и подчеркивает эффективность Milvus в этом процессе.
Трансформационное влияние на систему рекомендаций Sohu News
Сотрудничество Sohu с Milvus дало впечатляющие результаты. Рекомендательная система достигла 10-кратного увеличения скорости векторного поиска и значительно повысила точность рекомендаций. Поддержка Milvus основных индексов и эффективное использование памяти полностью соответствовали операционным потребностям Sohu, обеспечивая более персонализированный и увлекательный пользовательский опыт.
Заключение
Сотрудничество между Sohu и Milvus является свидетельством преобразующей силы передовой технологии векторного поиска. Решив задачи скорости векторного поиска, точности рекомендаций и классификации коротких новостных текстов, Milvus вывел Sohu News в новую эру инноваций, предлагая пользователям более персонализированный и увлекательный новостной опыт.
Читать далее
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
DeepSeek Always Busy? Deploy It Locally with Milvus in Just 10 Minutes—No More Waiting!
Learn how to set up DeepSeek-R1 on your local machine using Ollama, AnythingLLM, and Milvus in just 10 minutes. Bypass busy servers and enhance AI responses with custom data.
Building RAG Pipelines for Real-Time Data with Cloudera and Milvus
explore how Cloudera can be integrated with Milvus to effectively implement some of the key functionalities of RAG pipelines.