Как Sohu улучшает персонализированные рекомендации новостей с помощью Milvus
В быстро меняющемся мире интернет-сервисов крайне важно опережать ожидания пользователей. Sohu, компания, котирующаяся на NASDAQ, осознала эту необходимость и реформировала свою новостную систему рекомендаций благодаря стратегическому сотрудничеству с Milvus, векторной базой данных с открытым исходным кодом. В этом блоге рассматриваются проблемы, с которыми столкнулась Sohu News (основное подразделение Sohu), внедренные инновационные решения и трансформационное влияние Milvus на систему рекомендаций Sohu News.
Проблемы Sohu с доставкой новостей
Несмотря на признание важности опережения ожиданий, Sohu News оказалась ограничена устаревшим и неэффективным стеком векторного поиска в своей системе рекомендаций. Этот устаревший стек препятствовал быстрому извлечению векторов и с трудом масштабировался по мере увеличения объема новостных данных, что приводило к неспособности доставлять пользователям персонализированные новости в реальном времени. Еще больше усложняла ситуацию классификация коротких новостных статей, известных ограниченным объемом информации. Существующая система испытывала трудности с точной категоризацией этих кратких фрагментов, что приводило к частым ошибкам классификации.
Осознав необходимость надежного решения для обработки больших наборов данных, предоставления точных рекомендаций и улучшения классификации коротких новостей, команда Sohu News начала искать инновационный подход, который позволил бы ей занять позицию лидера в доставке новостей.
Векторная база данных Milvus приходит на помощь
Milvus, известная своей молниеносной производительностью и высоким показателем полноты, оказалась идеальным решением для обработки огромных объемов неструктурированных данных. Благодаря поддержке различных индексов, включая FLAT, HNSW и ScaNN, Milvus обеспечила гибкость для балансирования точности, производительности и затрат. После тщательной оценки команда Sohu News выбрала Milvus для создания движка векторного поиска для своей системы рекомендаций.
Интеграция Milvus с системой рекомендаций новостей Sohu
Sohu News плавно интегрирует Milvus в свою систему рекомендаций и использует двухбашенную структуру внутри движка векторного поиска на базе Milvus. Каждая башня представляет семантические векторы предпочтений пользователей и новостных статей.
Новостные статьи были преобразованы в векторы с использованием модели BERT-as-service и сохранены в векторной базе данных Milvus. Одновременно профили пользователей, включающие помеченные теги и ключевые слова из истории просмотров, поисковых запросов и интересов, также были преобразованы в векторы. Затем Milvus вычисляет косинусное сходство между векторами пользователей и статей и формирует результаты Top-K в пуле рекомендаций, приоритизируя и доставляя статьи на основе предполагаемых показателей кликабельности (CTR).
Устранение ошибочной классификации коротких новостей с помощью Milvus
Короткие новостные статьи содержат ограниченный объем информации, поэтому система предварительно классифицирует их перед выполнением векторного семантического поиска. Milvus играет ключевую роль в выявлении и исправлении ошибочно классифицированных коротких новостей, повышая точность классификации. Процесс включает преобразование длинных и кратких новостных статей в векторы с использованием эмбеддинговой модели BERT-as-service, сохранение их в Milvus и вычисление косинусного сходства между двумя типами векторов. Затем Milvus возвращает 20 длинных новостных статей с наибольшим косинусным сходством.
Последующий анализ изучает категории этих 20 длинных новостных статей, наиболее семантически похожих на запрошенную короткую новость. Предположим, что более 18 из этих статей относятся к одной и той же категории, но отличаются от категории, присвоенной запрошенной короткой новости. В таком случае это сигнализирует о потенциальной ошибке в классификации категории краткой новости. Команда оперативно исправляет эти ошибки, что приводит к уровню точности классификации, превышающему 95%, и подчеркивает эффективность Milvus в этом процессе.
Трансформационное влияние на систему рекомендаций Sohu News
Сотрудничество Sohu с Milvus дало впечатляющие результаты. Рекомендательная система достигла 10-кратного увеличения скорости векторного поиска и значительно повысила точность рекомендаций. Поддержка Milvus основных индексов и эффективное использование памяти полностью соответствовали операционным потребностям Sohu, обеспечивая более персонализированный и увлекательный пользовательский опыт.
Заключение
Сотрудничество между Sohu и Milvus является свидетельством преобразующей силы передовой технологии векторного поиска. Решив задачи скорости векторного поиска, точности рекомендаций и классификации коротких новостных текстов, Milvus вывел Sohu News в новую эру инноваций, предлагая пользователям более персонализированный и увлекательный новостной опыт.
Читать далее
Introducing Zilliz CLI and Agent Skills for Zilliz Cloud
Manage your vector database from your terminal or AI coding agent. Zilliz CLI and Agent Skills work with Claude Code, Cursor, Codex, and Copilot.
Zilliz Cloud Launches in AWS Australia, Expanding Global Reach to Australia and Neighboring Markets
We're thrilled to announce that Zilliz Cloud is now available in the AWS Sydney, Australia region (ap-southeast-2).
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.