Как Sohu улучшает персонализированные рекомендации новостей с помощью Milvus
В быстро меняющемся мире интернет-сервисов крайне важно опережать ожидания пользователей. Sohu, компания, котирующаяся на NASDAQ, осознала эту необходимость и реформировала свою новостную систему рекомендаций благодаря стратегическому сотрудничеству с Milvus, векторной базой данных с открытым исходным кодом. В этом блоге рассматриваются проблемы, с которыми столкнулась Sohu News (основное подразделение Sohu), внедренные инновационные решения и трансформационное влияние Milvus на систему рекомендаций Sohu News.
Проблемы Sohu с доставкой новостей
Несмотря на признание важности опережения ожиданий, Sohu News оказалась ограничена устаревшим и неэффективным стеком векторного поиска в своей системе рекомендаций. Этот устаревший стек препятствовал быстрому извлечению векторов и с трудом масштабировался по мере увеличения объема новостных данных, что приводило к неспособности доставлять пользователям персонализированные новости в реальном времени. Еще больше усложняла ситуацию классификация коротких новостных статей, известных ограниченным объемом информации. Существующая система испытывала трудности с точной категоризацией этих кратких фрагментов, что приводило к частым ошибкам классификации.
Осознав необходимость надежного решения для обработки больших наборов данных, предоставления точных рекомендаций и улучшения классификации коротких новостей, команда Sohu News начала искать инновационный подход, который позволил бы ей занять позицию лидера в доставке новостей.
Векторная база данных Milvus приходит на помощь
Milvus, известная своей молниеносной производительностью и высоким показателем полноты, оказалась идеальным решением для обработки огромных объемов неструктурированных данных. Благодаря поддержке различных индексов, включая FLAT, HNSW и ScaNN, Milvus обеспечила гибкость для балансирования точности, производительности и затрат. После тщательной оценки команда Sohu News выбрала Milvus для создания движка векторного поиска для своей системы рекомендаций.
Интеграция Milvus с системой рекомендаций новостей Sohu
Sohu News плавно интегрирует Milvus в свою систему рекомендаций и использует двухбашенную структуру внутри движка векторного поиска на базе Milvus. Каждая башня представляет семантические векторы предпочтений пользователей и новостных статей.
Новостные статьи были преобразованы в векторы с использованием модели BERT-as-service и сохранены в векторной базе данных Milvus. Одновременно профили пользователей, включающие помеченные теги и ключевые слова из истории просмотров, поисковых запросов и интересов, также были преобразованы в векторы. Затем Milvus вычисляет косинусное сходство между векторами пользователей и статей и формирует результаты Top-K в пуле рекомендаций, приоритизируя и доставляя статьи на основе предполагаемых показателей кликабельности (CTR).
Устранение ошибочной классификации коротких новостей с помощью Milvus
Короткие новостные статьи содержат ограниченный объем информации, поэтому система предварительно классифицирует их перед выполнением векторного семантического поиска. Milvus играет ключевую роль в выявлении и исправлении ошибочно классифицированных коротких новостей, повышая точность классификации. Процесс включает преобразование длинных и кратких новостных статей в векторы с использованием эмбеддинговой модели BERT-as-service, сохранение их в Milvus и вычисление косинусного сходства между двумя типами векторов. Затем Milvus возвращает 20 длинных новостных статей с наибольшим косинусным сходством.
Последующий анализ изучает категории этих 20 длинных новостных статей, наиболее семантически похожих на запрошенную короткую новость. Предположим, что более 18 из этих статей относятся к одной и той же категории, но отличаются от категории, присвоенной запрошенной короткой новости. В таком случае это сигнализирует о потенциальной ошибке в классификации категории краткой новости. Команда оперативно исправляет эти ошибки, что приводит к уровню точности классификации, превышающему 95%, и подчеркивает эффективность Milvus в этом процессе.
Трансформационное влияние на систему рекомендаций Sohu News
Сотрудничество Sohu с Milvus дало впечатляющие результаты. Рекомендательная система достигла 10-кратного увеличения скорости векторного поиска и значительно повысила точность рекомендаций. Поддержка Milvus основных индексов и эффективное использование памяти полностью соответствовали операционным потребностям Sohu, обеспечивая более персонализированный и увлекательный пользовательский опыт.
Заключение
Сотрудничество между Sohu и Milvus является свидетельством преобразующей силы передовой технологии векторного поиска. Решив задачи скорости векторного поиска, точности рекомендаций и классификации коротких новостных текстов, Milvus вывел Sohu News в новую эру инноваций, предлагая пользователям более персонализированный и увлекательный новостной опыт.
Читать далее
We spent 8 years making vector databases faster. Then we stopped.
Rarely queried embeddings still need to stay searchable. See how Vector Lakebase enables on-demand vector search without always-on compute costs.
Demystifying the Milvus Sizing Tool
Explore how to use the Sizing Tool to select the optimal configuration for your Milvus deployment.
Multimodal Pipelines for AI Applications
Learn how to build scalable multimodal AI pipelines using DataVolo and Milvus. Discover best practices for handling unstructured data and implementing RAG systems.