Cómo Sohu mejora la recomendación personalizada de noticias con Milvus
En el vertiginoso mundo de los servicios de Internet, mantenerse por delante de las expectativas de los usuarios es crucial. Sohu, una empresa cotizada en NASDAQ, reconoció esta necesidad y reformó su sistema de recomendación de noticias mediante una colaboración estratégica con Milvus, una base de datos vectorial de código abierto. Este blog explora los desafíos a los que se enfrentó Sohu News (una rama principal de Sohu), las soluciones innovadoras implementadas y el impacto transformador que Milvus tuvo en el sistema de recomendación de Sohu News.
Los dolores de cabeza de Sohu en la entrega de noticias
A pesar de reconocer la importancia de mantenerse a la vanguardia, Sohu News se encontró limitado por una pila heredada de búsqueda vectorial obsoleta e ineficiente en su sistema de recomendación. Esta pila obsoleta impedía la recuperación rápida de vectores y tenía dificultades para escalar sin problemas con el volumen creciente de datos de noticias, lo que resultaba en una incapacidad para entregar noticias personalizadas en tiempo real a los usuarios. Para complicar aún más las cosas, estaba la clasificación de artículos de noticias de texto corto, conocidos por su información limitada. El sistema existente tenía dificultades para categorizar con precisión estos fragmentos concisos, lo que provocaba clasificaciones erróneas frecuentes.
Al reconocer la necesidad de una solución robusta para gestionar grandes conjuntos de datos, proporcionar recomendaciones precisas y mejorar la clasificación de noticias de texto corto, el equipo de Sohu News comenzó a buscar un enfoque innovador para posicionarse como líderes en la entrega de noticias.
La base de datos vectorial Milvus viene al rescate
Milvus, conocida por su rendimiento ultrarrápido y su alta tasa de recuperación, demostró ser la solución ideal para manejar enormes cantidades de datos no estructurados. Con soporte para diversos índices, incluidos FLAT, HNSW y ScaNN, Milvus ofrecía la flexibilidad para equilibrar precisión, rendimiento y coste. Tras una cuidadosa evaluación, el equipo de Sohu News eligió Milvus para construir el motor de búsqueda vectorial para su sistema de recomendación.
Integración de Milvus con el sistema de recomendación de noticias de Sohu
Sohu News incorpora sin problemas Milvus en su sistema de recomendación y emplea una estructura de dos torres dentro del motor de búsqueda vectorial impulsado por Milvus. Cada torre representa los vectores semánticos de las preferencias de los usuarios y de los artículos de noticias.
Los artículos de noticias se transformaron en vectores utilizando el modelo BERT-as-service y se almacenaron en la base de datos vectorial Milvus. Al mismo tiempo, los perfiles de usuario, compuestos por etiquetas etiquetadas y palabras clave del historial de navegación, consultas de búsqueda e intereses, también se convirtieron en vectores. Luego, Milvus calcula la similitud del coseno entre los vectores de usuarios y artículos y genera resultados Top-K en un conjunto de recomendaciones, priorizando y entregando artículos en función de las tasas de clics estimadas (CTR).
Resolución de clasificaciones erróneas de noticias cortas con Milvus
Los artículos de noticias de texto corto contienen información limitada, por lo que el sistema los preclasifica antes de realizar búsquedas semánticas vectoriales. Milvus es crucial para identificar y rectificar noticias cortas mal clasificadas, mejorando la precisión de la clasificación. El proceso implica convertir artículos de noticias largos y breves en vectores utilizando el modelo de incrustación BERT-as-service, almacenarlos en Milvus y calcular la similitud del coseno entre los dos tipos de vectores. A continuación, Milvus devuelve los 20 artículos de noticias largos con la mayor similitud del coseno.
El análisis posterior examina las categorías de estos 20 artículos de noticias largos más semánticamente similares a la noticia corta consultada. Supongamos que más de 18 de estos artículos comparten una categoría coherente pero se desvían de la categoría asignada a la noticia corta consultada. En ese caso, esto señala un posible error en la clasificación de la categoría de la noticia breve. El equipo corrige rápidamente estos errores, lo que da como resultado una tasa de precisión de clasificación superior al 95% y destaca la eficacia de Milvus en este proceso.
Impacto transformador en el sistema de recomendación de Sohu News
La colaboración de Sohu con Milvus arrojó resultados impresionantes. El sistema de recomendaciones logró una velocidad de recuperación vectorial 10 veces mayor y mejoró significativamente la precisión de las recomendaciones. El soporte de Milvus para índices convencionales y su consumo eficiente de memoria se alinearon perfectamente con las necesidades operativas de Sohu, garantizando una experiencia de usuario más personalizada y atractiva.
Conclusión
La colaboración entre Sohu y Milvus es un testimonio del poder transformador de la tecnología avanzada de búsqueda vectorial. Al abordar los desafíos de la velocidad de recuperación vectorial, la precisión de las recomendaciones y la clasificación de noticias de texto corto, Milvus ha impulsado a Sohu News hacia una nueva era de innovación, ofreciendo a los usuarios una experiencia de noticias más personalizada y atractiva.
Sigue leyendo
Data Deduplication at Trillion Scale: How to Solve the Biggest Bottleneck of LLM Training
Explore how MinHash LSH and Milvus handle data deduplication at the trillion-scale level, solving key bottlenecks in LLM training for improved AI model performance.
DeepSeek Always Busy? Deploy It Locally with Milvus in Just 10 Minutes—No More Waiting!
Learn how to set up DeepSeek-R1 on your local machine using Ollama, AnythingLLM, and Milvus in just 10 minutes. Bypass busy servers and enhance AI responses with custom data.
Vector Databases vs. Spatial Databases
Use a vector database for AI-powered similarity search; use a spatial database for geographic and geometric data analysis and querying.