Comment Sohu améliore la recommandation personnalisée d’actualités avec Milvus
Dans le monde trépidant des services Internet, garder une longueur d’avance sur les attentes des utilisateurs est crucial. Sohu, une entreprise cotée au NASDAQ, a reconnu ce besoin et a réformé son système de recommandation d’actualités grâce à une collaboration stratégique avec Milvus, une base de données vectorielle open source. Ce blog explore les défis rencontrés par Sohu News (une branche principale de Sohu), les solutions innovantes mises en œuvre et l’impact transformateur de Milvus sur le système de recommandation de Sohu News.
Les casse-têtes de Sohu en matière de diffusion d’actualités
Bien qu’elle ait reconnu l’importance de garder une longueur d’avance, Sohu News s’est retrouvée limitée par une pile de recherche vectorielle héritée, obsolète et inefficace, dans son système de recommandation. Cette pile obsolète entravait la récupération rapide de vecteurs et peinait à évoluer de manière fluide avec l’augmentation du volume de données d’actualités, ce qui entraînait l’incapacité de fournir aux utilisateurs des actualités personnalisées en temps réel. Pour compliquer encore les choses, il y avait la classification des articles d’actualité en texte court, connus pour leur quantité limitée d’informations. Le système existant peinait à catégoriser avec précision ces extraits concis, entraînant de fréquentes erreurs de classification.
Reconnaissant la nécessité d’une solution robuste pour gérer de grands jeux de données, fournir des recommandations précises et améliorer la classification des actualités en texte court, l’équipe de Sohu News a commencé à rechercher une approche innovante pour se positionner comme leader de la diffusion d’actualités.
La base de données vectorielle Milvus à la rescousse
Milvus, connu pour ses performances ultra-rapides et son taux de rappel élevé, s’est avéré être la solution idéale pour gérer d’énormes quantités de données non structurées. Grâce à la prise en charge de divers index, notamment FLAT, HNSW et ScaNN, Milvus offrait la flexibilité nécessaire pour équilibrer précision, performances et coûts. Après une évaluation minutieuse, l’équipe de Sohu News a choisi Milvus pour construire le moteur de recherche vectorielle de son système de recommandation.
Intégration de Milvus au système de recommandation d’actualités de Sohu
Sohu News intègre harmonieusement Milvus à son système de recommandation et utilise une structure à deux tours au sein du moteur de recherche vectorielle alimenté par Milvus. Chaque tour représente les vecteurs sémantiques des préférences des utilisateurs et des articles d’actualité.
Les articles d’actualité ont été transformés en vecteurs à l’aide du modèle BERT-as-service et stockés dans la base de données vectorielle Milvus. Simultanément, les profils utilisateurs, comprenant des tags étiquetés et des mots-clés issus de l’historique de navigation, des requêtes de recherche et des centres d’intérêt, ont également été convertis en vecteurs. Ensuite, Milvus calcule la similarité cosinus entre les vecteurs des utilisateurs et des articles, et génère des résultats Top-K dans un pool de recommandations, en priorisant et en diffusant les articles en fonction des taux de clics (CTR) estimés.
Résoudre les erreurs de classification des actualités courtes avec Milvus
Les articles d’actualité en texte court contiennent des informations limitées, le système les préclasse donc avant d’effectuer des recherches sémantiques vectorielles. Milvus joue un rôle crucial dans l’identification et la rectification des actualités courtes mal classées, améliorant ainsi la précision de la classification. Le processus consiste à convertir les articles d’actualité longs et courts en vecteurs à l’aide du modèle d’embedding BERT-as-service, à les stocker dans Milvus, puis à calculer la similarité cosinus entre les deux types de vecteurs. Ensuite, Milvus renvoie les 20 principaux articles d’actualité longs ayant la plus forte similarité cosinus.
L’analyse ultérieure examine les catégories de ces 20 articles d’actualité longs les plus similaires sémantiquement à l’actualité courte interrogée. Supposons que plus de 18 de ces articles partagent une catégorie cohérente, mais s’écartent de la catégorie attribuée à l’actualité courte interrogée. Dans ce cas, cela signale une erreur potentielle dans la classification de la catégorie de l’actualité courte. L’équipe corrige rapidement ces erreurs, ce qui se traduit par un taux de précision de classification supérieur à 95 % et met en évidence l’efficacité de Milvus dans ce processus.
Impact transformateur sur le système de recommandation de Sohu News
La collaboration de Sohu avec Milvus a donné des résultats impressionnants. Le système de recommandation a atteint une vitesse de récupération vectorielle 10 fois plus rapide et a considérablement amélioré la précision des recommandations. La prise en charge par Milvus des indices courants et sa consommation efficace de mémoire se sont parfaitement alignées sur les besoins opérationnels de Sohu, garantissant une expérience utilisateur plus personnalisée et engageante.
Conclusion
La collaboration entre Sohu et Milvus témoigne du pouvoir transformateur de la technologie avancée de recherche vectorielle. En relevant les défis liés à la vitesse de récupération vectorielle, à la précision des recommandations et à la classification des actualités en texte court, Milvus a propulsé Sohu News dans une nouvelle ère d’innovation, offrant aux utilisateurs une expérience d’actualité plus personnalisée et engageante.
Continuer à lire
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.
How to Use Anthropic MCP Server with Milvus
MCP + Milvus: Streamline AI agent development with standardized data access, eliminating integration hassles while enhancing context and flexibility.
Introducing DeepSearcher: A Local Open Source Deep Research
In contrast to OpenAI’s Deep Research, this example ran locally, using only open-source models and tools like Milvus and LangChain.