Come Sohu migliora la raccomandazione personalizzata di notizie con Milvus
Nel frenetico mondo dei servizi Internet, rimanere al passo con le aspettative degli utenti è fondamentale. Sohu, una società quotata al NASDAQ, ha riconosciuto questa esigenza e ha riformato il suo sistema di raccomandazione delle notizie attraverso una collaborazione strategica con Milvus, un database vettoriale open-source. Questo blog esplora le sfide affrontate da Sohu News (un ramo principale di Sohu), le soluzioni innovative implementate e l’impatto trasformativo che Milvus ha avuto sul sistema di raccomandazione di Sohu News.
I grattacapi nella distribuzione delle notizie di Sohu
Pur riconoscendo l’importanza di restare al passo, Sohu News si è trovata limitata da uno stack legacy di ricerca vettoriale obsoleto e inefficiente nel suo sistema di raccomandazione. Questo stack obsoleto ostacolava il rapido recupero vettoriale e faticava a scalare senza interruzioni con l’espansione del volume dei dati delle notizie, con conseguente incapacità di fornire agli utenti notizie in tempo reale e personalizzate. A complicare ulteriormente le cose era la classificazione degli articoli di notizie in testo breve, noti per le loro informazioni limitate. Il sistema esistente faticava a categorizzare accuratamente questi snippet concisi, portando a frequenti classificazioni errate.
Riconoscendo la necessità di una soluzione robusta per gestire grandi set di dati, fornire raccomandazioni accurate e migliorare la classificazione delle notizie in testo breve, il team di Sohu News ha iniziato a cercare un approccio innovativo per posizionarsi come leader nella distribuzione di notizie.
Il database vettoriale Milvus arriva in soccorso
Milvus, noto per le sue prestazioni fulminee e l’elevato tasso di richiamo, si è dimostrato la soluzione ideale per gestire enormi quantità di dati non strutturati. Con il supporto di vari indici, tra cui FLAT, HNSW e ScaNN, Milvus offriva la flessibilità necessaria per bilanciare accuratezza, prestazioni e costi. Dopo un’attenta valutazione, il team di Sohu News ha scelto Milvus per costruire il motore di ricerca vettoriale per il suo sistema di raccomandazione.
Integrazione di Milvus con il sistema di raccomandazione delle notizie di Sohu
Sohu News integra fluidamente Milvus nel suo sistema di raccomandazione e impiega una struttura a doppia torre all’interno del motore di ricerca vettoriale basato su Milvus. Ogni torre rappresenta i vettori semantici delle preferenze degli utenti e degli articoli di notizie.
Gli articoli di notizie sono stati trasformati in vettori utilizzando il modello BERT-as-service e archiviati nel database vettoriale Milvus. Allo stesso tempo, anche i profili utente, composti da tag etichettati e parole chiave provenienti dalla cronologia di navigazione, dalle query di ricerca e dagli interessi, sono stati convertiti in vettori. Quindi, Milvus calcola la similarità del coseno tra i vettori utente e articolo e genera risultati Top-K in un pool di raccomandazione, dando priorità e distribuendo gli articoli in base ai tassi di clic stimati (CTR).
Risoluzione delle classificazioni errate delle notizie brevi con Milvus
Gli articoli di notizie in testo breve contengono informazioni limitate, quindi il sistema li pre-classifica prima di condurre ricerche semantiche vettoriali. Milvus è fondamentale nell’identificare e correggere le notizie brevi classificate erroneamente, migliorando l’accuratezza della classificazione. Il processo prevede la conversione di articoli di notizie lunghi e brevi in vettori utilizzando il modello di embedding BERT-as-service, la loro archiviazione in Milvus e il calcolo della similarità del coseno tra i due tipi di vettori. Successivamente, Milvus restituisce i primi 20 articoli di notizie lunghi con la più alta similarità del coseno.
L’analisi successiva esamina le categorie di questi 20 articoli di notizie lunghi più semanticamente simili alla notizia breve interrogata. Supponiamo che più di 18 di questi articoli condividano una categoria coerente ma si discostino dalla categoria assegnata alla notizia breve interrogata. In tal caso, ciò segnala un potenziale errore nella classificazione della categoria della notizia breve. Il team corregge prontamente questi errori, ottenendo un tasso di accuratezza della classificazione superiore al 95% e mettendo in evidenza l’efficacia di Milvus in questo processo.
Impatto trasformativo sul sistema di raccomandazione di Sohu News
La collaborazione di Sohu con Milvus ha prodotto risultati notevoli. Il sistema di raccomandazione ha raggiunto una velocità di recupero vettoriale 10 volte superiore e ha migliorato significativamente l’accuratezza delle raccomandazioni. Il supporto di Milvus per gli indici mainstream e l’efficiente consumo di memoria si sono allineati perfettamente alle esigenze operative di Sohu, garantendo un’esperienza utente più personalizzata e coinvolgente.
Conclusione
La collaborazione tra Sohu e Milvus è una testimonianza del potere trasformativo della tecnologia avanzata di ricerca vettoriale. Affrontando le sfide della velocità di recupero vettoriale, dell’accuratezza delle raccomandazioni e della classificazione delle notizie brevi, Milvus ha proiettato Sohu News in una nuova era di innovazione, offrendo agli utenti un’esperienza di notizie più personalizzata e coinvolgente.
Continua a leggere
3 Easiest Ways to Use Claude Code on Your Mobile Phone
Run Claude Code from your phone with Remote Control, Happy Coder, or SSH + Tailscale. Comparison table, setup steps, and tools for typing, memory, and parallel tasks.
Build for the Boom: Why AI Agent Startups Should Build Scalable Infrastructure Early
Explore strategies for developing AI agents that can handle rapid growth. Don't let inadequate systems undermine your success during critical breakthrough moments.
What is the K-Nearest Neighbors (KNN) Algorithm in Machine Learning?
KNN is a supervised machine learning technique and algorithm for classification and regression. This post is the ultimate guide to KNN.