Creare con Milvus: raccomandazioni di notizie basate sull'AI all'interno del browser mobile di Xiaomi
Dai feed dei social media alle raccomandazioni di playlist su Spotify, l'intelligenza artificiale svolge già un ruolo importante nei contenuti che vediamo e con cui interagiamo ogni giorno. Nel tentativo di differenziare il proprio browser web mobile, il produttore multinazionale di elettronica Xiaomi ha costruito un motore di raccomandazione di notizie basato sull'IA. Milvus, un database vettoriale open-source creato specificamente per la ricerca per similarità e l'intelligenza artificiale, è stato utilizzato come piattaforma principale di gestione dei dati dell'applicazione. Questo articolo spiega come Xiaomi ha costruito il suo motore di raccomandazione di notizie basato sull'IA e come sono stati utilizzati Milvus e altri algoritmi di IA.
Usare l'IA per suggerire contenuti personalizzati e farsi strada nel rumore delle notizie
Con il solo New York Times che pubblica oltre 230 articoli di contenuti ogni giorno, l'enorme volume di articoli prodotti rende impossibile per le persone avere una visione completa di tutte le notizie. Per aiutare a setacciare grandi volumi di contenuti e raccomandare i pezzi più rilevanti o interessanti, ci affidiamo sempre più all'IA. Sebbene le raccomandazioni rimangano tutt'altro che perfette, il machine learning è sempre più necessario per farsi strada nel flusso costante di nuove informazioni che proviene dal nostro mondo sempre più complesso e interconnesso.
Xiaomi produce e investe in smartphone, app mobili, laptop, elettrodomestici e molti altri prodotti. Nel tentativo di differenziare un browser mobile preinstallato su molti degli oltre 40 milioni di smartphone che l'azienda vende ogni trimestre, Xiaomi vi ha integrato un sistema di raccomandazione di notizie. Quando gli utenti avviano il browser mobile di Xiaomi, l'intelligenza artificiale viene utilizzata per raccomandare contenuti simili in base alla cronologia di ricerca degli utenti, agli interessi e ad altro ancora. Milvus è un database open-source per la ricerca di similarità vettoriale utilizzato per accelerare il recupero di articoli correlati.
Come funziona la raccomandazione di contenuti basata sull'IA?
Fondamentalmente, la raccomandazione di notizie (o qualsiasi altro tipo di sistema di raccomandazione di contenuti) comporta il confronto dei dati di input con un enorme database per trovare informazioni simili. Una raccomandazione di contenuti efficace implica il bilanciamento tra rilevanza e tempestività, incorporando in modo efficiente enormi volumi di nuovi dati, spesso in tempo reale.
Per gestire dataset enormi, i sistemi di raccomandazione sono in genere suddivisi in due fasi:
- Recupero: Durante il recupero, i contenuti vengono ristretti dalla libreria più ampia in base agli interessi e al comportamento degli utenti. Nel browser mobile di Xiaomi, migliaia di contenuti vengono selezionati da un enorme dataset che contiene milioni di articoli di notizie.
- Ordinamento: Successivamente, i contenuti selezionati durante il recupero vengono ordinati in base a determinati indicatori prima di essere inviati all'utente. Man mano che gli utenti interagiscono con i contenuti raccomandati, il sistema si adatta in tempo reale per fornire suggerimenti più rilevanti.
Le raccomandazioni di contenuti di notizie devono essere formulate in tempo reale in base al comportamento degli utenti e ai contenuti pubblicati di recente. Inoltre, i contenuti suggeriti devono corrispondere il più possibile agli interessi e all'intento di ricerca degli utenti.
Milvus + BERT = suggerimenti di contenuti intelligenti
Milvus è un database open-source per la ricerca di similarità vettoriale che può essere integrato con modelli di deep learning per alimentare applicazioni che spaziano dall'elaborazione del linguaggio naturale alla verifica dell'identità e molto altro. Milvus indicizza grandi dataset vettoriali per rendere la ricerca più efficiente e supporta una varietà di popolari framework di IA per semplificare il processo di sviluppo di applicazioni di machine learning. Queste caratteristiche rendono la piattaforma ideale per archiviare e interrogare dati vettoriali, una componente critica di molte applicazioni di machine learning.
Xiaomi ha scelto Milvus per gestire i dati vettoriali per il suo sistema intelligente di raccomandazione di notizie perché è veloce, affidabile e richiede una configurazione e una manutenzione minime. Tuttavia, Milvus deve essere abbinato a un algoritmo di IA per creare applicazioni distribuibili. Xiaomi ha scelto BERT, abbreviazione di Bidirectional Encoder Representation Transformers, come modello di rappresentazione linguistica nel suo motore di raccomandazione. BERT può essere utilizzato come modello generale di NLU (natural language understanding) in grado di supportare una serie di diverse attività di NLP (natural language processing). Le sue caratteristiche principali includono:
- Il transformer di BERT viene utilizzato come framework principale dell’algoritmo ed è in grado di catturare relazioni esplicite e implicite all’interno delle frasi e tra di esse.
- Obiettivi di apprendimento multi-task, masked language modeling (MLM) e next sentence prediction (NSP).
- BERT offre prestazioni migliori con quantità maggiori di dati e può potenziare altre tecniche di elaborazione del linguaggio naturale come Word2Vec agendo come matrice di conversione.
Milvus che lavora con BERT.
L’architettura di rete di BERT utilizza una struttura transformer multi-livello che abbandona le tradizionali reti neurali RNN e CNN. Funziona convertendo in una la distanza tra due parole in qualsiasi posizione tramite il suo meccanismo di attenzione e risolve il problema della dipendenza che persiste da tempo nell’NLP.
L’architettura di rete di un transformer in BERT.
La struttura di rete di BERT. ‘Trm’ rappresenta l’architettura di rete transformer raffigurata sopra.
BERT fornisce un modello semplice e uno complesso. Gli iperparametri corrispondenti sono i seguenti: BERT BASE: L = 12, H = 768, A = 12, parametro totale 110M; BERT LARGE: L = 24, H = 1024, A = 16, il numero totale di parametri è 340M.
Negli iperparametri sopra, L rappresenta il numero di layer nella rete (ossia il numero di blocchi Transformer), A rappresenta il numero di self-Attention nel Multi-Head Attention e la dimensione del filtro è 4H.
Il sistema di raccomandazione dei contenuti di Xiaomi
Il sistema di raccomandazione di notizie basato su browser di Xiaomi si basa su tre componenti chiave: vettorizzazione, mappatura degli ID e servizio di nearest neighbor approssimato (ANN).
La vettorizzazione è il processo in cui i titoli degli articoli vengono convertiti in vettori di frasi generali. Il modello SimBert, basato su BERT, viene utilizzato nel sistema di raccomandazione di Xiaomi. SimBert è un modello a 12 layer con una dimensione nascosta di 768. Simbert utilizza il modello di training Chinese L-12_H-768_A-12 per il training continuo (il task di training è “metric learning +UniLM”) e ha addestrato 1,17 milioni di step su una singola TITAN RTX con l’ottimizzatore Adam (learning rate 2e-6, batch size 128). In poche parole, si tratta di un modello BERT ottimizzato.
Gli algoritmi ANN confrontano i titoli degli articoli vettorizzati con l’intera libreria di notizie archiviata in Milvus, quindi restituiscono contenuti simili per gli utenti. La mappatura degli ID viene utilizzata per ottenere informazioni rilevanti come visualizzazioni di pagina e clic per gli articoli corrispondenti.
Come funziona la raccomandazione dei contenuti.
I dati archiviati in Milvus che alimentano il motore di raccomandazione di notizie di Xiaomi vengono costantemente aggiornati, inclusi articoli aggiuntivi e informazioni sulle attività. Man mano che il sistema incorpora nuovi dati, i dati obsoleti devono essere eliminati. In questo sistema, gli aggiornamenti completi dei dati vengono eseguiti per i primi T-1 giorni e gli aggiornamenti incrementali vengono eseguiti nei successivi T giorni.
A intervalli definiti, i vecchi dati vengono eliminati e i dati elaborati dei giorni T-1 vengono inseriti nella raccolta. Qui i dati appena generati vengono incorporati in tempo reale. Una volta inseriti i nuovi dati, viene eseguita la ricerca di similarità in Milvus. Gli articoli recuperati vengono nuovamente ordinati per percentuale di clic e altri fattori, e i contenuti migliori vengono mostrati agli utenti. In uno scenario come questo, in cui i dati vengono aggiornati frequentemente e i risultati devono essere forniti in tempo reale, la capacità di Milvus di incorporare e cercare rapidamente nuovi dati rende possibile accelerare drasticamente la raccomandazione di contenuti di notizie nel browser mobile di Xiaomi.
Milvus rende migliore la ricerca di similarità vettoriale
Vettorializzare i dati e poi calcolare la similarità tra vettori è la tecnologia di recupero più comunemente utilizzata. L’ascesa dei motori di ricerca di similarità vettoriale basati su ANN ha notevolmente migliorato l’efficienza dei calcoli di similarità vettoriale. Rispetto a soluzioni simili, Milvus offre archiviazione dei dati ottimizzata, numerosi SDK e una versione distribuita che riduce notevolmente il carico di lavoro necessario per costruire un livello di recupero. Inoltre, la comunità open-source attiva di Milvus è una risorsa potente che può aiutare a rispondere alle domande e a risolvere i problemi man mano che si presentano.
Se desideri saperne di più sulla ricerca di similarità vettoriale e su Milvus, consulta le seguenti risorse:
- Dai un’occhiata a Milvus su Github.
- Vector Similarity Search Hides in Plain View
- Accelerating Similarity Search on Really Big Data with Vector Indexing
Leggi altre storie di utenti per saperne di più su come realizzare progetti con Milvus.
Continua a leggere
Zilliz Skills Breakdown: How AI Agents Master Vector Databases
Zilliz's Milvus Skill (pymilvus, 7 files) and Zilliz Cloud Skill (zilliz-cli, 14 modules) bring vector-DB dev and ops into one Claude Code session.
Zilliz Cloud BYOC Now Available Across AWS, GCP, and Azure
Zilliz Cloud BYOC is now generally available on all three major clouds. Deploy fully managed vector search in your own AWS, GCP, or Azure account — your data never leaves your VPC.
Legal Document Analysis: Harnessing Zilliz Cloud's Semantic Search and RAG for Legal Insights
Enhance legal document analysis with Zilliz Cloud’s Semantic Search and RAG. Improve accuracy, efficiency, and scalability for contracts, case law, and compliance.