Tracciamento narrativo multilingue nelle notizie
I modelli linguistici di grandi dimensioni (LLM) hanno trasformato il modo in cui svolgiamo varie attività, come la generazione di contenuti, i chatbot per il servizio clienti, ecc. Con la crescita dell’uso degli LLM, dobbiamo garantire che i modelli siano imparziali nella loro conoscenza delle notizie attuali per fornire risposte affidabili. Il tracciamento narrativo multilingue aiuta a raggiungere questo obiettivo.
Una narrazione, una sequenza di eventi interconnessi, è uno strumento potente per comprendere il mondo che ci circonda. Ad esempio, quando è stato pubblicato il nuovo trailer del film Barbie e Bath & Body Works ha lanciato una Barbie Edition di candele pochi giorni dopo, questi due eventi hanno formato una narrazione. Nel contesto del tracciamento delle notizie, stiamo essenzialmente tracciando queste narrazioni. La narrazione della campagna del film Barbie, con la sua copertura e i suoi sentiment diversificati in diverse regioni e lingue, è un esempio lampante. Questo processo di analisi di come una narrazione viene riportata in termini di volume e sentiment in diverse lingue (paesi) è ciò che chiamiamo tracciamento narrativo multilingue.
Robert Caulk, il fondatore di Emergent Methods, ha recentemente tenuto un intervento sul tracciamento narrativo multilingue delle notizie al Berlin Unstructured Data Meetup organizzato da Zilliz. Emergent Methods sviluppa software open-source per applicare l’AI alle sfide di modellazione adattiva in tempo reale.
Durante l’intervento, Robert sottolinea la necessità di tracciare le diverse narrazioni degli articoli di notizie. Presenta un’architettura di modelli di embedding combinati con LLM per tracciare le notizie globali in diversi paesi, lingue e fonti.
Perché dobbiamo ingegnerizzare i contesti delle notizie?
Robert discute le ragioni principali per cui il team di Emergent Methods stava esaminando diversi approcci all’ingegnerizzazione del contesto delle notizie e al tracciamento delle narrazioni:
Applicazione degli standard giornalistici: È fondamentale garantire che gli LLM aderiscano a rigorosi standard giornalistici. È cruciale prevenire la diffusione di affermazioni non verificate, poiché ciò potrebbe portare a disinformazione e sfiducia.
Diversità di fonti e lingue: L’LLM dovrebbe conoscere le notizie attuali o gli eventi in corso quando si sviluppano servizi basati su LLM per qualsiasi prodotto, da un chatbot amichevole a un assistente analista finanziario. L’LLM deve essere esposto a notizie diversificate tra lingue, paesi e altri dati demografici. Le fonti non possono essere parziali, poiché non rappresenterebbero democraticamente la base clienti. Ad esempio, gli articoli di notizie russi e statunitensi avranno prospettive diverse su questioni come la guerra in Ucraina. Dobbiamo coprire le diverse prospettive di qualsiasi particolare narrazione di notizie in varie lingue.
Evitare notizie obsolete: È imperativo evitare notizie datate. Riportare notizie obsolete può avere ripercussioni dannose, portando all’insoddisfazione degli utenti e a una perdita di fiducia nei servizi basati su LLM.
Minimizzare le allucinazioni: Un’altra sfida sono le allucinazioni dei modelli linguistici di grandi dimensioni (LLM). Le allucinazioni si verificano quando gli LLM generano risposte con dati errati o persino informazioni inventate basate su pattern storici nei dati di addestramento. I costi delle allucinazioni sono elevati quando portiamo gli LLM sul mercato.
Contenuti di notizie democratizzati su larga scala: La sfida della gestione dei contenuti di notizie su larga scala è diffusa. Molte aziende, indipendentemente dalle loro dimensioni, hanno difficoltà con la logistica del tracciamento di oltre 1 milione di articoli di notizie, assicurandosi che siano privi di fallacie logiche e abbiano fonti diversificate. Uno strumento strategico per affrontare questa sfida potrebbe avere ampie applicazioni in numerosi mercati.
Ingegnerizzare lo spazio dei parametri: arricchire gli articoli con LLM e creare embedding
Robert definisce l’obiettivo dell’ingegnerizzazione dello spazio dei parametri come: “Il nostro obiettivo è creare uno spazio dei parametri pulito su cui effettuare clustering degli argomenti di attualità attraverso prospettive diverse “. L’idea è estrarre entità, specialmente quelle provenienti da piccoli gruppi demografici. Robert sottolinea anche la necessità di normalizzare le differenze linguistiche per confrontare le narrazioni.
Uno spazio dei parametri pulito e ben definito
Hanno progettato un approccio per arricchire gli articoli di notizie. L’idea è utilizzare modelli linguistici di grandi dimensioni in più passaggi.
Fornire il titolo e il contenuto dell’articolo come input a un LLM.
L’LLM traduce e riassume il contenuto dell’articolo. A differenza dei riassuntori baseline tradizionali, la sintesi dovrebbe includere prove a supporto delle affermazioni. Questo eviterà allucinazioni e disinformazione.
Eseguire l’estrazione personalizzata di entità e parole chiave dalle informazioni riassunte. È qui che il modello linguistico di grandi dimensioni GLiNER-news eccelle. Addestrato finemente per questo compito, può identificare ed estrarre rapidamente dal testo entità come nomi di prodotti, eventi, date e organizzazioni. GLiNER-news sarà presto disponibile sulla piattaforma HuggingFace, invitando il pubblico a sperimentarne l’efficienza e l’efficacia.
Creazione della pagina incorporata: Gli articoli arricchiti vengono convertiti in incorporamenti vettoriali utilizzando un modello di embedding testuale e archiviati in un database vettoriale come Milvus. In futuro, le informazioni potranno essere interrogate dal database vettoriale. La scelta del modello di embedding testuale e del database vettoriale è cruciale.
Il modello di embedding testuale controllerà la nostra velocità di recupero durante le query. Influenzerà anche la qualità degli embedding generati. Anche i costi sostenuti per creare e archiviare gli embedding devono essere sostenibili. Su HuggingFace sono disponibili molte opzioni per i modelli di embedding testuale. Il database vettoriale che scegliamo deve essere robusto e supportare capacità di parallelizzazione. Abbiamo anche bisogno di funzionalità come la possibilità di filtrare i metadati, eseguire la quantizzazione, ecc. Zilliz fornisce un robusto database vettoriale open-source, Milvus, che puoi consultare.
Monitorare le narrazioni nel nostro spazio dei parametri
Una narrazione giornalistica è una serie di reportage di notizie che dovrebbe avere più punti di vista e spesso contiene errori sia accidentali sia intenzionali. Gli embedding arricchiti caratterizzano il nostro spazio dei parametri pulito.
Inizialmente, il clustering viene effettuato in base alla similarità semantica dei parametri incorporati. È essenziale disporre di fonti in più lingue e da più fonti. Robert menziona che
“Avere prospettive concorrenti nei dati è cruciale per confrontare il modo in cui viene riportata una particolare narrazione giornalistica “
La domanda successiva è: come colleghiamo nel tempo diversi reportage della stessa narrazione?
Eseguiamo il clustering in diverse finestre temporali, seguendo la sequenza cronologica. Possiamo collegare i cluster in diversi momenti temporali attraverso vari metodi. Robert raccomanda anche alcuni metodi di collegamento dei cluster come:
Puoi addestrare un classificatore binario per cluster, per prevedere se l’articolo di notizie appartiene a una particolare narrazione
Puoi misurare come cambia il cluster del centroide. Questo può fornire informazioni sul fatto che tu stia entrando in un nuovo cluster o rientrando in uno vecchio (indicativo della stessa narrazione giornalistica)
Possiamo anche utilizzare tecniche di clustering sovrapposto, come Fuzzy C-means e soft clustering con Gaussian Mixture Models.
Con questo approccio, possiamo monitorare una particolare nicchia su lunghi intervalli di tempo. Ad esempio, l’immagine qui sotto mostra una narrazione sul concerto di Madonna riportata nell’arco di 6 giorni. Il 1° maggio c’è stato un annuncio del concerto, e il 6 maggio c’è stato un articolo sui record rivoluzionari stabiliti dal concerto. Attraverso la creazione e la connessione di cluster, possiamo collegare i due articoli insieme in sequenza. Questo ci consente di monitorare la copertura e il sentiment nel tempo per ottenere insight. Possiamo verificare come le fonti spagnole lo stanno riportando, come lo stanno riportando gli Stati Uniti, e altro ancora.
Ogni cluster dovrebbe essere diversificato in termini di regioni/paesi. Attraverso il prompt engineering, assicuriamo che ogni prospettiva sia rappresentata nel cluster. Quindi, possiamo identificare allineamenti e contraddizioni tra diverse fonti di informazione. Ad esempio, il modo in cui i report statunitensi riportano una notizia potrebbe avere un sentiment diverso rispetto a quelli russi.
Esempi dimostrativi
Robert presenta un esempio di monitoraggio della narrazione della “Morte di Alexi Navalny”.
Misuriamo quanta copertura ogni paese ha dedicato alla notizia della morte di Navalny. Robert sceglie la copertura delle notizie russe, francesi e statunitensi per confrontare le differenze. È stato osservato che lo 0,5% della copertura delle notizie francesi era dedicato a Navalny, mentre in Russia solo lo 0,14%.
Questo indica che la Russia potrebbe aver imposto una censura sulla copertura di questo argomento. Possiamo anche confrontare quali temi di notizie ha riportato la Russia rispetto alle notizie riportate dai media francesi e statunitensi. L’immagine qui sotto mostra un piccolo esempio. È evidente che la copertura di notizie negative è molto bassa in Russia.
Robert ci mostra anche box plot che confrontano la copertura mediatica del conflitto Russia-Ucraina da parte di diversi paesi/lingue. In questo caso, la copertura dei media statunitensi sembra essere insolitamente bassa.
Questi insight possono essere davvero utili per comprendere i casi in cui gli articoli di notizie sono faziosi o riportati selettivamente. Ciò aumenta la trasparenza della copertura selettiva, e possiamo rimuovere il bias durante l’addestramento di nuovi modelli sulle notizie.
Conclusione
Il tracciamento narrativo multilingue basato sull’AI può aumentare la trasparenza e garantire prospettive globali e una copertura degli eventi più completa. Apre la strada all’inclusione di voci provenienti da diversi limiti e contesti culturali, il che è essenziale. Possiamo anche verificare in modo incrociato le nostre informazioni attraverso varie fonti, riducendo al minimo le possibilità di incongruenze. Sono necessari ricerca e sviluppi continui nel prompt engineering e nell’architettura degli LLM per sviluppare approcci più avanzati.
Continua a leggere
Why and How to Migrate from Self-Hosted Milvus to Zilliz Cloud
A simple, step-by-step guide to migrating from Milvus to Zilliz Cloud. Learn both endpoint and backup methods for a smooth, scalable vector database migration.
Announcing the General Availability of Zilliz Cloud BYOC on Google Cloud Platform
Zilliz Cloud BYOC on GCP offers enterprise vector search with full data sovereignty and seamless integration.
DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
Explore DeepSeek-VL2, the open-source MoE vision-language model. Discover its architecture, efficient training pipeline, and top-tier performance.