Suivi narratif multilingue dans l’actualité
Les grands modèles de langage (LLMs) ont transformé la manière dont nous effectuons diverses tâches, telles que la génération de contenu, les chatbots de service client, etc. Avec la croissance de l’utilisation des LLMs, nous devons nous assurer que les modèles sont impartiaux dans leur connaissance de l’actualité afin de fournir des réponses fiables. Le suivi narratif multilingue aide à y parvenir.
Un récit, une séquence d’événements interconnectés, est un outil puissant pour comprendre le monde qui nous entoure. Par exemple, lorsque la nouvelle bande-annonce du film Barbie a été publiée, et que Bath & Body Works a lancé une édition Barbie de bougies quelques jours plus tard, ces deux événements ont formé un récit. Dans le contexte du suivi de l’actualité, nous suivons essentiellement ces récits. Le récit de la campagne du film Barbie, avec sa couverture et ses sentiments diversifiés dans différentes régions et langues, en est un exemple parfait. Ce processus d’analyse de la manière dont un récit est rapporté en termes de volume et de sentiment dans différentes langues (pays) est ce que nous appelons le suivi narratif multilingue.
Robert Caulk, le fondateur d’Emergent Methods, a récemment donné une conférence sur le suivi narratif multilingue de l’actualité lors du Berlin Unstructured Data Meetup organisé par Zilliz. Emergent Methods développe des logiciels open-source pour appliquer l’IA aux défis de modélisation adaptative en temps réel.
Regarder la conférence de Robert
Au cours de la conférence, Robert souligne la nécessité de suivre différents récits d’articles d’actualité. Il présente une architecture de modèles d’embedding combinés à un LLM pour suivre l’actualité mondiale à travers divers pays, langues et sources.
Pourquoi devons-nous concevoir des contextes d’actualité ?
Robert aborde les principales raisons pour lesquelles l’équipe d’Emergent Methods examinait différentes approches pour concevoir le contexte de l’actualité et suivre les récits :
Faire respecter les normes journalistiques : Il est primordial de s’assurer que les LLMs adhèrent à des normes journalistiques rigoureuses. Il est crucial d’empêcher la diffusion d’affirmations non vérifiées, car cela pourrait conduire à la désinformation et à la méfiance.
Diversité des sources et des langues : Le LLM doit connaître l’actualité ou les événements en cours lors du développement de services basés sur les LLMs pour tout produit, d’un Chatbot convivial à un assistant d’analyste financier. Le LLM doit être exposé à des informations diverses à travers les langues, les pays et d’autres données démographiques. Les sources ne peuvent pas être biaisées, car elles ne représenteraient pas démocratiquement la clientèle. Par exemple, les articles d’actualité russes et américains auront des perspectives différentes sur des questions telles que la guerre en Ukraine. Nous devons couvrir les différentes perspectives de tout récit d’actualité particulier à travers diverses langues.
Éviter les informations périmées : Il est impératif d’éviter les informations obsolètes. Rapporter des informations périmées peut avoir des répercussions néfastes, entraînant l’insatisfaction des utilisateurs et une perte de confiance dans les services basés sur les LLMs.
Minimiser les hallucinations : Un autre défi est celui des hallucinations des grands modèles de langage (LLMs). Les hallucinations se produisent lorsque les LLMs génèrent des réponses contenant des données incorrectes, voire des informations fabriquées, sur la base de schémas historiques dans les données d’entraînement. Les coûts des hallucinations sont importants lorsque nous mettons les LLMs sur le marché.
Contenu d’actualité démocratisé à grande échelle : Le défi de la gestion du contenu d’actualité à grande échelle est répandu. De nombreuses entreprises, quelle que soit leur taille, rencontrent des difficultés avec la logistique du suivi de plus de 1 million d’articles d’actualité, en veillant à ce qu’ils soient exempts de sophismes et qu’ils disposent de sources diversifiées. Un outil stratégique pour relever ce défi pourrait avoir de vastes applications sur de nombreux marchés.
Concevoir l’espace des paramètres : enrichir les articles avec un LLM et créer des embeddings
Robert définit l’objectif de l’ingénierie de l’espace de paramètres ainsi : « Notre objectif est de créer un espace de paramètres propre pour regrouper les sujets d’actualité selon diverses perspectives ». L’idée est d’extraire des entités, en particulier celles issues de petits groupes démographiques. Robert souligne également la nécessité de normaliser les différences linguistiques afin de comparer les récits.
Un espace de paramètres propre et bien défini
Ils ont conçu une approche pour enrichir les articles d’actualité. L’idée est d’utiliser de grands modèles de langage en plusieurs étapes.
Fournir le titre et le contenu de l’article en entrée à un LLM.
Le LLM traduit et résume le contenu de l’article. Contrairement aux synthétiseurs de référence traditionnels, le résumé doit inclure des preuves pour étayer les affirmations. Cela permettra d’éviter les hallucinations et la désinformation.
Effectuer l’extraction personnalisée des entités et des mots-clés à partir des informations résumées. C’est là que le grand modèle de langage GLiNER-news excelle. Affiné pour cette tâche, il peut identifier et extraire rapidement du texte des entités telles que des noms de produits, des événements, des dates et des organisations. GLiNER-news sera bientôt disponible sur la plateforme HuggingFace, invitant le public à faire l’expérience de son efficacité et de sa performance.
Création de la page intégrée : les articles enrichis sont convertis en vector embeddings à l’aide d’un modèle d’embedding de texte et stockés dans une base de données vectorielle comme Milvus. À l’avenir, les informations pourront être interrogées depuis la base de données vectorielle. Le choix du modèle d’embedding de texte et de la base de données vectorielle est crucial.
Le modèle d’embedding de texte contrôlera notre vitesse de récupération lors des requêtes. Il affectera également la qualité des embeddings générés. Les coûts engagés pour créer et stocker les embeddings doivent également rester abordables. De nombreuses options sont disponibles sur HuggingFace pour les modèles d’embedding de texte. La base de données vectorielle que nous choisissons doit être robuste et prendre en charge des capacités de parallélisation. Nous avons également besoin de fonctionnalités telles que la possibilité de filtrer les métadonnées, d’effectuer une quantification, etc. Zilliz fournit une base de données vectorielle open source robuste, Milvus, que vous pouvez découvrir.
Suivi des récits dans notre espace de paramètres
Un récit d’actualité est une série de reportages qui doit présenter plusieurs points de vue et contient souvent des erreurs à la fois accidentelles et intentionnelles. Les embeddings enrichis caractérisent notre espace de paramètres propre.
Au départ, le clustering est effectué sur la base de la similarité sémantique des paramètres intégrés. Il est essentiel de disposer de sources issues de plusieurs langues et de plusieurs origines. Robert mentionne que
« Disposer de perspectives concurrentes dans les données est crucial pour comparer la couverture d’un récit d’actualité particulier »
La question suivante est : comment relier différents reportages portant sur le même récit au fil du temps ?
Nous effectuons le clustering à différentes fenêtres temporelles, en suivant l’ordre chronologique. Nous pouvons relier les clusters à différents moments grâce à diverses méthodes. Robert recommande également quelques méthodes de connexion de clusters, comme :
Vous pouvez entraîner un classificateur binaire par cluster, afin de prédire si l’article d’actualité appartient à un récit particulier
Vous pouvez mesurer l’évolution du centroïde du cluster. Cela peut fournir des informations permettant de savoir si vous entrez dans un nouveau cluster ou si vous réintégrez un ancien (ce qui indique le même récit d’actualité)
Nous pouvons également utiliser des techniques de clustering avec chevauchement, telles que Fuzzy C-means et le clustering souple avec des modèles de mélanges gaussiens.
Grâce à cette approche, nous pouvons suivre une niche particulière sur de longues périodes. Par exemple, l’image ci-dessous montre un récit sur le concert de Madonna rapporté sur 6 jours. Le 1er mai, il y a eu une annonce du concert, et le 6 mai, un article a été publié sur les records révolutionnaires établis par le concert. Grâce à la création et à la connexion de clusters, nous pouvons relier les deux articles ensemble dans l’ordre. Cela nous permet de suivre la couverture et le sentiment au fil du temps afin d’obtenir des informations. Nous pouvons vérifier comment les sources espagnoles en parlent, comment les États-Unis en parlent, et plus encore.
Chaque cluster doit être diversifié en termes de régions/pays. Grâce à l’ingénierie de prompts, nous nous assurons que chaque perspective est représentée dans le cluster. Ensuite, nous pouvons identifier les alignements et les contradictions entre différentes sources de reportage. Par exemple, la manière dont les rapports américains traitent une information peut avoir un sentiment différent de celui des rapports russes.
Exemples démonstratifs
Robert présente un exemple de suivi du récit de la « mort d’Alexi Navalny ».
Nous mesurons la couverture que chaque pays a consacrée au décès de Navalny. Robert choisit la couverture médiatique russe, française et américaine pour comparer les différences. Il a été observé que 0,5 % de la couverture médiatique française était consacrée à Navalny, tandis que la Russie n’en a que 0,14 %.
Cela indique que la Russie a peut-être imposé une censure sur la couverture de ce sujet. Nous pouvons également comparer les sujets d’actualité rapportés par la Russie à ceux rapportés par les médias français et américains. L’image ci-dessous illustre un petit exemple. Il est évident que la couverture médiatique négative est très faible en Russie.
Robert nous montre également des boîtes à moustaches comparant la couverture médiatique du conflit Russie-Ukraine par différents pays/langues. Dans ce cas, la couverture des médias américains semble être anormalement faible.
Ces informations peuvent être vraiment utiles pour comprendre les cas où les articles de presse sont biaisés ou rapportés de manière sélective. Cela augmente la transparence du reportage sélectif, et nous pouvons supprimer le biais lors de l’entraînement de nouveaux modèles sur l’actualité.
Conclusion
Le suivi narratif multilingue alimenté par l’IA peut accroître la transparence et garantir des perspectives mondiales ainsi qu’une couverture plus complète des événements. Il ouvre la voie à l’inclusion de voix issues de différentes limites et de différents contextes culturels, ce qui est essentiel. Nous pouvons également vérifier nos informations auprès de diverses sources, minimisant ainsi les risques d’incohérences. Des recherches et des développements continus en ingénierie de prompts et en architecture LLM sont nécessaires pour élaborer des approches plus avancées
Continuer à lire
Zilliz Cloud Just Landed in Claude Code
The Zilliz Cloud Plugin brings the full power of Zilliz Cloud directly into your Claude Code terminal as natural-language conversations.
3 Easiest Ways to Use Claude Code on Your Mobile Phone
Run Claude Code from your phone with Remote Control, Happy Coder, or SSH + Tailscale. Comparison table, setup steps, and tools for typing, memory, and parallel tasks.
Our Journey to 35K+ GitHub Stars: The Real Story of Building Milvus from Scratch
Join us in celebrating Milvus, the vector database that hit 35.5K stars on GitHub. Discover our story and how we’re making AI solutions easier for developers.