Mehrsprachiges narratives Tracking in den Nachrichten
Large Language Models (LLMs) haben verändert, wie wir verschiedene Aufgaben ausführen, wie z. B. Content-Generierung, Chatbots im Kundenservice usw. Mit der zunehmenden Nutzung von LLMs müssen wir sicherstellen, dass die Modelle in ihrem Wissen über aktuelle Nachrichten unvoreingenommen sind, um zuverlässige Antworten zu liefern. Multilinguales Narrative Tracking hilft dabei, dies zu erreichen.
Ein Narrativ, eine Abfolge miteinander verbundener Ereignisse, ist ein wirkungsvolles Werkzeug, um die Welt um uns herum zu verstehen. Als zum Beispiel der Trailer zu Barbies neuem Film veröffentlicht wurde und Bath & Body Works einige Tage später eine Barbie Edition von Kerzen auf den Markt brachte, bildeten diese beiden Ereignisse ein Narrativ. Im Kontext der Nachrichtenverfolgung verfolgen wir im Wesentlichen diese Narrative. Das Narrativ der Barbie Movie Campaign mit seiner vielfältigen Berichterstattung und unterschiedlichen Stimmungen in verschiedenen Regionen und Sprachen ist ein Paradebeispiel. Dieser Prozess der Analyse, wie ein Narrativ in Bezug auf Umfang und Stimmung in verschiedenen Sprachen (Ländern) berichtet wird, nennen wir Multilinguales Narrative Tracking.
Robert Caulk, der Gründer von Emergent Methods, hielt kürzlich einen Vortrag über multilinguales Narrative Tracking von Nachrichten beim Berliner Unstructured Data Meetup, durchgeführt von Zilliz. Emergent Methods entwickelt Open-Source-Software, um KI auf Herausforderungen der adaptiven Echtzeitmodellierung anzuwenden.
Während des Vortrags betont Robert die Notwendigkeit, verschiedene Narrative von Nachrichtenartikeln zu verfolgen. Er stellt eine Architektur aus Embedding-Modellen in Kombination mit LLM vor, um globale Nachrichten über verschiedene Länder, Sprachen und Quellen hinweg zu verfolgen.
Warum müssen wir Nachrichtenkontexte entwickeln?
Robert erläutert die Hauptgründe, warum das Team von Emergent Methods verschiedene Ansätze zur Entwicklung von Nachrichtenkontexten und zur Verfolgung von Narrativen untersucht hat:
Durchsetzung journalistischer Standards: Es ist von größter Bedeutung sicherzustellen, dass LLMs strenge journalistische Standards einhalten. Es ist entscheidend, die Verbreitung ungeprüfter Behauptungen zu verhindern, da dies zu Fehlinformationen und Misstrauen führen könnte.
Quellen- & Sprachvielfalt: Das LLM sollte aktuelle Nachrichten oder laufende Ereignisse kennen, wenn LLM-basierte Dienste für ein beliebiges Produkt entwickelt werden, von einem freundlichen Chatbot bis hin zu einem Assistenten für Finanzanalysten. Das LLM muss mit vielfältigen Nachrichten über Sprachen, Länder und andere demografische Gruppen hinweg in Berührung kommen. Die Quellen dürfen nicht voreingenommen sein, da sie die Kundenbasis nicht demokratisch repräsentieren würden. Zum Beispiel werden russische und US-amerikanische Nachrichtenartikel unterschiedliche Perspektiven auf Themen wie den Ukrainekrieg haben. Wir müssen die unterschiedlichen Perspektiven eines bestimmten Nachrichtennarrativs über verschiedene Sprachen hinweg abdecken.
Vermeidung veralteter Nachrichten: Es ist unerlässlich, veraltete Nachrichten zu vermeiden. Die Berichterstattung über veraltete Nachrichten kann nachteilige Folgen haben und zu Unzufriedenheit der Nutzer sowie zu einem Vertrauensverlust in LLM-basierte Dienste führen.
Halluzinationen minimieren: Eine weitere Herausforderung sind die Halluzinationen großer Sprachmodelle (LLMs). Halluzinationen treten auf, wenn LLMs Antworten mit falschen Daten oder sogar erfundenen Informationen auf Grundlage historischer Muster in Trainingsdaten erzeugen. Die Kosten von Halluzinationen fallen schwer ins Gewicht, wenn wir LLMs auf den Markt bringen.
Demokratisierte Nachrichteninhalte in großem Maßstab: Die Herausforderung, Nachrichteninhalte in großem Maßstab zu verwalten, ist weit verbreitet. Viele Unternehmen, unabhängig von ihrer Größe, kämpfen mit der Logistik, über 1 Million Nachrichtenartikel zu verfolgen, sicherzustellen, dass sie frei von logischen Fehlschlüssen sind und diversifizierte Quellen haben. Ein strategisches Werkzeug zur Bewältigung dieser Herausforderung könnte breite Anwendungen in zahlreichen Märkten haben.
Entwicklung des Parameterraums: Anreicherung von Artikeln mit LLM & Erstellung von Embeddings
Robert definiert das Ziel des Engineerings des Parameterraums wie folgt: „Unser Ziel ist es, einen sauberen Parameterraum zu schaffen, um Nachrichtenthemen über unterschiedliche Perspektiven hinweg zu clustern“. Die Idee besteht darin, Entitäten zu extrahieren, insbesondere solche, die aus kleinen demografischen Gruppen stammen. Robert betont außerdem die Notwendigkeit, sprachliche Unterschiede zu normalisieren, um Narrative zu vergleichen.
Ein sauberer und klar definierter Parameterraum
Sie haben einen Ansatz zur Anreicherung von Nachrichtenartikeln entwickelt. Die Idee ist, große Sprachmodelle in mehreren Schritten einzusetzen.
Titel und Inhalt des Artikels als Eingabe für ein LLM bereitstellen.
Das LLM übersetzt und fasst den Inhalt des Artikels zusammen. Im Gegensatz zu den traditionellen Basis-Zusammenfassungsmodellen sollte die Zusammenfassung Belege zur Unterstützung von Behauptungen enthalten. Dadurch werden Halluzinationen und Fehlinformationen vermieden.
Die benutzerdefinierte Extraktion von Entitäten und Schlüsselwörtern aus den zusammengefassten Informationen durchführen. Hier glänzt das große Sprachmodell GLiNER-news. Es wurde für diese Aufgabe feinabgestimmt und kann Entitäten wie Produktnamen, Ereignisse, Daten und Organisationen schnell im Text identifizieren und extrahieren. GLiNER-news wird bald auf der HuggingFace-Plattform verfügbar sein und die Öffentlichkeit einladen, seine Effizienz und Wirksamkeit zu erleben.
Aufbau der eingebetteten Seite: Die angereicherten Artikel werden mithilfe eines Text-Embedding-Modells in Vektor-Embeddings umgewandelt und in einer Vektordatenbank wie Milvus gespeichert. In Zukunft können die Informationen aus der Vektordatenbank abgefragt werden. Die Wahl des Text-Embedding-Modells und der Vektordatenbank ist entscheidend.
Das Text-Embedding-Modell steuert unsere Abrufgeschwindigkeit bei Abfragen. Es beeinflusst auch die Qualität der erzeugten Embeddings. Die Kosten für die Erstellung und Speicherung von Embeddings müssen ebenfalls erschwinglich sein. Auf HuggingFace gibt es viele Optionen für Text-Embedding-Modelle. Die von uns gewählte Vektordatenbank muss robust sein und Parallelisierungsfunktionen unterstützen. Außerdem benötigen wir Funktionen wie die Möglichkeit, Metadaten zu filtern, Quantisierung durchzuführen usw. Zilliz stellt eine robuste Open-Source-Vektordatenbank bereit, Milvus, die Sie sich ansehen können.
Verfolgung von Narrativen in unserem Parameterraum
Ein Nachrichten-Narrativ ist eine Reihe von Nachrichtenberichten, die mehrere Sichtweisen enthalten sollten und häufig sowohl unbeabsichtigte als auch absichtliche Fehler enthalten. Die angereicherten Embeddings charakterisieren unseren sauberen Parameterraum.
Zunächst erfolgt das Clustering auf Grundlage der semantischen Ähnlichkeit der eingebetteten Parameter. Es ist wichtig, Quellen aus mehreren Sprachen und von mehreren Quellen zu haben. Robert erwähnt, dass
„Konkurrierende Perspektiven in den Daten zu haben, ist entscheidend, um die Berichterstattung über ein bestimmtes Nachrichten-Narrativ zu vergleichen“
Die nächste Frage lautet: Wie verbinden wir verschiedene Nachrichtenberichte desselben Narrativs im Laufe der Zeit?
Wir führen Clustering in verschiedenen Zeitfenstern durch und folgen dabei der chronologischen Reihenfolge. Wir können die Cluster zu verschiedenen Zeitpunkten durch unterschiedliche Methoden verbinden. Robert empfiehlt außerdem einige Cluster-Verbindungsmethoden wie:
Sie können einen binären Klassifikator pro Cluster trainieren, um vorherzusagen, ob der Nachrichtenartikel zu einem bestimmten Narrativ gehört
Sie können messen, wie sich der Schwerpunkt-Cluster verändert. Dies kann Informationen darüber liefern, ob Sie in einen neuen Cluster eintreten oder erneut in einen alten eintreten (ein Hinweis auf dasselbe Nachrichten-Narrativ)
Wir können auch überlappende Clustering-Techniken verwenden, wie Fuzzy C-means und Soft Clustering mit Gaussian Mixture Models.
Mit diesem Ansatz können wir eine bestimmte Nische über lange Zeiträume hinweg verfolgen. Zum Beispiel zeigt das folgende Bild ein Narrativ über Madonnas Konzert, über das über 6 Tage berichtet wurde. Am 1. Mai gab es eine Ankündigung des Konzerts, und am 6. Mai erschien ein Artikel über bahnbrechende Rekorde, die durch das Konzert aufgestellt wurden. Durch Cluster-Erstellung & -Verknüpfung können wir die beiden Artikel in einer Sequenz miteinander verbinden. Dies ermöglicht es uns, die Berichterstattung und Stimmung im Zeitverlauf zu verfolgen, um Erkenntnisse zu gewinnen. Wir können prüfen, wie spanische Quellen darüber berichten, wie die USA darüber berichten, und mehr.
Jeder Cluster sollte in Bezug auf Regionen/Länder vielfältig sein. Durch Prompt Engineering stellen wir sicher, dass jede Perspektive im Cluster vertreten ist. Dann können wir Übereinstimmungen und Widersprüche zwischen verschiedenen Berichtsquellen identifizieren. Zum Beispiel könnte die Art, wie US-Berichte Nachrichten darstellen, eine andere Stimmung haben als Berichte aus Russland.
Demonstrative Beispiele
Robert präsentiert ein Beispiel für die Verfolgung des Narrativs zum „Tod von Alexi Navalny“.
Wir messen, wie viel Berichterstattung jedes Land dem Bericht über den Tod von Navalny widmete. Robert wählt russische, französische und US-amerikanische Nachrichtenberichterstattung aus, um die Unterschiede zu vergleichen. Es wurde beobachtet, dass 0,5 % der französischen Nachrichtenberichterstattung Navalny gewidmet waren, während es in Russland nur 0,14 % waren.
Dies deutet darauf hin, dass Russland möglicherweise Zensur bei der Berichterstattung zu diesem Thema verhängt hat. Wir können auch vergleichen, über welche Nachrichtenthemen Russland berichtete, im Vergleich zu den Nachrichten, über die französische und US-amerikanische Medien berichteten. Das folgende Bild zeigt ein kleines Beispiel. Es ist offensichtlich, dass negative Nachrichtenberichterstattung in Russland sehr gering ist.
Robert zeigt uns außerdem Boxplots, die die Nachrichtenberichterstattung über den Russland-Ukraine-Konflikt durch verschiedene Länder/Sprachen vergleichen. In diesem Fall scheint die Berichterstattung der US-Medien ungewöhnlich niedrig zu sein.
Diese Erkenntnisse können sehr hilfreich sein, um Fälle zu verstehen, in denen Nachrichtenartikel voreingenommen sind oder selektiv berichtet werden. Dies erhöht die Transparenz selektiver Berichterstattung, und wir können die Verzerrung entfernen, während neue Modelle mit Nachrichten trainiert werden.
Fazit
KI-gestütztes mehrsprachiges Narrative Tracking kann die Transparenz erhöhen und globale Perspektiven sowie eine umfassendere Ereignisberichterstattung sicherstellen. Es ebnet den Weg dafür, Stimmen aus unterschiedlichen Bereichen und kulturellen Hintergründen einzubeziehen, was wesentlich ist. Wir können unsere Informationen außerdem über verschiedene Quellen hinweg gegenprüfen und so die Wahrscheinlichkeit von Inkonsistenzen minimieren. Kontinuierliche Forschung und Entwicklungen im Prompt Engineering und in der LLM-Architektur sind erforderlich, um fortschrittlichere Ansätze zu entwickeln.
Weiterlesen
How to Install and Run OpenClaw (Previously Clawdbot/Moltbot) on Mac
Turn your Mac into an AI gateway for WhatsApp, Telegram, Discord, iMessage, and more — in under 5 minutes.
How to Build an Enterprise-Ready RAG Pipeline on AWS with Bedrock, Zilliz Cloud, and LangChain
Build production-ready enterprise RAG with AWS Bedrock, Nova models, Zilliz Cloud, and LangChain. Complete tutorial with deployable code.
Creating Collections in Zilliz Cloud Just Got Way Easier
We've enhanced the entire collection creation experience to bring advanced capabilities directly into the interface, making it faster and easier to build production-ready schemas without switching tools.