Seguimiento narrativo multilingüe en las noticias
Los modelos de lenguaje grandes (LLMs) han transformado la forma en que realizamos diversas tareas, como la generación de contenido, los chatbots de servicio al cliente, etc. Con el crecimiento en el uso de los LLMs, debemos asegurarnos de que los modelos sean imparciales en su conocimiento de las noticias actuales para proporcionar respuestas fiables. El seguimiento narrativo multilingüe ayuda a lograr esto.
Una narrativa, una secuencia de eventos interconectados, es una herramienta poderosa para comprender el mundo que nos rodea. Por ejemplo, cuando se lanzó el nuevo tráiler de la película de Barbie, y Bath & Body Works lanzó una Edición Barbie de velas unos días después, estos dos eventos formaron una narrativa. En el contexto del seguimiento de noticias, esencialmente estamos rastreando estas narrativas. La narrativa de la campaña de la película Barbie, con su diversa cobertura y sentimientos en diferentes regiones e idiomas, es un ejemplo destacado. Este proceso de analizar cómo se informa una narrativa en términos de volumen y sentimiento en diferentes idiomas (países) es lo que llamamos Seguimiento Narrativo Multilingüe.
Robert Caulk, el fundador de Emergent Methods, recientemente dio una charla sobre el seguimiento narrativo multilingüe de noticias en el Berlin Unstructured Data Meetup organizado por Zilliz. Emergent Methods desarrolla software de código abierto para aplicar IA a desafíos de modelado adaptativo en tiempo real.
Durante la charla, Robert enfatiza la necesidad de rastrear diferentes narrativas de artículos de noticias. Presenta una arquitectura de modelos de embeddings combinados con LLM para rastrear noticias globales en diversos países, idiomas y fuentes.
¿Por qué necesitamos diseñar contextos de noticias?
Robert analiza las principales razones por las que el equipo de Emergent Methods estaba explorando diferentes enfoques para diseñar el contexto de noticias y rastrear las narrativas:
Aplicación de estándares periodísticos: Es primordial garantizar que los LLMs se adhieran a rigurosos estándares periodísticos. Es crucial prevenir la difusión de afirmaciones no verificadas, ya que esto podría conducir a desinformación y desconfianza.
Diversidad de fuentes e idiomas: El LLM debe conocer las noticias actuales o los eventos en curso al desarrollar servicios basados en LLMs para cualquier producto, desde un chatbot amigable hasta un asistente de analista financiero. El LLM debe estar expuesto a noticias diversas en distintos idiomas, países y otros datos demográficos. Las fuentes no pueden estar sesgadas, ya que no representarían democráticamente a la base de clientes. Por ejemplo, los artículos de noticias rusos y estadounidenses tendrán diferentes perspectivas sobre temas como la guerra de Ucrania. Necesitamos cubrir las diferentes perspectivas de cualquier narrativa noticiosa en particular en varios idiomas.
Evitar noticias obsoletas: Es imperativo evitar noticias desactualizadas. Informar noticias obsoletas puede tener repercusiones perjudiciales, provocando insatisfacción de los usuarios y una pérdida de confianza en los servicios basados en LLM.
Minimizar las alucinaciones: Otro desafío son las alucinaciones de los modelos de lenguaje grandes (LLMs). Las alucinaciones ocurren cuando los LLMs generan respuestas con datos incorrectos o incluso información fabricada basada en patrones históricos en los datos de entrenamiento. Los costos de las alucinaciones son considerables cuando llevamos los LLMs al mercado.
Contenido de noticias democratizado a escala: El desafío de gestionar contenido de noticias a escala está muy extendido. Muchas empresas, independientemente de su tamaño, tienen dificultades con la logística de rastrear más de 1 millón de artículos de noticias, asegurarse de que estén libres de falacias lógicas y tengan fuentes diversificadas. Una herramienta estratégica para abordar este desafío podría tener amplias aplicaciones en numerosos mercados.
Diseñar el espacio de parámetros: enriquecer artículos con LLM y crear embeddings
Robert define el objetivo de diseñar el espacio de parámetros como: “Nuestro objetivo es crear un espacio de parámetros limpio para agrupar temas de noticias desde diversas perspectivas “. La idea es extraer entidades, especialmente aquellas originadas en grupos demográficos pequeños. Robert también enfatiza la necesidad de normalizar las diferencias lingüísticas para comparar narrativas.
Un espacio de parámetros limpio y bien definido
Han diseñado un enfoque para enriquecer artículos de noticias. La idea es utilizar modelos de lenguaje grandes en múltiples pasos.
Proporcionar el título y el contenido del artículo como entrada a un LLM.
El LLM traduce y resume el contenido del artículo. A diferencia de los resumidores de referencia tradicionales, la resumición debe incluir evidencia para respaldar las afirmaciones. Esto evitará alucinaciones y desinformación.
Realizar la extracción personalizada de entidades y palabras clave a partir de la información resumida. Aquí es donde brilla el modelo de lenguaje grande GLiNER-news. Afinado para esta tarea, puede identificar y extraer rápidamente entidades como nombres de productos, eventos, fechas y organizaciones del texto. GLiNER-news pronto estará disponible en la plataforma HuggingFace, invitando al público a experimentar su eficiencia y eficacia.
Construcción de la página embebida: Los artículos enriquecidos se convierten en embeddings vectoriales utilizando un modelo de embedding de texto y se almacenan en una base de datos vectorial como Milvus. En el futuro, la información podrá consultarse desde la base de datos vectorial. Elegir el modelo de embedding de texto y la base de datos vectorial es crucial.
El modelo de embedding de texto controlará nuestra velocidad de recuperación al realizar consultas. También afectará la calidad de los embeddings generados. Los costos incurridos para crear y almacenar embeddings también deben ser asequibles. Hay muchas opciones disponibles en HuggingFace para modelos de embedding de texto. La base de datos vectorial que elijamos debe ser robusta y admitir capacidades de paralelización. También necesitamos funciones como la capacidad de filtrar metadatos, realizar cuantización, etc. Zilliz proporciona una base de datos vectorial robusta y de código abierto, Milvus, que puedes consultar.
Seguimiento de narrativas en nuestro espacio de parámetros
Una narrativa de noticias es una serie de informes de noticias que debería tener múltiples puntos de vista y a menudo contiene errores tanto accidentales como intencionales. Los embeddings enriquecidos caracterizan nuestro espacio de parámetros limpio.
Inicialmente, la agrupación se realiza en función de la similitud semántica de los parámetros embebidos. Es esencial contar con fuentes de múltiples idiomas y orígenes. Robert menciona que
“Tener perspectivas contrapuestas en los datos es crucial para comparar la cobertura de una narrativa de noticias particular “
La siguiente pregunta es: ¿cómo conectamos diferentes informes de noticias de la misma narrativa a lo largo del tiempo?
Realizamos agrupación en diferentes ventanas de tiempo, siguiendo una secuencia cronológica. Podemos conectar los clústeres en diferentes puntos temporales mediante varios métodos. Robert también recomienda algunos métodos de conexión de clústeres como:
Puedes entrenar un clasificador binario por clúster, para predecir si el artículo de noticias pertenece a una narrativa particular
Puedes medir cómo cambia el clúster centroide. Esto puede proporcionar información sobre si estás entrando en un nuevo clúster o reingresando a uno antiguo (indicativo de la misma narrativa de noticias)
También podemos utilizar técnicas de agrupación superpuesta, como Fuzzy C-means y agrupación suave con Modelos de Mezcla Gaussiana.
Con este enfoque, podemos rastrear un nicho particular durante largos períodos de tiempo. Por ejemplo, la imagen a continuación muestra una narrativa sobre el concierto de Madonna reportada durante 6 días. El 1 de mayo hubo un anuncio del concierto, y el 6 de mayo hubo un artículo sobre récords innovadores establecidos por el concierto. Mediante la creación y conexión de clústeres, podemos vincular los dos artículos en secuencia. Esto nos permite rastrear la cobertura y el sentimiento a lo largo del tiempo para obtener información. Podemos comprobar cómo lo están informando las fuentes españolas, cómo lo está informando EE. UU., y más.
Cada clúster debe ser diverso en regiones/países. Mediante la ingeniería de prompts, nos aseguramos de que cada perspectiva esté representada en el clúster. Luego, podemos identificar alineaciones y contradicciones entre diferentes fuentes de información. Por ejemplo, cómo las noticias que reporta EE. UU. podrían tener un sentimiento diferente al de las que reporta Rusia.
Ejemplos demostrativos
Robert presenta un ejemplo de seguimiento de la narrativa de la “Muerte de Alexi Navalny”.
Medimos cuánta cobertura dedicó cada país a informar sobre la muerte de Navalny. Robert elige la cobertura de noticias rusas, francesas y estadounidenses para comparar las diferencias. Se observó que el 0,5% de la cobertura de noticias francesas se dedicó a Navalny, mientras que Rusia tiene solo el 0,14%.
Esto indica que Rusia puede haber impuesto censura a la información sobre este tema. También podemos comparar qué temas noticiosos informó Rusia en comparación con las noticias reportadas por los medios franceses y estadounidenses. La imagen a continuación muestra un pequeño ejemplo. Es evidente que la cobertura de noticias negativas es muy baja en Rusia.
Robert también nos muestra diagramas de caja que comparan la cobertura de noticias del conflicto Rusia-Ucrania por diferentes países/idiomas. En este caso, la cobertura de los medios estadounidenses parece ser inusualmente baja.
Estos conocimientos pueden ser realmente útiles para comprender casos en los que los artículos de noticias están sesgados o se informan de manera selectiva. Esto aumenta la transparencia de la información selectiva, y podemos eliminar el sesgo al entrenar nuevos modelos con las noticias.
Conclusión
El seguimiento de narrativas multilingües impulsado por IA puede aumentar la transparencia y garantizar perspectivas globales y una cobertura de eventos más completa. Allana el camino para incluir voces de diferentes límites y contextos culturales, lo cual es esencial. También podemos verificar nuestra información de forma cruzada entre varias fuentes, minimizando las posibilidades de inconsistencias. Se necesitan investigaciones y desarrollos continuos en ingeniería de prompts y arquitectura de LLM para desarrollar enfoques más avanzados.
Sigue leyendo
Introducing Business Critical Plan: Enterprise-Grade Security and Compliance for Mission-Critical AI Applications
Discover Zilliz Cloud’s Business Critical Plan—offering advanced security, compliance, and uptime for mission-critical AI and vector database workloads.
Introducing Zilliz MCP Server: Natural Language Access to Your Vector Database
Developers can easily manage and query vector databases with natural language via Zilliz MCP Server in AI-native environments.
Vector Databases vs. Graph Databases
Use a vector database for AI-powered similarity search; use a graph database for complex relationship-based queries and network analysis.