Многоязычное отслеживание нарративов в новостях
Большие языковые модели (LLM) преобразили то, как мы выполняем различные задачи, такие как генерация контента, чат-боты для обслуживания клиентов и т. д. С ростом использования LLM нам необходимо обеспечить, чтобы модели были непредвзятыми в своих знаниях о текущих новостях, чтобы предоставлять надежные ответы. Многоязычное отслеживание нарративов помогает достичь этого.
Нарратив, последовательность взаимосвязанных событий, — это мощный инструмент для понимания окружающего нас мира. Например, когда был выпущен трейлер нового фильма Barbie, а Bath & Body Works несколько дней спустя выпустила Barbie Edition of Candles, эти два события сформировали нарратив. В контексте отслеживания новостей мы, по сути, отслеживаем эти нарративы. Нарратив кампании фильма Barbie с его разнообразным освещением и настроениями в разных регионах и на разных языках является ярким примером. Этот процесс анализа того, как нарратив освещается с точки зрения объема и тональности на разных языках (в странах), мы называем многоязычным отслеживанием нарративов.
Роберт Колк, основатель Emergent Methods, недавно выступил с докладом о многоязычном отслеживании новостных нарративов на берлинской Unstructured Data Meetup, организованной Zilliz. Emergent Methods разрабатывает программное обеспечение с открытым исходным кодом для применения ИИ к задачам адаптивного моделирования в реальном времени.
Во время доклада Роберт подчеркивает необходимость отслеживания различных нарративов новостных статей. Он представляет архитектуру моделей эмбеддингов в сочетании с LLM для отслеживания глобальных новостей в различных странах, на разных языках и из разных источников.
Зачем нам нужно проектировать новостные контексты?
Роберт обсуждает основные причины, по которым команда Emergent Methods изучала различные подходы к проектированию новостного контекста и отслеживанию нарративов:
Обеспечение соблюдения журналистских стандартов: Крайне важно гарантировать, что LLM придерживаются строгих журналистских стандартов. Критически важно предотвращать распространение непроверенных утверждений, поскольку это может привести к дезинформации и недоверию.
Разнообразие источников и языков: LLM должна знать текущие новости или происходящие события при разработке сервисов на основе LLM для любого продукта — от дружелюбного чат-бота до помощника финансового аналитика. LLM должна быть ознакомлена с разнообразными новостями на разных языках, из разных стран и других демографических групп. Источники не могут быть предвзятыми, поскольку в противном случае они не будут демократично представлять клиентскую базу. Например, российские и американские новостные статьи будут иметь разные взгляды на такие вопросы, как война в Украине. Нам необходимо охватывать разные точки зрения на любой конкретный новостной нарратив на различных языках.
Избежание устаревших новостей: Крайне важно избегать устаревших новостей. Сообщение устаревших новостей может иметь пагубные последствия, приводя к неудовлетворенности пользователей и потере доверия к сервисам на основе LLM.
Минимизация галлюцинаций: Еще одна проблема — это галлюцинации больших языковых моделей (LLM). Галлюцинации возникают, когда LLM генерируют ответы с неверными данными или даже вымышленной информацией на основе исторических закономерностей в обучающих данных. Издержки галлюцинаций весьма значительны, когда мы выводим LLM на рынок.
Демократизированный новостной контент в масштабе: Проблема управления новостным контентом в масштабе широко распространена. Многие компании, независимо от их размера, сталкиваются с трудностями в логистике отслеживания более 1 миллиона новостных статей, обеспечения их отсутствия логических ошибок и разнообразия источников. Стратегический инструмент для решения этой задачи мог бы иметь широкое применение на многочисленных рынках.
Проектирование пространства параметров: обогащение статей с помощью LLM и создание эмбеддингов
Robert определяет цель проектирования пространства параметров так: «Наша задача — создать чистое пространство параметров для кластеризации новостных тем с учетом разнообразных точек зрения». Идея заключается в извлечении сущностей, особенно тех, которые происходят из небольших демографических групп. Robert также подчеркивает необходимость нормализовать языковые различия для сравнения нарративов.
Чистое и четко определенное пространство параметров
Они разработали подход к обогащению новостных статей. Идея состоит в использовании больших языковых моделей в несколько этапов.
Передать заголовок и содержание статьи на вход LLM.
LLM переводит и резюмирует содержание статьи. В отличие от традиционных базовых суммаризаторов, резюме должно включать доказательства в поддержку утверждений. Это позволит избежать галлюцинаций и дезинформации.
Выполнить пользовательское извлечение сущностей и ключевых слов из резюмированной информации. Именно здесь большая языковая модель GLiNER-news проявляет себя особенно хорошо. Дообученная для этой задачи, она может быстро выявлять и извлекать из текста такие сущности, как названия продуктов, события, даты и организации. GLiNER-news скоро будет доступна на платформе HuggingFace, приглашая общественность оценить ее эффективность и результативность.
Создание встроенной страницы: обогащенные статьи преобразуются в векторные эмбеддинги с помощью модели текстовых эмбеддингов и сохраняются в векторной базе данных, такой как Milvus. В будущем информацию можно будет запрашивать из векторной базы данных. Выбор модели текстовых эмбеддингов и векторной базы данных имеет решающее значение.
Модель текстовых эмбеддингов будет контролировать скорость нашего извлечения при выполнении запросов. Она также повлияет на качество создаваемых эмбеддингов. Затраты на создание и хранение эмбеддингов также должны быть доступными. На HuggingFace доступно множество вариантов моделей текстовых эмбеддингов. Выбранная нами векторная база данных должна быть надежной и поддерживать возможности параллелизации. Нам также нужны такие функции, как возможность фильтровать метаданные, выполнять квантизацию и т. д. Zilliz предоставляет надежную векторную базу данных с открытым исходным кодом, Milvus, с которой вы можете ознакомиться.
Отслеживание нарративов в нашем пространстве параметров
Новостной нарратив — это серия новостных сообщений, которые должны содержать несколько точек зрения и часто включают как случайные, так и преднамеренные ошибки. Обогащенные эмбеддинги характеризуют наше чистое пространство параметров.
Изначально кластеризация выполняется на основе семантического сходства встроенных параметров. Важно иметь источники на нескольких языках и из разных источников. Robert упоминает, что
«Наличие конкурирующих точек зрения в данных имеет решающее значение для сравнения освещения конкретного новостного нарратива»
Следующий вопрос: как связать разные новостные сообщения одного и того же нарратива во времени?
Мы выполняем кластеризацию в разных временных окнах, следуя хронологической последовательности. Мы можем связывать кластеры в разные моменты времени с помощью различных методов. Robert также рекомендует несколько методов связывания кластеров, таких как:
Вы можете обучить бинарный классификатор для каждого кластера, чтобы предсказывать, принадлежит ли новостная статья к определенному нарративу
Вы можете измерять, как меняется центроид кластера. Это может предоставить информацию о том, входите ли вы в новый кластер или повторно входите в старый (что указывает на тот же новостной нарратив)
Мы также можем использовать методы пересекающейся кластеризации, такие как Fuzzy C-means и мягкая кластеризация с Gaussian Mixture Models.
С помощью этого подхода мы можем отслеживать определенную нишу на больших временных промежутках. Например, изображение ниже показывает нарратив о концерте Madonna, освещавшийся в течение 6 дней. 1 мая было объявление о концерте, а 6 мая вышла статья о рекордных достижениях, установленных этим концертом. Создавая и связывая кластеры, мы можем последовательно связать эти две статьи вместе. Это позволяет нам отслеживать освещение и тональность во времени, чтобы получать инсайты. Мы можем проверить, как об этом сообщают испанские источники, как об этом сообщают в США, и многое другое.
Каждый кластер должен быть разнообразным по регионам/странам. С помощью prompt engineering мы обеспечиваем, чтобы каждая точка зрения была представлена в кластере. Затем мы можем выявлять совпадения и противоречия между разными источниками освещения. Например, то, как американские источники освещают новости, может иметь иную тональность, чем российские.
Демонстрационные примеры
Robert представляет пример отслеживания нарратива «Смерть Alexi Navalny».
Мы измеряем, сколько внимания каждая страна уделила освещению смерти Navalny. Robert выбирает российское, французское и американское освещение новостей, чтобы сравнить различия. Было замечено, что 0,5% французского новостного освещения было посвящено Navalny, тогда как в России — только 0,14%.
Это указывает на то, что Россия могла ввести цензуру на освещение этой темы. Мы также можем сравнить, какие новостные темы освещала Россия по сравнению с новостями, освещенными французскими и американскими СМИ. Изображение ниже показывает небольшой пример. Очевидно, что негативное новостное освещение в России очень низкое.
Robert также показывает нам box plots, сравнивающие освещение конфликта Россия-Украина разными странами/языками. В этом случае освещение в американских СМИ, похоже, необычно низкое.
Эти инсайты могут быть действительно полезны для понимания случаев, когда новостные статьи предвзяты или освещаются выборочно. Это повышает прозрачность выборочного освещения, и мы можем устранить предвзятость при обучении новых моделей на новостях.
Заключение
Отслеживание многоязычных нарративов на базе AI может повысить прозрачность и обеспечить глобальные перспективы и более всестороннее освещение событий. Оно прокладывает путь к включению голосов из разных слоев и культурных контекстов, что крайне важно. Мы также можем перепроверять нашу информацию по различным источникам, минимизируя вероятность несоответствий. Необходимы непрерывные исследования и разработки в области prompt engineering и архитектуры LLM, чтобы разрабатывать более продвинутые подходы
Читать далее
Introducing Loon: A New Storage Engine for Vector Data That Never Stops Changing
Loon is a new storage engine for Milvus 3.0 and Zilliz Vector Lakebase, built to manage evolving vector datasets with ColumnGroups, row ID alignment, and Manifests.
Zilliz Cloud Update: Tiered Storage, Business Critical Plan, Cross-Region Backup, and Pricing Changes
This release offers a rebuilt tiered storage with lower costs, a new Business Critical plan for enhanced security, and pricing updates, among other features.
Introducing DeepSearcher: A Local Open Source Deep Research
In contrast to OpenAI’s Deep Research, this example ran locally, using only open-source models and tools like Milvus and LangChain.