Veridien усиливает анализ политики ЕС с помощью Milvus
Призматический гибридный поиск:
Совершенствует аналитику посредством многоаспектного анализа, объединяя семантическое понимание с точностью ключевых слов, чтобы прояснить классификации по всем 32 направлениям политики ЕС.
Многоязычный анализ в реальном времени:
Обеспечивает классификацию содержания политики ЕС в реальном времени на нескольких языках для мгновенного получения аналитических сведений.
Масштабируемое управление знаниями:
Обеспечивает работу Policy Manager и AI Semantic Wiki, эффективно обрабатывая десятки тысяч документов.
I really like how Milvus' hybrid search allowed me to blend semantic and keyword search, which is crucial in a domain as technical and complex as EU policy.
Alessandro Saccoia
О Veridien
Veridien — стартап на стыке искусственного интеллекта и анализа политики ЕС. Он был основан многопрофильной командой, в которую входят эксперты по ИИ, специалисты по праву ЕС и доктора философии в области физики. Компания сочетает глубокие предметные знания европейской политики с передовыми возможностями ИИ, чтобы преобразовывать сложную информацию о политике в практические инсайты. Их интегрированное решение под названием Policy Manager помогает заинтересованным сторонам ориентироваться и разбираться в сложном ландшафте политики ЕС, предоставляя анализ в реальном времени, интеллектуальную категоризацию и возможности автоматизированного управления знаниями. Благодаря инновационным подходам в области ИИ они делают обширную экосистему информации о политике ЕС более доступной и пригодной к действию для лиц, принимающих решения.
Технические вызовы: управление сложными данными о политике в масштабе
Veridien столкнулась с несколькими критическими вызовами при создании своей системы анализа политики ЕС, каждый из которых требовал возможностей, выходящих за рамки традиционных баз данных:
Ни семантического поиска, ни поиска по ключевым словам по отдельности недостаточно
Область политики ЕС поставила двойную поисковую задачу. Во-первых, при использовании чистого семантического поиска с плотными векторами схожие области политики, такие как «энергетическая политика» и «экологическая политика», становились почти неотличимыми из-за пересекающейся терминологии. Во-вторых, специализированная и постоянно развивающаяся терминология политического ландшафта (в 32 отдельных областях политики) требовала возможностей точного сопоставления ключевых слов. Это указывало на необходимость гибридного поиска, который мог бы сочетать семантическое понимание с традиционным сопоставлением ключевых слов. Однако реализация такого гибридного подхода требовала векторной базы данных, способной эффективно обрабатывать как плотные векторы для семантического поиска, так и разреженные векторы для сопоставления на основе ключевых слов в рамках одного запроса.
Языковая сложность
Многоязычный характер документации ЕС требовал сложной системы векторного поиска, которая могла бы сохранять семантические связи между языками. Традиционные базы данных с трудом справляются с межъязыковым поиском, но векторные базы данных могут представлять документы в общем семантическом пространстве независимо от их исходного языка. Задача заключалась в том, чтобы найти решение, которое могло бы сохранять техническую точность и одновременно обеспечивать возможности многоязычного поиска.
Решения: гибридный поиск с Milvus обеспечивает полноценную платформу анализа политики
Veridien разработала сложную экосистему управления знаниями на базе Milvus, объединяющую традиционный поиск по ключевым словам с современными возможностями семантического поиска. В основе их архитектуры лежит параллельная система баз данных, которая сочетает надежный backend Django с возможностями векторного поиска Milvus. Системы синхронизируются через пользовательский класс-обертку, который поддерживает согласованность между ними. «Раньше я никогда не использовал только семантические (векторные) базы данных, — объясняет сооснователь Veridien Алессандро Саккоя, — потому что в действительно вертикальных, глубоких областях с большим количеством технического жаргона все еще нужен обычный поиск на основе ключевых слов. Мне очень нравится, как гибридный поиск Milvus позволил мне объединить эти два способа поиска». Их реализация сосредоточена вокруг этой функциональности гибридного поиска, которая оказалась критически важной для обработки технического языка политики ЕС. Чтобы оптимизировать точность классификации, Veridien использует способность Milvus одновременно работать как с плотными, так и с разреженными векторами. «Когда вы пытаетесь классифицировать документы политики ЕС, используя только векторный поиск, — отмечает Саккоя, — точки в многомерном пространстве оказываются слишком близко друг к другу. Такой гибридный поиск с распределением весов 50/50 дал нам лучшие результаты». Каждый документ проходит параллельную обработку для генерации: Плотных векторов с использованием модели эмбеддингов BGE-M3 для захвата семантического смысла Разреженных векторов из стратегически преобразованных документов, которые подчеркивают доменно-специфические ключевые слова Veridien использует возможности метаданных Milvus для поддержания растущей базы знаний предварительно классифицированных политических документов. Для каждого документа, хранящегося в Milvus, они прикрепляют метаданные, содержащие классификацию категории политики. При обработке нового контента, будь то документы или потоки в реальном времени, система выполняет гибридный поиск по этой коллекции, чтобы найти наиболее похожие существующие документы. Затем классификация определяется путем голосования большинства категорий политики, хранящихся в метаданных 100 наиболее похожих документов.
Решение охватывает три ключевых продукта, которые все используют возможности векторного поиска и метаданных Milvus:
- Policy Manager использует гибридный поиск и метаданные Milvus для автоматической категоризации и организации контента, связанного с политикой, во всех областях ЕС
- Stream Scope расширяет эту возможность на анализ трансляций в реальном времени, используя Milvus для оперативной классификации парламентских заседаний путем сопоставления с предварительно классифицированным контентом
- AI Semantic Wiki выступает в роли базы знаний, используя систему метаданных Milvus для хранения и извлечения связей между политическими документами, что позволяет строить взаимосвязанные графы знаний о политике
Результат: демократизация аналитики политики в реальном времени
- Реализация гибридного поиска Milvus обеспечила исключительную техническую производительность:
- Успешно обрабатывает десятки тысяч документов, сохраняя высокую точность классификации во всех 32 областях политики ЕС
- Обеспечивает классификацию в реальном времени потокового контента с парламентских заседаний и пресс-конференций
- Поддерживает стабильную производительность на нескольких языках, сохраняя техническую точность
Влияние на бизнес оказалось преобразующим как для Veridien, так и для ее клиентов. Их решение демократизировало доступ к аналитике политики ЕС несколькими ключевыми способами: Анализ в реальном времени: Раньше политики и компании платили тысячи евро за ручную расшифровку пресс-конференций Европейской комиссии, часто ожидая результатов часами или днями. Теперь Stream Scope предоставляет эти инсайты мгновенно, автоматически категоризируя контент по 32 официальным темам политики ЕС. Это оказалось особенно ценным для заинтересованных сторон, которым необходимо быстро реагировать на изменения в политике.
Экономически эффективное масштабирование: Способность Policy Manager эффективно обрабатывать огромные объемы многоязычного контента сделала сложный анализ политики доступным для более широкого круга организаций. То, что раньше требовало команд политических аналитиков, теперь может выполняться с помощью автоматизированной классификации и анализа.
Улучшенное принятие решений: AI Semantic Wiki преобразила то, как организации понимают взаимосвязи между политиками, позволяя им одновременно выявлять связи и последствия в нескольких областях. Пользователи особенно ценят способность системы отображать релевантные изменения в политике в контексте, независимо от их источника или языка.
Всеобъемлющий охват: Используя возможности гибридного поиска Milvus во всех трех продуктах, система Veridien может эффективно отслеживать и анализировать изменения в политике во всех институтах ЕС — от официальных законодательных документов до парламентских дебатов в реальном времени. Такой всеобъемлющий охват гарантирует, что заинтересованные стороны никогда не упустят релевантные изменения в политике, независимо от того, где они возникают.
Будущие разработки
В перспективе Veridien планирует расширить использование Milvus за счет: Изучения продвинутых конфигураций гибридного поиска за пределами текущего взвешивания 50/50 Расширения использования системы метаданных Milvus для более сложных приложений графов знаний Использования развивающихся возможностей Milvus для обработки предметно-специфических ключевых слов Команда предполагает создание все более сложных взаимосвязей между политическими документами, что позволит глубже анализировать, как разные области политики влияют друг на друга. Их особенно интересует тонкая настройка весов гибридного поиска в зависимости от разных областей политики, чтобы дополнительно повысить точность классификации в высокотехнических областях политики.
- О Veridien
- Технические вызовы: управление сложными данными о политике в масштабе
- Решения: гибридный поиск с Milvus обеспечивает полноценную платформу анализа политики
- Результат: демократизация аналитики политики в реальном времени
- Будущие разработки
Контент
Пример использования
Отрасль
Профессиональные услуги