Veridien、MilvusでEU政策分析を強化
プリズマティック・ハイブリッド検索:
多面的な分析を通じてインテリジェンスを精緻化し、意味理解とキーワードの精度を融合させることで、EUの全32政策分野にわたる分類を明らかにします。
多言語リアルタイム分析:
EU政策コンテンツのリアルタイム多言語分類を可能にし、即時のインサイトを提供します。
スケーラブルなナレッジマネジメント：
Policy Manager と AI Semantic Wiki を支え、数万件のドキュメントを効率的に処理します。
I really like how Milvus' hybrid search allowed me to blend semantic and keyword search, which is crucial in a domain as technical and complex as EU policy.
Alessandro Saccoia
Veridienについて
Veridienは、人工知能とEU政策分析の交差領域にあるスタートアップです。AIの専門家、EU法の専門家、物理学の博士号取得者を含む学際的なチームによって設立されました。同社は、欧州政策に関する深いドメイン知識と最先端のAI能力を組み合わせ、複雑な政策情報を実用的なインサイトへと変換しています。 同社の統合ソリューションであるPolicy Managerは、リアルタイム分析、インテリジェントな分類、自動化されたナレッジ管理機能を提供することで、ステークホルダーがEU政策の複雑な状況をナビゲートし理解するのを支援します。革新的なAIアプローチを通じて、同社はEU政策情報の広大なエコシステムを、意思決定者にとってよりアクセスしやすく、実行可能なものにしています。
技術的課題：大規模で複雑な政策データの管理
Veridienは、EU政策分析システムの構築において、従来のデータベースを超える機能を必要とするいくつかの重大な課題に直面しました。
セマンティック検索もキーワード検索も、単独では十分ではない
EU政策領域は、二重の検索課題を提示しました。第一に、密ベクトルによる純粋なセマンティック検索を使用すると、「エネルギー政策」と「環境政策」のような類似した政策分野が、用語の重なりによりほとんど区別できなくなりました。第二に、政策領域における専門的で絶えず進化する用語（32の異なる政策分野にわたる）には、正確なキーワードマッチング機能が必要でした。これは、セマンティックな理解と従来のキーワードマッチングを組み合わせられるハイブリッド検索の必要性を示していました。しかし、そのようなハイブリッドアプローチを実装するには、単一のクエリ内でセマンティック検索用の密ベクトルとキーワードベースのマッチング用の疎ベクトルの両方を効率的に処理できるベクトルデータベースが必要でした。
言語の複雑性
EU文書の多言語性は、言語間のセマンティックな関係を維持できる高度なベクトル検索システムを必要としました。従来のデータベースはクロスリンガル検索に苦労しますが、ベクトルデータベースは元の言語に関係なく、文書を共有されたセマンティック空間内で表現できます。課題は、多言語検索機能を実現しながら技術的な精度を保持できるソリューションを見つけることでした。
ソリューション：Milvusによるハイブリッド検索が完全な政策インテリジェンスプラットフォームを支える
Veridienは、Milvusを活用した高度なナレッジ管理エコシステムを開発し、従来のキーワード検索と最新のセマンティック検索機能を組み合わせました。そのアーキテクチャの中核にあるのは、Djangoの堅牢なバックエンドとMilvusのベクトル検索機能を組み合わせた並列データベースシステムです。これらのシステムは、両者の整合性を維持するカスタムラッパークラスを通じて同期されています。 「私はこれまで、セマンティック（ベクトル）データベースだけを使ったことはありませんでした」とVeridien共同創業者のAlessandro Saccoiaは説明します。「なぜなら、専門用語が多い非常に縦割りで深い領域では、依然として通常のキーワードベース検索が必要だからです。Milvusのハイブリッド検索によって、この2つの検索方法を組み合わせられる点が本当に気に入っています。」彼らの実装はこのハイブリッド検索機能を中心としており、EU政策の専門的な言語を扱ううえで不可欠であることが証明されました。 分類精度を最適化するため、VeridienはMilvusが密ベクトルと疎ベクトルの両方を同時に扱える機能を活用しています。「ベクトル検索だけを使ってEU政策文書を分類しようとすると」とSaccoiaは指摘します。「多次元空間内の点が互いに近すぎるのです。50/50の重み配分によるこの種のハイブリッド検索が、最良の結果をもたらしました。」各文書は並列処理され、以下を生成します。 意味を捉えるためにBGE-M3埋め込みモデルを使用した密ベクトル ドメイン固有のキーワードを強調するよう戦略的に変換された文書からの疎ベクトル VeridienはMilvusのメタデータ機能を活用し、事前分類された政策文書の成長し続けるナレッジベースを維持しています。Milvusに保存される各文書には、政策カテゴリ分類を含むメタデータが付与されます。文書またはリアルタイムストリームから新しいコンテンツを処理する際、システムはこのコレクションに対してハイブリッド検索を実行し、最も類似した既存文書を見つけます。その後、上位100件の類似文書のメタデータに保存された政策カテゴリの多数決によって分類が決定されます。
このソリューションは、いずれもMilvusのベクトル検索およびメタデータ機能を活用する3つの主要製品にわたっています。
- Policy Managerは、Milvusのハイブリッド検索とメタデータを使用して、すべてのEU領域にわたる政策関連コンテンツを自動的に分類・整理します
- Stream Scopeはこの機能をリアルタイム放送分析へ拡張し、事前分類されたコンテンツとの照合によって議会セッションをライブ分類するためにMilvusを使用します
- AI Semantic Wikiはナレッジベースとして機能し、Milvusのメタデータシステムを使用して政策文書間の関係を保存・取得し、相互接続された政策ナレッジグラフの構築を可能にします
成果：リアルタイム政策インテリジェンスの民主化
- Milvusのハイブリッド検索実装は、卓越した技術的パフォーマンスを実現しました。
- 32のすべてのEU政策分野にわたって高い分類精度を維持しながら、数万件の文書を正常に処理
- 議会セッションや記者会見からのストリーミングコンテンツのリアルタイム分類を可能に
- 技術的精度を維持しながら、複数言語にわたって一貫したパフォーマンスを維持
ビジネスへの影響は、Veridienとその顧客の双方にとって変革的なものでした。同社のソリューションは、いくつかの重要な方法でEU政策インサイトへのアクセスを民主化しました。 リアルタイム分析：以前は、政治家や企業はEU委員会の記者会見の手作業による文字起こしに数千ユーロを支払い、結果を得るまで何時間も、場合によっては何日も待つことがありました。Stream Scopeは現在、これらのインサイトを即座に提供し、コンテンツを32の公式EU政策トピックに自動分類します。これは、政策動向に迅速に対応する必要があるステークホルダーにとって特に価値があります。
費用対効果の高いスケーリング: Policy Managerが膨大な量の多言語コンテンツを効率的に処理できるようになったことで、高度な政策分析がより幅広い組織にとって利用可能になりました。かつては政策アナリストのチームを必要としていたことが、現在では自動分類と分析によって実現できます。
意思決定の強化: AI Semantic Wikiは、組織が政策の関係性を理解する方法を変革し、複数の領域にまたがるつながりや影響を同時に特定できるようにしました。ユーザーは特に、出典や言語に関係なく、関連する政策動向を文脈の中で提示するシステムの能力を高く評価しています。
包括的なカバレッジ: 3つすべての製品にわたってMilvusのハイブリッド検索機能を活用することで、Veridienのシステムは、正式な立法文書からリアルタイムの議会討論まで、すべてのEU機関における政策動向を効果的に監視・分析できます。この包括的なカバレッジにより、ステークホルダーは、どこで発生したものであっても、関連する政策動向を見逃すことがありません。
今後の展開
今後、VeridienはMilvusの活用を次のように強化する予定です。 現在の50/50の重み付けを超えた高度なハイブリッド検索構成の探求 より高度なナレッジグラフ用途に向けたMilvusのメタデータシステムの利用拡大 ドメイン固有のキーワードを処理するためのMilvusの進化する機能の活用 同チームは、政策文書間にますます複雑な関係を構築し、異なる政策分野が相互にどのように影響し合うかについて、より深い分析を可能にすることを構想しています。特に、高度に技術的な政策分野における分類精度をさらに向上させるため、政策ドメインごとにハイブリッド検索の重みを微調整することに強い関心を持っています。