ベリディアン、MilvusとEU政策分析を強化
プリズム・ハイブリッド・サーチ
多面的な分析を通じてインテリジェンスを向上させ、意味理解とキーワードの精度を融合させることで、EUの32の政策領域すべてにわたる分類を明らかにします。
多言語リアルタイム分析：
EUの政策コンテンツをリアルタイムで多言語分類し、瞬時に洞察することが可能。
スケーラブルな知識管理：
Powers Policy ManagerとAI Semantic Wikiで、何万ものドキュメントを効率的に処理。
I really like how Milvus' hybrid search allowed me to blend semantic and keyword search, which is crucial in a domain as technical and complex as EU policy.
Alessandro Saccoia
ベリディアンについて
Veridienは、人工知能とEU政策分析の交差点に位置するスタートアップ企業である。同社は、AI専門家、EU法専門家、物理学博士を含む学際的なチームによって設立された。同社は、複雑な政策情報を実用的な洞察に変換するために、欧州政策に関する深い領域知識と最先端のAI機能を兼ね備えている。 同社の統合ソリューションはPolicy Managerと呼ばれ、リアルタイムの分析、インテリジェントな分類、自動化された知識管理機能を提供することで、利害関係者がEU政策の複雑な状況をナビゲートし、理解できるよう支援する。革新的なAIアプローチにより、EUの政策情報の膨大なエコシステムを、意思決定者がよりアクセスしやすく、行動しやすいものにしている。
技術的課題複雑な政策データを大規模に管理
ベリディアンはEU政策分析システムを構築するにあたり、いくつかの重要な課題に直面した：
セマンティック検索やキーワード検索だけでは不十分である。
EUの政策ドメインは、二重の検索課題を提示した。第一に、密なベクトルによる純粋なセマンティック検索を使用した場合、「エネルギー政策」と「環境政策」のような類似した政策分野は、用語が重複するため、ほとんど区別がつかなくなった。第二に、（32の異なる政策分野にまたがる）専門的で常に進化する政策用語は、正確なキーワードマッチング機能を必要とした。このことから、従来のキーワードマッチングにセマンティックな理解を組み合わせたハイブリッド検索の必要性が示唆された。しかし、このようなハイブリッド・アプローチを実現するには、セマンティック検索のための密なベクトルと、キーワード・ベースのマッチングのための疎なベクトルの両方を単一のクエリ内で効率的に処理できるベクトル・データベースが必要であった。
言語複雑性
EUのドキュメントは多言語であるため、言語間の意味的関係を維持できる高度なベクトル検索システムが必要でした。従来のデータベースは言語横断的な検索に苦労しましたが、ベクトルデータベースは元の言語に関係なく、共有された意味空間で文書を表現することができます。課題は、多言語検索機能を実現しながら、技術的な精度を維持できるソリューションを見つけることでした。
ソリューションMilvusとのハイブリッド検索で完全なポリシーインテリジェンスプラットフォームを実現
Veridien社は、Milvusを利用した洗練されたナレッジマネジメント・エコシステムを開発し、従来のキーワード検索と最新のセマンティック検索機能を組み合わせました。アーキテクチャの中核は、Djangoの堅牢なバックエンドとMilvusのベクトル検索機能を組み合わせた並列データベースシステムです。両システムはカスタムラッパークラスを通して同期され、両システム間の一貫性を維持しています。 「Veridienの共同設立者であるAlessandro Saccoia氏は、「私は以前、セマンティック（ベクトル）データベースだけを使ったことはありませんでした。Milvusのハイブリッド検索によって、この2つの検索方法を融合させることができたのが、とても気に入っています」。彼らの実装の中心はこのハイブリッド検索機能であり、EU政策の専門用語を扱う上で極めて重要であることが判明した。 分類の精度を最適化するために、VeridienはMilvusの密なベクトルと疎なベクトルの両方を同時に扱う機能を活用している。「EUの政策文書をベクトル検索だけで分類しようとすると、多次元空間のポイントが近すぎます。このような50対50の重み分布によるハイブリッド検索が、最良の結果をもたらしたのです」。各文書は並列処理を経て生成される： BGE-M3エンベッディング・モデルを使用した、意味的な意味を捕捉するための密なベクトル ドメイン固有のキーワードを強調するために戦略的に変換された文書からのスパースベクトル ベリディアンはMilvusのメタデータ機能を活用し、分類前の政策文書の知識ベースを維持する。Milvusに保存された各文書には、政策カテゴリ分類を含むメタデータが添付される。新しいコンテンツを処理する際には、文書であれリアルタイムのストリームであれ、システムはこのコレクションに対してハイブリッド検索を実行し、最も類似した既存の文書を見つける。そして、上位100の類似文書のメタデータに格納されているポリシー・カテゴリの多数決によって分類が決定される。
このソリューションは、Milvusのベクトル検索とメタデータ機能を活用した3つの主要製品にまたがっている：
- Policy Managerは、Milvusのハイブリッド検索とメタデータを利用して、EUの全ドメインにまたがる政策関連コンテンツを自動的に分類・整理する。
- Stream Scopeは、この機能をリアルタイムの放送分析に拡張し、Milvusを使用して事前に分類されたコンテンツと照合することで、議会セッションのライブ分類を行う。
- AI Semantic Wikiは知識ベースとして機能し、Milvusのメタデータシステムを使って政策文書間の関係を保存・検索し、相互に接続された政策知識グラフの構築を可能にする。
成果リアルタイム政策インテリジェンスの民主化
- Milvusのハイブリッド検索実装は、卓越した技術的パフォーマンスを実現しました：
- EUの32の政策分野すべてにおいて高い分類精度を維持しながら、数万件の文書の処理に成功
- 議会や記者会見のストリーミングコンテンツをリアルタイムで分類可能
- 技術的精度を維持しながら、多言語で一貫したパフォーマンスを維持
ベリディアンとその顧客双方にとって、ビジネスへのインパクトは革命的なものでした。ベリディアンのソリューションは、いくつかの重要な点で、EUの政策に関する知見へのアクセスを民主化しました： リアルタイム分析：リアルタイム分析**：以前は、政治家や企業はEU委員会の記者会見を手作業で書き起こすために数千ユーロを支払っており、結果が出るまで数時間から数日待たされることもしばしばでした。Stream Scopeは、コンテンツを32の公式EU政策トピックに自動的に分類し、これらの洞察を即座に提供します。これは、政策の進展に迅速に対応する必要のある関係者にとって、特に貴重なものとなっている。
費用対効果の高いスケーリング：膨大な量の多言語コンテンツを効率的に処理するPolicy Managerの能力により、洗練された政策分析がより幅広い組織で利用できるようになりました。かつては政策アナリストのチームが必要であったものが、自動化された分類と分析によって達成できるようになりました。
意思決定の強化：AIセマンティック・ウィキは、組織が政策関係を理解する方法を変革し、複数のドメインにまたがる関連性や意味合いを同時に特定することを可能にしました。ユーザーは特に、出典や言語に関係なく、関連する政策動向を文脈に沿って表示するシステムの能力を高く評価しています。
包括的なカバレッジ：ベリディアンのシステムは、Milvusの3つの製品すべてにわたるハイブリッド検索機能を活用することで、正式な立法文書からリアルタイムの議会討論に至るまで、すべてのEU機関における政策動向を効果的に監視・分析することができます。この包括的なカバレッジにより、利害関係者はその発信地に関わらず、関連する政策動向を見逃すことがありません。
今後の展開
今後、ベリディアンはMilvusの利用を以下のように強化していく予定です： 現在の50/50ウェイトを超える高度なハイブリッド検索構成の検討 より洗練されたナレッジグラフアプリケーションのためのMilvusのメタデータシステムの利用拡大 Milvusの進化したドメイン固有キーワード処理機能の活用 チームは、政策文書間の関係をより複雑なものにし、異なる政策分野が互いにどのような影響を与え合っているかをより深く分析できるようにすることを想定している。特に、異なる政策ドメインに基づいてハイブリッド検索の重みを微調整し、高度に専門的な政策領域における分類精度をさらに向上させることに関心を寄せている。