Veridien alimente l’analyse des politiques de l’UE avec Milvus
Recherche hybride prismatique :
Affiner l’intelligence grâce à une analyse multidimensionnelle, fusionnant la compréhension sémantique avec la précision des mots-clés pour éclairer les classifications dans l’ensemble des 32 domaines politiques de l’UE.
Analyse multilingue en temps réel :
Permet une classification multilingue en temps réel du contenu des politiques de l’UE pour des insights instantanés.
Gestion des connaissances évolutive :
Alimente Policy Manager et AI Semantic Wiki, en gérant efficacement des dizaines de milliers de documents.
I really like how Milvus' hybrid search allowed me to blend semantic and keyword search, which is crucial in a domain as technical and complex as EU policy.
Alessandro Saccoia
À propos de Veridien
Veridien est une startup à l’intersection de l’intelligence artificielle et de l’analyse des politiques de l’UE. Elle a été fondée par une équipe multidisciplinaire qui comprend des experts en IA, des spécialistes du droit de l’UE et des docteurs en physique. L’entreprise combine une connaissance approfondie du domaine des politiques européennes avec des capacités d’IA de pointe afin de transformer des informations politiques complexes en insights exploitables. Leur solution intégrée, appelée Policy Manager, aide les parties prenantes à naviguer dans le paysage complexe des politiques de l’UE et à le comprendre en fournissant une analyse en temps réel, une catégorisation intelligente et des capacités automatisées de gestion des connaissances. Grâce à des approches innovantes en matière d’IA, ils rendent le vaste écosystème d’informations sur les politiques de l’UE plus accessible et plus exploitable pour les décideurs.
Défis techniques : gérer des données politiques complexes à grande échelle
Veridien a été confrontée à plusieurs défis critiques lors de la création de son système d’analyse des politiques de l’UE, chacun nécessitant des capacités allant au-delà des bases de données traditionnelles :
Ni la recherche sémantique ni la recherche par mots-clés seules ne suffisent
Le domaine des politiques de l’UE présentait un double défi de recherche. Premièrement, lors de l’utilisation d’une recherche sémantique pure avec des vecteurs denses, des domaines politiques similaires comme la « politique énergétique » et la « politique environnementale » devenaient presque indiscernables en raison d’une terminologie qui se recoupe. Deuxièmement, la terminologie spécialisée et en constante évolution du paysage politique (à travers 32 domaines politiques distincts) exigeait des capacités précises de correspondance par mots-clés. Cela indiquait la nécessité d’une recherche hybride capable de combiner la compréhension sémantique avec la correspondance traditionnelle par mots-clés. Toutefois, la mise en œuvre d’une telle approche hybride nécessitait une base de données vectorielle capable de gérer efficacement à la fois les vecteurs denses pour la recherche sémantique et les vecteurs clairsemés pour la correspondance basée sur les mots-clés au sein d’une seule requête.
Complexité linguistique
La nature multilingue de la documentation de l’UE exigeait un système sophistiqué de recherche vectorielle capable de maintenir les relations sémantiques entre les langues. Les bases de données traditionnelles ont du mal avec la recherche interlingue, mais les bases de données vectorielles peuvent représenter les documents dans un espace sémantique partagé, quelle que soit leur langue d’origine. Le défi consistait à trouver une solution capable de préserver la précision technique tout en permettant des capacités de recherche multilingue.
Solutions : la recherche hybride avec Milvus alimente une plateforme complète d’intelligence politique
Veridien a développé un écosystème sophistiqué de gestion des connaissances alimenté par Milvus, combinant la recherche traditionnelle par mots-clés avec des capacités modernes de recherche sémantique. Au cœur de leur architecture se trouve un système de bases de données parallèle qui associe le backend robuste de Django aux capacités de recherche vectorielle de Milvus. Les systèmes sont synchronisés au moyen d’une classe wrapper personnalisée qui maintient la cohérence entre eux. « Je n’avais jamais utilisé uniquement des bases de données sémantiques (vectorielles) auparavant », explique Alessandro Saccoia, cofondateur de Veridien, « car dans des domaines vraiment verticaux et profonds, avec beaucoup de jargon technique, il faut toujours la recherche habituelle fondée sur les mots-clés. J’apprécie vraiment la manière dont la recherche hybride de Milvus m’a permis de combiner ces deux façons de chercher. » Leur implémentation repose sur cette fonctionnalité de recherche hybride, qui s’est révélée cruciale pour gérer le langage technique des politiques de l’UE. Pour optimiser la précision de la classification, Veridien exploite la capacité de Milvus à gérer simultanément des vecteurs denses et clairsemés. « Lorsque vous essayez de classer des documents de politique de l’UE en utilisant uniquement la recherche vectorielle », note Saccoia, « les points dans l’espace multidimensionnel sont trop proches les uns des autres. Ce type de recherche hybride avec une répartition du poids 50/50 nous a donné les meilleurs résultats. » Chaque document fait l’objet d’un traitement parallèle afin de générer : Des vecteurs denses utilisant le modèle d’embedding BGE-M3 pour capturer le sens sémantique Des vecteurs clairsemés issus de documents transformés stratégiquement qui mettent l’accent sur les mots-clés propres au domaine Veridien exploite les capacités de métadonnées de Milvus pour maintenir une base de connaissances croissante de documents de politique préclassifiés. Pour chaque document stocké dans Milvus, ils joignent des métadonnées contenant la classification de la catégorie de politique. Lors du traitement de nouveaux contenus, qu’ils proviennent de documents ou de flux en temps réel, le système effectue des recherches hybrides dans cette collection afin de trouver les documents existants les plus similaires. La classification est ensuite déterminée par un vote majoritaire des catégories de politique stockées dans les métadonnées des 100 documents similaires les mieux classés.
La solution couvre trois produits clés qui exploitent tous les capacités de recherche vectorielle et de métadonnées de Milvus :
- Policy Manager utilise la recherche hybride et les métadonnées de Milvus pour catégoriser et organiser automatiquement le contenu lié aux politiques dans tous les domaines de l’UE
- Stream Scope étend cette capacité à l’analyse des diffusions en temps réel, en utilisant Milvus pour la classification en direct des sessions parlementaires par rapprochement avec du contenu préclassifié
- AI Semantic Wiki agit comme une base de connaissances, en utilisant le système de métadonnées de Milvus pour stocker et récupérer les relations entre les documents de politique, permettant la construction de graphes de connaissances de politiques interconnectés
Résultat : démocratiser l’intelligence politique en temps réel
- L’implémentation de la recherche hybride de Milvus a offert des performances techniques exceptionnelles :
- Traite avec succès des dizaines de milliers de documents tout en maintenant une précision élevée de classification dans les 32 domaines de politique de l’UE
- Permet la classification en temps réel du contenu diffusé en streaming depuis les sessions parlementaires et les conférences de presse
- Maintient des performances constantes dans plusieurs langues tout en préservant la précision technique
L’impact commercial a été transformateur tant pour Veridien que pour ses clients. Leur solution a démocratisé l’accès aux informations sur les politiques de l’UE de plusieurs façons clés : Analyse en temps réel : Auparavant, les responsables politiques et les entreprises payaient des milliers d’euros pour la transcription manuelle des conférences de presse de la Commission européenne, attendant souvent des heures ou des jours pour obtenir les résultats. Stream Scope fournit désormais ces informations instantanément, en catégorisant automatiquement le contenu selon les 32 thèmes officiels des politiques de l’UE. Cela s’est révélé particulièrement précieux pour les parties prenantes qui doivent réagir rapidement aux évolutions des politiques.
Mise à l’échelle rentable : La capacité du Policy Manager à traiter efficacement de vastes quantités de contenu multilingue a rendu l’analyse sophistiquée des politiques accessible à un plus large éventail d’organisations. Ce qui nécessitait autrefois des équipes d’analystes des politiques peut désormais être accompli grâce à une classification et une analyse automatisées.
Prise de décision améliorée : L’AI Semantic Wiki a transformé la manière dont les organisations comprennent les relations entre les politiques, leur permettant d’identifier simultanément des liens et des implications dans plusieurs domaines. Les utilisateurs apprécient particulièrement la capacité du système à faire émerger les évolutions politiques pertinentes en contexte, quelle que soit leur source ou leur langue.
Couverture complète : En exploitant les capacités de recherche hybride de Milvus dans les trois produits, le système de Veridien peut surveiller et analyser efficacement les évolutions politiques dans toutes les institutions de l’UE, des documents législatifs formels aux débats parlementaires en temps réel. Cette couverture complète garantit que les parties prenantes ne manquent jamais les évolutions politiques pertinentes, quel que soit leur lieu d’origine.
Développements futurs
À l’avenir, Veridien prévoit d’améliorer son utilisation de Milvus en : Explorant des configurations avancées de recherche hybride au-delà de la pondération actuelle de 50/50 Élargissant leur utilisation du système de métadonnées de Milvus pour des applications de graphe de connaissances plus sophistiquées Exploitant les capacités évolutives de Milvus pour gérer les mots-clés propres à un domaine L’équipe envisage de créer des relations de plus en plus complexes entre les documents de politique, permettant une analyse plus approfondie de la manière dont différents domaines politiques s’influencent mutuellement. Elle s’intéresse particulièrement à l’ajustement fin de leurs pondérations de recherche hybride en fonction de différents domaines politiques afin d’améliorer encore la précision de la classification dans les domaines politiques hautement techniques.
- À propos de Veridien
- Défis techniques : gérer des données politiques complexes à grande échelle
- Solutions : la recherche hybride avec Milvus alimente une plateforme complète d’intelligence politique
- Résultat : démocratiser l’intelligence politique en temps réel
- Développements futurs
Contenu
Cas d'usage
Secteur d'activité
Services professionnels