Veridien potenzia l'analisi delle politiche dell'UE con Milvus
Ricerca ibrida prismatica:
Affina l’intelligenza attraverso un’analisi poliedrica, fondendo la comprensione semantica con la precisione delle parole chiave per illuminare le classificazioni in tutti i 32 ambiti politici dell’UE.
Analisi multilingue in tempo reale:
Consente la classificazione multilingue in tempo reale dei contenuti delle politiche dell'UE per approfondimenti immediati.
Gestione scalabile della conoscenza:
Alimenta Policy Manager e AI Semantic Wiki, gestendo in modo efficiente decine di migliaia di documenti.
I really like how Milvus' hybrid search allowed me to blend semantic and keyword search, which is crucial in a domain as technical and complex as EU policy.
Alessandro Saccoia
Informazioni su Veridien
Veridien è una startup all'intersezione tra intelligenza artificiale e analisi delle politiche dell'UE. È stata fondata da un team multidisciplinare che include esperti di IA, specialisti di diritto dell'UE e dottori di ricerca in fisica. L'azienda combina una profonda conoscenza del dominio delle politiche europee con capacità di IA all'avanguardia per trasformare informazioni complesse sulle politiche in insight azionabili. La loro soluzione integrata, chiamata Policy Manager, aiuta gli stakeholder a orientarsi e a comprendere il complesso panorama delle politiche dell'UE fornendo analisi in tempo reale, categorizzazione intelligente e capacità automatizzate di gestione della conoscenza. Attraverso approcci innovativi di IA, stanno rendendo il vasto ecosistema di informazioni sulle politiche dell'UE più accessibile e azionabile per i decisori.
Sfide tecniche: gestire dati complessi sulle politiche su larga scala
Veridien ha affrontato diverse sfide critiche nella costruzione del suo sistema di analisi delle politiche dell'UE, ciascuna delle quali richiedeva capacità superiori a quelle dei database tradizionali:
Né la ricerca semantica né la ricerca per parole chiave da sole sono sufficienti
Il dominio delle politiche dell'UE presentava una doppia sfida di ricerca. In primo luogo, utilizzando la ricerca semantica pura con vettori densi, aree di policy simili come "politica energetica" e "politica ambientale" diventavano quasi indistinguibili a causa della terminologia sovrapposta. In secondo luogo, la terminologia specializzata e in continua evoluzione del panorama delle politiche (attraverso 32 aree di policy distinte) richiedeva capacità precise di corrispondenza delle parole chiave. Ciò indicava la necessità di una ricerca ibrida che potesse combinare la comprensione semantica con la tradizionale corrispondenza per parole chiave. Tuttavia, implementare un tale approccio ibrido richiedeva un database vettoriale in grado di gestire in modo efficiente sia vettori densi per la ricerca semantica sia vettori sparsi per la corrispondenza basata su parole chiave all'interno di una singola query.
Complessità linguistica
La natura multilingue della documentazione dell'UE richiedeva un sofisticato sistema di ricerca vettoriale in grado di mantenere le relazioni semantiche tra le lingue. I database tradizionali hanno difficoltà con la ricerca cross-lingual, ma i database vettoriali possono rappresentare i documenti in uno spazio semantico condiviso indipendentemente dalla loro lingua originale. La sfida era trovare una soluzione che potesse preservare la precisione tecnica abilitando al contempo capacità di ricerca multilingue.
Soluzioni: ricerca ibrida con Milvus alimenta una piattaforma completa di intelligence sulle politiche
Veridien ha sviluppato un sofisticato ecosistema di gestione della conoscenza basato su Milvus, combinando la tradizionale ricerca per parole chiave con le moderne funzionalità di ricerca semantica. Al centro della loro architettura c’è un sistema di database parallelo che abbina il robusto backend di Django alle capacità di ricerca vettoriale di Milvus. I sistemi sono sincronizzati tramite una classe wrapper personalizzata che mantiene la coerenza tra di essi. "Non avevo mai usato solo database semantici (vettoriali) prima," spiega Alessandro Saccoia, co-fondatore di Veridien, "perché in domini davvero verticali e profondi, con molto gergo tecnico, serve ancora la solita ricerca basata su parole chiave. Mi piace molto il modo in cui la ricerca ibrida di Milvus mi ha permesso di combinare questi due modi di cercare." La loro implementazione si concentra su questa funzionalità di ricerca ibrida, che si è rivelata cruciale per gestire il linguaggio tecnico delle politiche dell’UE. Per ottimizzare l’accuratezza della classificazione, Veridien sfrutta la capacità di Milvus di gestire simultaneamente vettori densi e sparsi. "Quando provi a classificare i documenti sulle politiche dell’UE usando solo la ricerca vettoriale," osserva Saccoia, "i punti nello spazio multidimensionale sono troppo vicini tra loro. Questo tipo di ricerca ibrida con distribuzione del peso 50/50 ci ha dato i risultati migliori." Ogni documento viene sottoposto a elaborazione parallela per generare: Vettori densi utilizzando il modello di embedding BGE-M3 per catturare il significato semantico Vettori sparsi da documenti trasformati strategicamente che enfatizzano le parole chiave specifiche del dominio Veridien sfrutta le funzionalità di metadata di Milvus per mantenere una knowledge base in crescita di documenti sulle politiche pre-classificati. Per ogni documento archiviato in Milvus, allegano metadata contenenti la classificazione della categoria di policy. Durante l’elaborazione di nuovi contenuti, provenienti da documenti o da stream in tempo reale, il sistema esegue ricerche ibride su questa collezione per trovare i documenti esistenti più simili. La classificazione viene quindi determinata tramite voto di maggioranza delle categorie di policy memorizzate nei metadata dei primi 100 documenti simili.
La soluzione comprende tre prodotti chiave che sfruttano tutti le capacità di ricerca vettoriale e metadata di Milvus:
- Policy Manager utilizza la ricerca ibrida e i metadata di Milvus per categorizzare e organizzare automaticamente i contenuti relativi alle politiche in tutti i domini dell’UE
- Stream Scope estende questa capacità all’analisi delle trasmissioni in tempo reale, utilizzando Milvus per la classificazione live delle sessioni parlamentari tramite confronto con contenuti pre-classificati
- AI Semantic Wiki funge da knowledge base, utilizzando il sistema di metadata di Milvus per archiviare e recuperare le relazioni tra documenti di policy, consentendo la costruzione di knowledge graph interconnessi sulle politiche
Risultato: democratizzare la policy intelligence in tempo reale
- L’implementazione della ricerca ibrida di Milvus ha offerto prestazioni tecniche eccezionali:
- Elabora con successo decine di migliaia di documenti mantenendo un’elevata accuratezza di classificazione in tutte le 32 aree di policy dell’UE
- Consente la classificazione in tempo reale di contenuti in streaming da sessioni parlamentari e conferenze stampa
- Mantiene prestazioni costanti su più lingue preservando al contempo la precisione tecnica
L’impatto sul business è stato trasformativo sia per Veridien sia per i suoi clienti. La loro soluzione ha democratizzato l’accesso agli insight sulle politiche dell’UE in diversi modi chiave: Analisi in tempo reale: In precedenza, politici e aziende pagavano migliaia di euro per la trascrizione manuale delle conferenze stampa della Commissione UE, spesso aspettando ore o giorni per i risultati. Stream Scope ora fornisce questi insight istantaneamente, categorizzando automaticamente i contenuti nei 32 argomenti ufficiali di policy dell’UE. Questo si è rivelato particolarmente prezioso per gli stakeholder che devono rispondere rapidamente agli sviluppi delle politiche.
Scalabilità conveniente: La capacità del Policy Manager di elaborare in modo efficiente enormi quantità di contenuti multilingue ha reso l'analisi avanzata delle politiche accessibile a una gamma più ampia di organizzazioni. Ciò che un tempo richiedeva team di analisti delle politiche può ora essere realizzato tramite classificazione e analisi automatizzate.
Processo decisionale migliorato: L'AI Semantic Wiki ha trasformato il modo in cui le organizzazioni comprendono le relazioni tra le politiche, consentendo loro di identificare connessioni e implicazioni in più ambiti contemporaneamente. Gli utenti apprezzano particolarmente la capacità del sistema di far emergere sviluppi politici rilevanti nel loro contesto, indipendentemente dalla fonte o dalla lingua.
Copertura completa: Sfruttando le funzionalità di ricerca ibrida di Milvus in tutti e tre i prodotti, il sistema di Veridien può monitorare e analizzare efficacemente gli sviluppi politici in tutte le istituzioni dell'UE, dai documenti legislativi formali ai dibattiti parlamentari in tempo reale. Questa copertura completa garantisce che gli stakeholder non perdano mai sviluppi politici rilevanti, indipendentemente dalla loro origine.
Sviluppi futuri
Guardando al futuro, Veridien prevede di migliorare il proprio utilizzo di Milvus: Esplorando configurazioni avanzate di ricerca ibrida oltre all'attuale ponderazione 50/50 Ampliando l'uso del sistema di metadati di Milvus per applicazioni di knowledge graph più sofisticate Sfruttando le capacità in evoluzione di Milvus nella gestione di parole chiave specifiche di dominio Il team immagina di creare relazioni sempre più complesse tra documenti politici, consentendo un'analisi più approfondita di come le diverse aree politiche si influenzino a vicenda. È particolarmente interessato a perfezionare i pesi della ricerca ibrida in base ai diversi ambiti politici per migliorare ulteriormente l'accuratezza della classificazione in aree politiche altamente tecniche.
- Informazioni su Veridien
- Sfide tecniche: gestire dati complessi sulle politiche su larga scala
- Soluzioni: ricerca ibrida con Milvus alimenta una piattaforma completa di intelligence sulle politiche
- Risultato: democratizzare la policy intelligence in tempo reale
- Sviluppi futuri
Contenuto
Caso d'Uso
Settore
Servizi professionali