Veridien potencia el análisis de políticas de la UE con Milvus
Búsqueda híbrida prismática:
Refina la inteligencia mediante un análisis multifacético, fusionando la comprensión semántica con la precisión de palabras clave para iluminar las clasificaciones en los 32 ámbitos de política de la UE.
Análisis multilingüe en tiempo real:
Permite la clasificación multilingüe en tiempo real de contenido sobre políticas de la UE para obtener información instantánea.
Gestión del conocimiento escalable:
Impulsa Policy Manager y AI Semantic Wiki, gestionando decenas de miles de documentos de forma eficiente.
I really like how Milvus' hybrid search allowed me to blend semantic and keyword search, which is crucial in a domain as technical and complex as EU policy.
Alessandro Saccoia
Acerca de Veridien
Veridien es una startup en la intersección de la inteligencia artificial y el análisis de políticas de la UE. Fue fundada por un equipo multidisciplinar que incluye expertos en IA, especialistas en derecho de la UE y doctores en física. La empresa combina un profundo conocimiento del dominio de las políticas europeas con capacidades de IA de vanguardia para transformar información compleja sobre políticas en conocimientos accionables. Su solución integrada, llamada Policy Manager, ayuda a las partes interesadas a navegar y comprender el complejo panorama de las políticas de la UE proporcionando análisis en tiempo real, categorización inteligente y capacidades automatizadas de gestión del conocimiento. Mediante enfoques innovadores de IA, están haciendo que el vasto ecosistema de información sobre políticas de la UE sea más accesible y accionable para los responsables de la toma de decisiones.
Desafíos técnicos: gestionar datos complejos sobre políticas a escala
Veridien se enfrentó a varios desafíos críticos al construir su sistema de análisis de políticas de la UE, cada uno de los cuales requería capacidades más allá de las bases de datos tradicionales:
Ni la búsqueda semántica ni la búsqueda por palabras clave por sí solas son suficientes
El dominio de las políticas de la UE planteaba un doble desafío de búsqueda. En primer lugar, al usar búsqueda semántica pura con vectores densos, áreas de políticas similares como "política energética" y "política medioambiental" se volvían casi indistinguibles debido a la terminología superpuesta. En segundo lugar, la terminología especializada y en constante evolución del panorama de políticas (en 32 áreas de políticas distintas) requería capacidades precisas de coincidencia por palabras clave. Esto indicó la necesidad de una búsqueda híbrida que pudiera combinar la comprensión semántica con la coincidencia tradicional por palabras clave. Sin embargo, implementar tal enfoque híbrido requería una base de datos vectorial capaz de manejar eficientemente tanto vectores densos para la búsqueda semántica como vectores dispersos para la coincidencia basada en palabras clave dentro de una sola consulta.
Complejidad lingüística
La naturaleza multilingüe de la documentación de la UE exigía un sistema sofisticado de búsqueda vectorial que pudiera mantener relaciones semánticas entre idiomas. Las bases de datos tradicionales tienen dificultades con la búsqueda interlingüística, pero las bases de datos vectoriales pueden representar documentos en un espacio semántico compartido independientemente de su idioma original. El desafío era encontrar una solución que pudiera preservar la precisión técnica al tiempo que habilitaba capacidades de búsqueda multilingüe.
Soluciones: La búsqueda híbrida con Milvus impulsa una plataforma completa de inteligencia de políticas
Veridien desarrolló un sofisticado ecosistema de gestión del conocimiento impulsado por Milvus, que combina la búsqueda tradicional por palabras clave con capacidades modernas de búsqueda semántica. En el núcleo de su arquitectura hay un sistema de bases de datos paralelo que combina el sólido backend de Django con las capacidades de búsqueda vectorial de Milvus. Los sistemas se sincronizan mediante una clase envoltorio personalizada que mantiene la coherencia entre ellos. «Nunca antes había usado únicamente bases de datos semánticas (vectoriales)», explica Alessandro Saccoia, cofundador de Veridien, «porque en dominios realmente verticales y profundos, con mucha jerga técnica, todavía se necesita la búsqueda habitual basada en palabras clave. Me gusta mucho cómo la búsqueda híbrida de Milvus me permitió combinar estas dos formas de buscar». Su implementación se centra en esta funcionalidad de búsqueda híbrida, que resultó crucial para manejar el lenguaje técnico de la política de la UE. Para optimizar la precisión de la clasificación, Veridien aprovecha la capacidad de Milvus para manejar simultáneamente vectores densos y dispersos. «Cuando intentas clasificar documentos de política de la UE usando solo búsqueda vectorial», señala Saccoia, «los puntos en el espacio multidimensional están demasiado cerca unos de otros. Este tipo de búsqueda híbrida con una distribución de peso 50/50 nos dio los mejores resultados». Cada documento se somete a un procesamiento paralelo para generar: Vectores densos usando el modelo de incrustación BGE-M3 para capturar el significado semántico Vectores dispersos a partir de documentos transformados estratégicamente que enfatizan palabras clave específicas del dominio Veridien aprovecha las capacidades de metadatos de Milvus para mantener una base de conocimiento creciente de documentos de política preclasificados. Para cada documento almacenado en Milvus, adjuntan metadatos que contienen la clasificación de categoría de política. Al procesar contenido nuevo, ya sea de documentos o de flujos en tiempo real, el sistema realiza búsquedas híbridas en esta colección para encontrar los documentos existentes más similares. Luego, la clasificación se determina mediante votación mayoritaria de las categorías de política almacenadas en los metadatos de los 100 documentos similares principales.
La solución abarca tres productos clave que aprovechan las capacidades de búsqueda vectorial y metadatos de Milvus:
- Policy Manager utiliza la búsqueda híbrida y los metadatos de Milvus para categorizar y organizar automáticamente contenido relacionado con políticas en todos los ámbitos de la UE
- Stream Scope extiende esta capacidad al análisis de transmisiones en tiempo real, usando Milvus para la clasificación en vivo de sesiones parlamentarias mediante la comparación con contenido preclasificado
- AI Semantic Wiki actúa como una base de conocimiento, usando el sistema de metadatos de Milvus para almacenar y recuperar relaciones entre documentos de política, lo que permite la construcción de grafos de conocimiento de políticas interconectados
Resultado: democratizar la inteligencia de políticas en tiempo real
- La implementación de búsqueda híbrida de Milvus ha ofrecido un rendimiento técnico excepcional:
- Procesa con éxito decenas de miles de documentos manteniendo una alta precisión de clasificación en las 32 áreas de política de la UE
- Permite la clasificación en tiempo real de contenido en streaming de sesiones parlamentarias y ruedas de prensa
- Mantiene un rendimiento constante en varios idiomas preservando al mismo tiempo la precisión técnica
El impacto empresarial ha sido transformador tanto para Veridien como para sus clientes. Su solución ha democratizado el acceso a conocimientos sobre la política de la UE de varias maneras clave: Análisis en tiempo real: Anteriormente, políticos y empresas pagaban miles de euros por la transcripción manual de ruedas de prensa de la Comisión Europea, a menudo esperando horas o días para obtener resultados. Stream Scope ahora entrega estos conocimientos al instante, categorizando automáticamente el contenido en los 32 temas oficiales de política de la UE. Esto ha sido particularmente valioso para las partes interesadas que necesitan responder rápidamente a los desarrollos de políticas.
Escalado rentable: La capacidad de Policy Manager para procesar grandes cantidades de contenido multilingüe de manera eficiente ha hecho que el análisis sofisticado de políticas sea accesible para una gama más amplia de organizaciones. Lo que antes requería equipos de analistas de políticas ahora puede lograrse mediante clasificación y análisis automatizados.
Toma de decisiones mejorada: AI Semantic Wiki ha transformado la forma en que las organizaciones comprenden las relaciones entre políticas, permitiéndoles identificar conexiones e implicaciones en múltiples dominios simultáneamente. Los usuarios valoran especialmente la capacidad del sistema para mostrar desarrollos de políticas relevantes en contexto, independientemente de su fuente o idioma.
Cobertura integral: Al aprovechar las capacidades de búsqueda híbrida de Milvus en los tres productos, el sistema de Veridien puede monitorear y analizar eficazmente los desarrollos de políticas en todas las instituciones de la UE, desde documentos legislativos formales hasta debates parlamentarios en tiempo real. Esta cobertura integral garantiza que las partes interesadas nunca se pierdan desarrollos de políticas relevantes, independientemente de dónde se originen.
Desarrollos futuros
De cara al futuro, Veridien planea mejorar su uso de Milvus mediante: Explorar configuraciones avanzadas de búsqueda híbrida más allá de la ponderación actual de 50/50 Ampliar su uso del sistema de metadatos de Milvus para aplicaciones de grafos de conocimiento más sofisticadas Aprovechar las capacidades en evolución de Milvus para manejar palabras clave específicas de dominio El equipo prevé crear relaciones cada vez más complejas entre documentos de políticas, lo que permitirá un análisis más profundo de cómo las diferentes áreas de política se influyen entre sí. Están particularmente interesados en ajustar sus ponderaciones de búsqueda híbrida en función de diferentes dominios de políticas para mejorar aún más la precisión de clasificación en áreas de políticas altamente técnicas.
- Acerca de Veridien
- Desafíos técnicos: gestionar datos complejos sobre políticas a escala
- Soluciones: La búsqueda híbrida con Milvus impulsa una plataforma completa de inteligencia de políticas
- Resultado: democratizar la inteligencia de políticas en tiempo real
- Desarrollos futuros
Contenido
Caso de uso
Industria
Servicios profesionales