Veridien impulsiona a análise de políticas da UE com Milvus
Busca Híbrida Prismática:
Refina a inteligência por meio de uma análise multifacetada, fundindo a compreensão semântica com a precisão de palavras-chave para iluminar classificações em todos os 32 domínios de políticas da UE.
Análise Multilíngue em Tempo Real:
Permite a classificação multilíngue em tempo real de conteúdos de políticas da UE para insights instantâneos.
Gestão do Conhecimento Escalável:
Impulsiona o Policy Manager e o AI Semantic Wiki, gerenciando dezenas de milhares de documentos com eficiência.
I really like how Milvus' hybrid search allowed me to blend semantic and keyword search, which is crucial in a domain as technical and complex as EU policy.
Alessandro Saccoia
Sobre a Veridien
A Veridien é uma startup na interseção entre inteligência artificial e análise de políticas da UE. Foi fundada por uma equipe multidisciplinar que inclui especialistas em IA, especialistas em direito da UE e doutores em física. A empresa combina profundo conhecimento de domínio sobre políticas europeias com capacidades de IA de ponta para transformar informações complexas sobre políticas em insights acionáveis. Sua solução integrada, chamada Policy Manager, ajuda as partes interessadas a navegar e compreender o complexo cenário das políticas da UE, fornecendo análise em tempo real, categorização inteligente e capacidades automatizadas de gestão do conhecimento. Por meio de abordagens inovadoras de IA, eles estão tornando o vasto ecossistema de informações sobre políticas da UE mais acessível e acionável para tomadores de decisão.
Desafios técnicos: gerenciando dados complexos de políticas em escala
A Veridien enfrentou vários desafios críticos ao construir seu sistema de análise de políticas da UE, cada um exigindo capacidades além dos bancos de dados tradicionais:
Nem a busca semântica nem a busca por palavras-chave isoladamente são suficientes
O domínio das políticas da UE apresentou um duplo desafio de busca. Primeiro, ao usar busca semântica pura com vetores densos, áreas de políticas semelhantes como "política energética" e "política ambiental" tornaram-se quase indistinguíveis devido à terminologia sobreposta. Segundo, a terminologia especializada e em constante evolução do cenário de políticas (em 32 áreas distintas de políticas) exigiu capacidades precisas de correspondência por palavras-chave. Isso indicou a necessidade de uma busca híbrida que pudesse combinar compreensão semântica com correspondência tradicional por palavras-chave. No entanto, implementar tal abordagem híbrida exigia um banco de dados vetorial capaz de lidar eficientemente tanto com vetores densos para busca semântica quanto com vetores esparsos para correspondência baseada em palavras-chave dentro de uma única consulta.
Complexidade linguística
A natureza multilíngue da documentação da UE exigia um sistema sofisticado de busca vetorial que pudesse manter relações semânticas entre idiomas. Bancos de dados tradicionais têm dificuldade com busca interlinguística, mas bancos de dados vetoriais podem representar documentos em um espaço semântico compartilhado, independentemente de seu idioma original. O desafio era encontrar uma solução que pudesse preservar a precisão técnica ao mesmo tempo em que possibilitasse capacidades de busca multilíngue.
Soluções: busca híbrida com Milvus impulsiona uma plataforma completa de inteligência de políticas
A Veridien desenvolveu um sofisticado ecossistema de gestão do conhecimento impulsionado pelo Milvus, combinando a busca tradicional por palavras-chave com recursos modernos de busca semântica. No centro de sua arquitetura está um sistema de banco de dados paralelo que combina o backend robusto do Django com os recursos de busca vetorial do Milvus. Os sistemas são sincronizados por meio de uma classe wrapper personalizada que mantém a consistência entre eles. "Eu nunca tinha usado apenas bancos de dados semânticos (vetoriais) antes", explica Alessandro Saccoia, cofundador da Veridien, "porque em domínios realmente verticais e profundos, com muito jargão técnico, você ainda precisa da busca usual baseada em palavras-chave. Eu gosto muito de como a busca híbrida do Milvus me permitiu combinar essas duas formas de pesquisar." A implementação deles se concentra nessa funcionalidade de busca híbrida, que se mostrou crucial para lidar com a linguagem técnica das políticas da UE. Para otimizar a precisão da classificação, a Veridien aproveita a capacidade do Milvus de lidar simultaneamente com vetores densos e esparsos. "Quando você tenta classificar documentos de políticas da UE usando apenas busca vetorial", observa Saccoia, "os pontos no espaço multidimensional ficam muito próximos uns dos outros. Esse tipo de busca híbrida com distribuição de peso 50/50 nos deu os melhores resultados." Cada documento passa por processamento paralelo para gerar: Vetores densos usando o modelo de embedding BGE-M3 para capturar o significado semântico Vetores esparsos a partir de documentos estrategicamente transformados que enfatizam palavras-chave específicas do domínio A Veridien aproveita os recursos de metadados do Milvus para manter uma base de conhecimento crescente de documentos de políticas pré-classificados. Para cada documento armazenado no Milvus, eles anexam metadados contendo a classificação da categoria de política. Ao processar novo conteúdo, seja de documentos ou de fluxos em tempo real, o sistema realiza buscas híbridas nessa coleção para encontrar os documentos existentes mais semelhantes. A classificação é então determinada por votação majoritária das categorias de políticas armazenadas nos metadados dos 100 documentos semelhantes mais bem classificados.
A solução abrange três produtos principais que aproveitam os recursos de busca vetorial e metadados do Milvus:
- O Policy Manager usa a busca híbrida e os metadados do Milvus para categorizar e organizar automaticamente conteúdo relacionado a políticas em todos os domínios da UE
- O Stream Scope estende esse recurso à análise de transmissões em tempo real, usando o Milvus para classificação ao vivo de sessões parlamentares por meio da correspondência com conteúdo pré-classificado
- O AI Semantic Wiki atua como uma base de conhecimento, usando o sistema de metadados do Milvus para armazenar e recuperar relações entre documentos de políticas, permitindo a construção de grafos de conhecimento de políticas interconectados
Resultado: Democratizando a Inteligência de Políticas em Tempo Real
- A implementação de busca híbrida do Milvus entregou desempenho técnico excepcional:
- Processa com sucesso dezenas de milhares de documentos, mantendo alta precisão de classificação em todas as 32 áreas de políticas da UE
- Permite a classificação em tempo real de conteúdo em streaming de sessões parlamentares e coletivas de imprensa
- Mantém desempenho consistente em vários idiomas, preservando a precisão técnica
O impacto nos negócios foi transformador tanto para a Veridien quanto para seus clientes. A solução deles democratizou o acesso a insights sobre políticas da UE de várias maneiras importantes: Análise em tempo real: Anteriormente, políticos e empresas pagavam milhares de euros pela transcrição manual de coletivas de imprensa da Comissão Europeia, muitas vezes esperando horas ou dias pelos resultados. O Stream Scope agora entrega esses insights instantaneamente, categorizando automaticamente o conteúdo nos 32 tópicos oficiais de políticas da UE. Isso tem sido particularmente valioso para partes interessadas que precisam responder rapidamente a desenvolvimentos de políticas.
Escalabilidade Econômica: A capacidade do Policy Manager de processar grandes volumes de conteúdo multilíngue de forma eficiente tornou a análise sofisticada de políticas acessível a uma gama mais ampla de organizações. O que antes exigia equipes de analistas de políticas agora pode ser realizado por meio de classificação e análise automatizadas.
Tomada de Decisão Aprimorada: O AI Semantic Wiki transformou a forma como as organizações entendem as relações entre políticas, permitindo que identifiquem conexões e implicações em vários domínios simultaneamente. Os usuários valorizam particularmente a capacidade do sistema de apresentar desenvolvimentos de políticas relevantes em contexto, independentemente de sua fonte ou idioma.
Cobertura Abrangente: Ao aproveitar os recursos de busca híbrida do Milvus em todos os três produtos, o sistema da Veridien pode monitorar e analisar efetivamente os desenvolvimentos de políticas em todas as instituições da UE, desde documentos legislativos formais até debates parlamentares em tempo real. Essa cobertura abrangente garante que as partes interessadas nunca percam desenvolvimentos de políticas relevantes, independentemente de onde se originem.
Desenvolvimentos Futuros
Olhando para o futuro, a Veridien planeja aprimorar seu uso do Milvus ao: Explorar configurações avançadas de busca híbrida além da ponderação atual de 50/50 Expandir o uso do sistema de metadados do Milvus para aplicações de grafo de conhecimento mais sofisticadas Aproveitar as capacidades em evolução do Milvus para lidar com palavras-chave específicas de domínio A equipe vislumbra criar relações cada vez mais complexas entre documentos de políticas, permitindo uma análise mais profunda de como diferentes áreas de políticas influenciam umas às outras. Eles estão particularmente interessados em ajustar finamente seus pesos de busca híbrida com base em diferentes domínios de políticas para melhorar ainda mais a precisão da classificação em áreas de políticas altamente técnicas.
- Sobre a Veridien
- Desafios técnicos: gerenciando dados complexos de políticas em escala
- Soluções: busca híbrida com Milvus impulsiona uma plataforma completa de inteligência de políticas
- Resultado: Democratizando a Inteligência de Políticas em Tempo Real
- Desenvolvimentos Futuros
Conteúdo
Caso de uso
Indústria
Serviços Profissionais