Veridien treibt die EU-Politikanalyse mit Milvus vor
Prismatische Hybrid-Suche:
Verfeinert Intelligenz durch facettenreiche Analyse und verbindet semantisches Verständnis mit Keyword-Präzision, um Klassifizierungen über alle 32 EU-Politikbereiche hinweg zu beleuchten.
Mehrsprachige Echtzeitanalyse:
Ermöglicht die mehrsprachige Klassifizierung von EU-Politikinhalten in Echtzeit für sofortige Erkenntnisse.
Skalierbares Wissensmanagement:
Betreibt Policy Manager und AI Semantic Wiki und verarbeitet Zehntausende von Dokumenten effizient.
I really like how Milvus' hybrid search allowed me to blend semantic and keyword search, which is crucial in a domain as technical and complex as EU policy.
Alessandro Saccoia
Über Veridien
Veridien ist ein Startup an der Schnittstelle von künstlicher Intelligenz und EU-Politikanalyse. Es wurde von einem multidisziplinären Team gegründet, zu dem KI-Experten, Spezialisten für EU-Recht und promovierte Physiker gehören. Das Unternehmen kombiniert tiefgehendes Fachwissen zur europäischen Politik mit modernsten KI-Fähigkeiten, um komplexe politische Informationen in umsetzbare Erkenntnisse zu verwandeln. Ihre integrierte Lösung namens Policy Manager hilft Stakeholdern, sich in der komplexen Landschaft der EU-Politik zurechtzufinden und sie zu verstehen, indem sie Echtzeitanalysen, intelligente Kategorisierung und automatisierte Wissensmanagement-Fähigkeiten bereitstellt. Durch innovative KI-Ansätze machen sie das umfassende Ökosystem der EU-Politikinformationen für Entscheidungsträger zugänglicher und besser nutzbar.
Technische Herausforderungen: Komplexe Politikdaten im großen Maßstab verwalten
Veridien stand beim Aufbau seines EU-Politikanalysesystems vor mehreren kritischen Herausforderungen, die jeweils Fähigkeiten erforderten, die über traditionelle Datenbanken hinausgehen:
Weder semantische Suche noch Keyword-Suche allein reicht aus
Der Bereich der EU-Politik stellte eine doppelte Suchherausforderung dar. Erstens wurden bei der Verwendung reiner semantischer Suche mit dichten Vektoren ähnliche Politikbereiche wie „Energiepolitik“ und „Umweltpolitik“ aufgrund überlappender Terminologie nahezu ununterscheidbar. Zweitens erforderte die spezialisierte und sich ständig weiterentwickelnde Terminologie der Politiklandschaft (über 32 verschiedene Politikbereiche hinweg) präzise Keyword-Matching-Fähigkeiten. Dies deutete auf einen Bedarf an hybrider Suche hin, die semantisches Verständnis mit traditionellem Keyword-Matching kombinieren konnte. Die Implementierung eines solchen hybriden Ansatzes erforderte jedoch eine Vektordatenbank, die sowohl dichte Vektoren für die semantische Suche als auch spärliche Vektoren für keywordbasiertes Matching innerhalb einer einzigen Abfrage effizient verarbeiten kann.
Sprachliche Komplexität
Die mehrsprachige Natur der EU-Dokumentation erforderte ein ausgeklügeltes Vektorsuchsystem, das semantische Beziehungen über Sprachen hinweg aufrechterhalten konnte. Traditionelle Datenbanken haben Schwierigkeiten mit sprachübergreifender Suche, aber Vektordatenbanken können Dokumente unabhängig von ihrer ursprünglichen Sprache in einem gemeinsamen semantischen Raum darstellen. Die Herausforderung bestand darin, eine Lösung zu finden, die technische Präzision bewahren und gleichzeitig mehrsprachige Suchfähigkeiten ermöglichen konnte.
Lösungen: Hybride Suche mit Milvus treibt eine vollständige Policy Intelligence Platform an
Veridien hat ein ausgeklügeltes Wissensmanagement-Ökosystem entwickelt, das von Milvus unterstützt wird und traditionelle Stichwortsuche mit modernen semantischen Suchfunktionen kombiniert. Im Zentrum ihrer Architektur steht ein paralleles Datenbanksystem, das das robuste Backend von Django mit den Vektorsuchfunktionen von Milvus verbindet. Die Systeme werden durch eine benutzerdefinierte Wrapper-Klasse synchronisiert, die die Konsistenz zwischen ihnen aufrechterhält. „Ich habe zuvor nie ausschließlich semantische (Vektor-)Datenbanken verwendet“, erklärt Veridien-Mitgründer Alessandro Saccoia, „denn in wirklich vertikalen, tiefgehenden Domänen mit viel technischem Fachjargon braucht man weiterhin die übliche stichwortbasierte Suche. Mir gefällt sehr, wie die hybride Suche von Milvus es mir ermöglicht hat, diese beiden Sucharten zu kombinieren.“ Ihre Implementierung konzentriert sich auf diese hybride Suchfunktionalität, die sich als entscheidend für den Umgang mit der technischen Sprache der EU-Politik erwies. Um die Klassifizierungsgenauigkeit zu optimieren, nutzt Veridien die Fähigkeit von Milvus, sowohl dichte als auch dünnbesetzte Vektoren gleichzeitig zu verarbeiten. „Wenn man versucht, EU-Politikdokumente nur mit Vektorsuche zu klassifizieren“, bemerkt Saccoia, „liegen die Punkte im multidimensionalen Raum zu dicht beieinander. Diese Art der hybriden Suche mit einer 50/50-Gewichtsverteilung lieferte uns die besten Ergebnisse.“ Jedes Dokument durchläuft eine parallele Verarbeitung, um Folgendes zu erzeugen: Dichte Vektoren unter Verwendung des BGE-M3-Einbettungsmodells zur Erfassung der semantischen Bedeutung Dünnbesetzte Vektoren aus strategisch transformierten Dokumenten, die domänenspezifische Schlüsselwörter hervorheben Veridien nutzt die Metadatenfunktionen von Milvus, um eine wachsende Wissensbasis vorab klassifizierter Politikdokumente zu pflegen. Für jedes in Milvus gespeicherte Dokument fügen sie Metadaten hinzu, die die Klassifizierung der Politikategorie enthalten. Bei der Verarbeitung neuer Inhalte, ob aus Dokumenten oder Echtzeit-Streams, führt das System hybride Suchen gegen diese Sammlung durch, um die ähnlichsten vorhandenen Dokumente zu finden. Die Klassifizierung wird anschließend durch Mehrheitsabstimmung der in den Metadaten der 100 ähnlichsten Dokumente gespeicherten Politikategorien bestimmt.
Die Lösung umfasst drei zentrale Produkte, die alle die Vektorsuche und Metadatenfunktionen von Milvus nutzen:
- Policy Manager nutzt die hybride Suche und Metadaten von Milvus, um politikbezogene Inhalte in allen EU-Domänen automatisch zu kategorisieren und zu organisieren
- Stream Scope erweitert diese Fähigkeit auf Echtzeit-Broadcast-Analysen und verwendet Milvus zur Live-Klassifizierung parlamentarischer Sitzungen durch Abgleich mit vorab klassifizierten Inhalten
- AI Semantic Wiki fungiert als Wissensbasis und nutzt das Metadatensystem von Milvus, um Beziehungen zwischen Politikdokumenten zu speichern und abzurufen, wodurch der Aufbau vernetzter politischer Wissensgraphen ermöglicht wird
Ergebnis: Demokratisierung von Echtzeit-Policy-Intelligence
- Die Implementierung der hybriden Suche von Milvus hat eine außergewöhnliche technische Leistung erbracht:
- Verarbeitet erfolgreich Zehntausende von Dokumenten und behält dabei eine hohe Klassifizierungsgenauigkeit über alle 32 EU-Politikbereiche hinweg bei
- Ermöglicht die Echtzeit-Klassifizierung von Streaming-Inhalten aus parlamentarischen Sitzungen und Pressekonferenzen
- Sorgt für eine konsistente Leistung über mehrere Sprachen hinweg und bewahrt gleichzeitig technische Präzision
Die geschäftlichen Auswirkungen waren sowohl für Veridien als auch für seine Kunden transformativ. Ihre Lösung hat den Zugang zu EU-Politikeinblicken auf mehrere wichtige Arten demokratisiert: Echtzeitanalyse: Zuvor zahlten Politiker und Unternehmen Tausende von Euro für die manuelle Transkription von Pressekonferenzen der EU-Kommission und warteten oft Stunden oder Tage auf Ergebnisse. Stream Scope liefert diese Erkenntnisse nun sofort und kategorisiert Inhalte automatisch in die 32 offiziellen EU-Politikthemen. Dies war besonders wertvoll für Stakeholder, die schnell auf politische Entwicklungen reagieren müssen.
Kosteneffiziente Skalierung: Die Fähigkeit des Policy Managers, große Mengen mehrsprachiger Inhalte effizient zu verarbeiten, hat anspruchsvolle Politikanalysen für ein breiteres Spektrum von Organisationen zugänglich gemacht. Was einst Teams von Politikanalysten erforderte, kann nun durch automatisierte Klassifizierung und Analyse erreicht werden.
Verbesserte Entscheidungsfindung: Das AI Semantic Wiki hat verändert, wie Organisationen politische Zusammenhänge verstehen, und ermöglicht es ihnen, Verbindungen und Auswirkungen über mehrere Bereiche hinweg gleichzeitig zu identifizieren. Nutzer schätzen besonders die Fähigkeit des Systems, relevante politische Entwicklungen im Kontext sichtbar zu machen, unabhängig von ihrer Quelle oder Sprache.
Umfassende Abdeckung: Durch die Nutzung der hybriden Suchfunktionen von Milvus über alle drei Produkte hinweg kann Veridiens System politische Entwicklungen in allen EU-Institutionen effektiv überwachen und analysieren, von formellen Gesetzgebungsdokumenten bis hin zu parlamentarischen Debatten in Echtzeit. Diese umfassende Abdeckung stellt sicher, dass Stakeholder keine relevanten politischen Entwicklungen verpassen, unabhängig davon, wo sie entstehen.
Zukünftige Entwicklungen
Mit Blick auf die Zukunft plant Veridien, die Nutzung von Milvus zu verbessern, indem es: fortgeschrittene hybride Suchkonfigurationen über die aktuelle 50/50-Gewichtung hinaus untersucht die Nutzung des Metadatensystems von Milvus für anspruchsvollere Wissensgraph-Anwendungen ausweitet die sich weiterentwickelnden Fähigkeiten von Milvus zur Verarbeitung domänenspezifischer Schlüsselwörter nutzt Das Team plant, zunehmend komplexe Beziehungen zwischen politischen Dokumenten zu schaffen, um eine tiefere Analyse darüber zu ermöglichen, wie verschiedene Politikbereiche einander beeinflussen. Sie sind besonders daran interessiert, ihre hybriden Suchgewichtungen basierend auf verschiedenen Politikbereichen fein abzustimmen, um die Klassifizierungsgenauigkeit in hochgradig technischen Politikbereichen weiter zu verbessern.
- Über Veridien
- Technische Herausforderungen: Komplexe Politikdaten im großen Maßstab verwalten
- Lösungen: Hybride Suche mit Milvus treibt eine vollständige Policy Intelligence Platform an
- Ergebnis: Demokratisierung von Echtzeit-Policy-Intelligence
- Zukünftige Entwicklungen
Inhalte
Anwendungsfall
Branche
Professionelle Dienstleistungen