Globaler Fintech-Marktführer skaliert KI mit Milvus
5–10-mal schneller
Batch-Ingestion als die Konkurrenz
Minimale Entwicklung
erforderlich, um mehrere Anwendungsfälle zu unterstützen
Sofortige Skalierbarkeit
von Millionen bis zu mehreren zehn Milliarden Vektoren
When it comes to vector databases, Milvus has impressed us with its performance and scalability, meeting our stringent criteria for handling our AI use case backlog.
Team Lead
Über das Unternehmen
Dieses globale Fintech-Unternehmen ist auf digitale Zahlungen spezialisiert und ermöglicht Transaktionen in mehr als 200 Ländern und in über 25 Währungen. Mit einem Portfolio, das Zahlungsprodukte für Verbraucher und Händler umfasst, verarbeitet es jährlich Dutzende Milliarden Transaktionen – von individuellen Peer-to-Peer-Zahlungen bis hin zu groß angelegten Unternehmenslösungen. Das Unternehmen ist bekannt für seine entwicklerorientierten APIs, seine moderne Benutzererfahrung und sein Multi-Brand-Ökosystem.
Innerhalb dieser Organisation spielt das Team AI, ML, and Platform Solutions eine zentrale Rolle bei der Förderung von Innovationen. Seine Mission: modernstes maschinelles Lernen und KI einsetzen, um die Kundenerfahrung zu verbessern, Abläufe zu automatisieren und neue Umsatzquellen zu erschließen. Dazu gehören die Bereitstellung horizontaler AI/ML-Infrastruktur, die Unterstützung von Echtzeit-Event-Streaming und die Ermöglichung neuer Funktionen wie GenAI in der gesamten Suite von Zahlungsprodukten des Unternehmens.
Herausforderungen: KI in einer komplexen globalen Infrastruktur skalieren
Im Jahr 2023 priorisierte das Unternehmen die Einführung eines verbraucherorientierten Empfehlungssystems, das von GenAI unterstützt wird. Das System wurde über eine der Verbrauchermarken des Fintech-Unternehmens eingeführt und bietet an der Kasse maßgeschneiderte Produktempfehlungen, basierend auf Händlerbestand und Kaufkontext.
Die Umsetzung dieses Ziels war jedoch nicht einfach. Zwei zentrale Herausforderungen standen im Weg:
Enorme Datenmengen Die Organisation verarbeitet jährlich Milliarden von Transaktionen. Bestehende Systeme – sowohl kommerzielle als auch intern entwickelte – hatten Schwierigkeiten, für die beteiligten Datenmengen zu skalieren. Tatsächlich hatte das Team zuvor eine benutzerdefinierte Graphdatenbank entwickelt, weil keine Anbieterlösung seine Anforderungen an Leistung und Skalierbarkeit erfüllen konnte.
Unausgereifte Vector-Database-Landschaft Vector Search war zentral für die Bereitstellung personalisierter Empfehlungen, aber die verfügbaren Tools waren noch relativ neu. Das Team benötigte ein zuverlässiges, leistungsstarkes System, das auf Produktions-Workloads skalieren und seine strengen Anforderungen an Latenz und Datenaufnahme erfüllen konnte.
Nach der Bewertung mehrerer Lösungen, darunter Weaviate und AlloyDB, entschied sich das Team für Milvus.
Warum Milvus: Leistung, Skalierbarkeit und Benutzerfreundlichkeit
"Milvus hat uns mit seiner Leistung und Skalierbarkeit beeindruckt", sagte der Team Lead für AI, ML, and Platform Solutions. Bereits in frühen Tests zeigte Milvus außergewöhnliche Fähigkeiten bei der Datenaufnahme, Abfrageleistung und betrieblichen Flexibilität. Die Dokumentation war klar und entwicklerfreundlich, und das System verarbeitete Milliarden von Vektoren ohne umfangreiches Tuning.
Die Batch-Ingestion-Leistung war besonders kritisch. Bestandsdaten mussten häufig aktualisiert werden, manchmal stündlich. In Tests nahm Milvus vollständige Collection-Dumps 5–10x schneller auf als Alternativen. Ein Job, für den Wettbewerber über 8 Stunden benötigten, wurde von Milvus in weniger als 1 Stunde abgeschlossen.
Ebenfalls herausragend war die Flexibilität von Milvus. Das Team hatte einen langen Backlog an KI-Anwendungsfällen, von Empfehlungssystemen bis hin zu Chatbots. Milvus erfüllte die Anforderungen vieler davon mit minimalem Entwicklungsaufwand und sparte wertvolle Engineering-Zeit.
Trotz anfänglicher Zurückhaltung gegenüber der Einführung eines Open-Source-Tools, das von einem Startup (Zilliz) gepflegt wird, stellte das Team fest, dass Milvus die Reife, die Unterstützung durch das Ökosystem und die realen Implementierungen hatte, um Enterprise-Grade-Anforderungen zu erfüllen.
Von Empfehlungssystemen zu Chatbots – was kommt als Nächstes
Nach der erfolgreichen Einführung des Empfehlungssystems ist die nächste Initiative des Teams ein KI-gestützter Kundenservice-Chatbot. Dieser mehrsprachige Bot wird Tausende von Service-Agenten weltweit unterstützen, indem er Routinefragen mithilfe von Vector Search und Retrieval-Techniken beantwortet.
Während das Team seine KI-Präsenz weiter ausbaut, prüft es einen Wechsel zu Zilliz Cloud – dem vollständig verwalteten Milvus-Service. Der interne Betrieb und die Skalierung von Milvus waren effektiv, aber die Auslagerung des Infrastrukturmanagements würde es dem Team ermöglichen, sich auf Initiativen mit höherem Mehrwert zu konzentrieren.
During batch ingestion tests, Milvus demonstrated that it could complete an entire collection dump into the database at speeds 5–10 times faster than competitors.
Team Lead