Leader globale nel fintech scala l'IA con Milvus
5–10 volte più veloce
ingestione in batch rispetto ai concorrenti
Sviluppo minimo
necessario per supportare molteplici casi d'uso
Scalabilità istantanea
da milioni a decine di miliardi di vettori
When it comes to vector databases, Milvus has impressed us with its performance and scalability, meeting our stringent criteria for handling our AI use case backlog.
Team Lead
Informazioni sull’azienda
Questa azienda fintech globale è specializzata nei pagamenti digitali, consentendo transazioni in oltre 200 paesi e in più di 25 valute. Con un portafoglio che comprende prodotti di pagamento per consumatori e commercianti, gestisce decine di miliardi di transazioni ogni anno: dai singoli pagamenti peer-to-peer alle soluzioni enterprise su larga scala. L’azienda è nota per le sue API developer-first, la moderna esperienza utente e l’ecosistema multi-brand.
All’interno di questa organizzazione, il team AI, ML, and Platform Solutions svolge un ruolo centrale nel promuovere l’innovazione. La loro missione: applicare machine learning e AI all’avanguardia per migliorare l’esperienza dei clienti, automatizzare le operazioni e aprire nuovi flussi di ricavi. Ciò include la fornitura di infrastruttura AI/ML orizzontale, il supporto allo streaming di eventi in tempo reale e l’abilitazione di nuove funzionalità come GenAI nella suite di prodotti di pagamento dell’azienda.
Sfide: scalare l’AI in un’infrastruttura globale complessa
Nel 2023, l’azienda ha dato priorità al lancio di un sistema di raccomandazione rivolto ai consumatori e basato su GenAI. Il sistema è stato lanciato tramite uno dei brand consumer della fintech e fornisce raccomandazioni di prodotto personalizzate al checkout, in base all’inventario del commerciante e al contesto di acquisto.
Ma realizzare questo obiettivo non è stato semplice. Due sfide principali si frapponevano:
Volumi di dati enormi L’organizzazione gestisce miliardi di transazioni ogni anno. I sistemi esistenti, sia commerciali sia sviluppati internamente, faticavano a scalare per i volumi di dati coinvolti. Infatti, il team aveva precedentemente costruito un database a grafo personalizzato perché nessuna soluzione di vendor riusciva a soddisfare i loro requisiti di prestazioni e scalabilità.
Panorama dei database vettoriali ancora immaturo La ricerca vettoriale era centrale per alimentare raccomandazioni personalizzate, ma gli strumenti disponibili erano ancora relativamente nuovi. Il team aveva bisogno di un sistema affidabile e ad alte prestazioni che potesse scalare per carichi di lavoro di produzione e soddisfare i loro rigorosi requisiti di latenza e ingestione.
Dopo aver valutato diverse soluzioni, tra cui Weaviate e AlloyDB, il team ha scelto Milvus.
Perché Milvus: prestazioni, scalabilità e facilità d’uso
"Milvus ci ha colpito per le sue prestazioni e la sua scalabilità," ha dichiarato il Team Lead for AI, ML, and Platform Solutions. Fin dalle prime prove, Milvus ha mostrato capacità eccezionali nell’ingestione dei dati, nelle prestazioni delle query e nella flessibilità operativa. La documentazione era chiara e developer-friendly, e il sistema gestiva miliardi di vettori senza una messa a punto estesa.
Le prestazioni di ingestione batch erano particolarmente critiche. I dati di inventario dovevano essere aggiornati frequentemente, talvolta ogni ora. Nei test, Milvus ha ingerito dump completi di collection 5–10 volte più velocemente rispetto alle alternative. Un job che richiedeva ai concorrenti oltre 8 ore è stato completato da Milvus in meno di 1 ora.
Ciò che si è distinto anche è stata la flessibilità di Milvus. Il team aveva un lungo backlog di casi d’uso AI, dai sistemi di raccomandazione ai chatbot. Milvus ha soddisfatto le esigenze di molti di essi con un minimo sforzo di sviluppo, facendo risparmiare prezioso tempo di engineering.
Nonostante l’iniziale esitazione nell’adottare uno strumento open-source mantenuto da una startup (Zilliz), il team ha riscontrato che Milvus possedeva la maturità, il supporto dell’ecosistema e le implementazioni reali necessari per soddisfare requisiti di livello enterprise.
Dai sistemi di raccomandazione ai chatbot: cosa c’è dopo
Dopo il lancio riuscito del sistema di raccomandazione, la prossima iniziativa del team è un chatbot per il servizio clienti basato sull’AI. Questo bot multilingue supporterà migliaia di agenti di servizio a livello globale rispondendo a domande di routine mediante ricerca vettoriale e tecniche di retrieval.
Mentre il team continua ad ampliare la propria presenza nell’AI, sta valutando il passaggio a Zilliz Cloud, il servizio Milvus completamente gestito. Eseguire e scalare Milvus internamente è stato efficace, ma delegare la gestione dell’infrastruttura consentirebbe al team di concentrarsi su iniziative di maggior valore.
During batch ingestion tests, Milvus demonstrated that it could complete an entire collection dump into the database at speeds 5–10 times faster than competitors.
Team Lead