Ivy.ai potenzia la comunicazione basata su GenAI con Zilliz Cloud
Affidabilità migliorata
Da quando ha adottato Zilliz Cloud, Ivy.ai non ha riscontrato interruzioni o problemi significativi, garantendo un servizio costante ai propri clienti.
Scalabilità migliorata
La possibilità di scalare facilmente le risorse ha sostenuto la crescita di Ivy.ai e il suo approccio di prova gratuita per l'acquisizione di clienti.
Prestazioni ottimizzate
Il database vettoriale ad alte prestazioni di Zilliz Cloud ha permesso a Ivy.ai di mantenere tempi di risposta rapidi, anche se i loro dati sono cresciuti di oltre il 200% da quando hanno iniziato a utilizzare Zilliz Cloud.
I was benchmarking different vector databases, and Milvus was at the top among all the popular options on the market.
Saumil Patel
Informazioni su Ivy.ai
Ivy.ai nasce dall’idea di un team dedicato a migliorare la comunicazione nell’istruzione superiore, nella sanità e in altri settori pubblici. Il loro prodotto di punta, IvyQuantum™, rilasciato nel 2023, è un chatbot AI avanzato che va oltre le semplici domande e risposte. Offre:
Funzionalità omnicanale (web, SMS, voce, WhatsApp, social media)
Supporto con agenti live
Risposte email generate dall’AI
Integrazioni fluide per accedere a informazioni specifiche dell’account e raccogliere lead
Oltre alle sue ricche funzionalità, ciò che distingue Ivy.ai è anche il suo impegno per la sicurezza e la privacy dei dati, un fattore cruciale per le istituzioni che gestiscono informazioni sensibili. Sfruttando fonti di dati specifiche dell’istituzione, Ivy.ai garantisce che ogni implementazione sia adattata alle esigenze uniche dei suoi clienti.
La sfida: scalare la GenAI per l’istruzione
Il team di Ivy.ai ha incontrato diversi ostacoli nel passaggio dal loro Ivy 1.0 basato sul recupero delle informazioni al più avanzato IvyQuantum™, basato sull’AI generativa. Il team aveva bisogno di una soluzione che potesse:
Gestire miliardi di vettori per il loro nuovo prodotto
Fornire query ad alta velocità per risposte generate dall’AI in tempo reale
Offrire prestazioni affidabili con la crescita del volume dei dati e dei requisiti
Consentire al team di concentrarsi sull’innovazione anziché sulla gestione dell’infrastruttura
Nella loro ricerca della tecnologia giusta, la dedizione di Ivy.ai è stata incrollabile. Inizialmente hanno scelto Milvus come database vettoriale. Saumil Patel, Senior Data Scientist di Ivy.ai, spiega: "Stavo eseguendo benchmark su diversi database vettoriali, e Milvus era in cima tra tutte le opzioni più popolari sul mercato." Il team è rimasto colpito dalle prestazioni di Milvus in termini di query al secondo, inserimenti e recall—metriche cruciali per la loro piattaforma di comunicazione basata su GenAI. Avevano bisogno di una soluzione per trovare i migliori risultati dal database vettoriale in meno di un secondo quando gli utenti ponevano domande.
Dopo aver scelto Milvus, Ivy.ai ha tentato di ospitarlo autonomamente utilizzando Kubernetes su Google Cloud Platform. Tuttavia, questo approccio si è rivelato impegnativo. Michal Oglodek, CTO di Ivy.ai, racconta: "Abbiamo riscontrato problemi significativi con il sistema che andava in errore in produzione a causa del crescente carico di dati e dell’aumento dei requisiti. Riconoscendo la necessità di una soluzione più sostenibile, abbiamo preso la decisione strategica aziendale di evitare di dedicare molto tempo e risorse alla gestione del sistema in autonomia. Invece, abbiamo optato per un approccio più affidabile e scalabile."Questi problemi di stabilità, insieme alle crescenti esigenze della loro attività in espansione, hanno portato Ivy.ai a cercare una soluzione gestita e più scalabile che potesse offrire le prestazioni di Milvus senza le difficoltà operative.
Arriva Zilliz Cloud: una soluzione di database vettoriale completamente gestita su scala
Dopo un’attenta valutazione, Ivy.ai ha scelto Zilliz Cloud, una versione completamente gestita del database vettoriale Milvus che avevano selezionato inizialmente. Questa decisione si è basata su diversi fattori chiave perfettamente allineati alle esigenze di Ivy.ai. Zilliz Cloud ha fornito una soluzione scalabile e ad alte prestazioni, capace di gestire miliardi di vettori, essenziale per le applicazioni di Retrieval Augmented Generation (RAG) di IvyQuantum™. Optando per il servizio completamente gestito di Zilliz Cloud, Ivy.ai ha eliminato la necessità di gestire complesse attività di amministrazione del database, consentendo al team di concentrarsi sul proprio core business.
Come lvy.ai utilizza Zilliz Cloud per alimentare il suo chatbot
La scalabilità della soluzione di Zilliz Cloud era particolarmente interessante. Oglodek spiega: "Ciò che volevamo fare era scalare facilmente e, con il vostro software e servizio, potevamo continuare ad aumentare le nostre capacità per soddisfare le nostre esigenze." Questa flessibilità è stata cruciale per le crescenti esigenze aziendali di Ivy.ai. Inoltre, il servizio gestito fornito da Zilliz Cloud ha risolto i problemi di stabilità che Ivy.ai aveva riscontrato con le soluzioni self-hosted, garantendo prestazioni affidabili.
Patel ha apprezzato in particolare le capacità di monitoraggio e analisi, affermando: "Posso vedere esattamente le query al secondo e la capacità totale del database che abbiamo." Questo livello di visibilità sulle prestazioni del loro database si è rivelato inestimabile per ottimizzare le loro operazioni e pianificare la crescita futura.
I risultati: una base per l'innovazione
L'implementazione di Zilliz Cloud come soluzione di database vettoriale ha prodotto vantaggi significativi per Ivy.ai:
Affidabilità migliorata: Da quando ha adottato Zilliz Cloud, Ivy.ai non ha riscontrato interruzioni o problemi significativi, garantendo un servizio costante ai suoi clienti.
Scalabilità migliorata: La capacità di scalare facilmente le risorse ha sostenuto la crescita di Ivy.ai e il suo approccio di prova gratuita per l'acquisizione dei clienti.
Prestazioni ottimizzate: Il database vettoriale ad alte prestazioni di Zilliz Cloud ha liberato Ivy.ai dalla preoccupazione di mantenere tempi di risposta rapidi, anche se i loro dati sono cresciuti di oltre il 200% da quando hanno iniziato a usare Zilliz Cloud.
Oglodek ha riassunto sinteticamente la loro esperienza: "Affidabilità, scalabilità e prestazioni sono ottime. E il fatto che possiamo esternalizzare tutta questa gestione amministrativa e non dobbiamo preoccuparci di server che si guastano ci aiuta a destinare risorse allo sviluppo del prodotto e all'innovazione, che differenziano davvero la nostra attività".
Guardando al futuro
Con una base stabile, scalabile e ad alte prestazioni fornita da Zilliz Cloud, Ivy.ai è ben posizionata per la crescita futura abilitata dalla GenAI. Sharon Harrison, SVP of Marketing di Ivy.ai, sottolinea che "l'innovazione è al centro della nostra azienda," alludendo a diversi progetti all'orizzonte che richiederanno il continuo supporto di Zilliz Cloud.
Mentre la GenAI continua a trasformare il panorama dell'istruzione, Ivy.ai, alimentata dalla soluzione di database vettoriale di Zilliz Cloud, è in prima linea, pronta a soddisfare le esigenze in evoluzione di istituzioni e studenti.
Reliability, scalability, and performance are great. The fact that we can outsource all this kind of administration management and don't have to worry about servers breaking helps us put resources into product development and innovation, which truly differentiates our business.
Michal Oglodek