Come VerbaFlo rivoluziona le interazioni con i clienti nel settore immobiliare grazie agli agenti di IA conversazionale e a Zilliz Cloud
Fino al 50%
Riduzione dei costi vs. infrastruttura MongoDB
Inferiore a 10 millisecondi
Svolta nelle prestazioni
60+ QPS
carichi di produzione con spazio per la crescita
Dati multi-tenant superiori
isolamento e partizionamento
It has saved us cost by at least 25 to 30% on what we were earlier incurring on the vector database, with potential savings reaching up to 40-50% during peak traffic periods.
Rachit Jindal
Informazioni su VerbaFlo
VerbaFlo è tra le piattaforme di IA conversazionale più adattabili al mondo, rivoluzionando il modo in cui i professionisti del settore immobiliare gestiscono le operazioni e interagiscono con i clienti. La loro piattaforma basata sull'IA unifica le comunicazioni vocali, via chat, SMS ed email in un unico motore intelligente che offre conversazioni quasi umane 24/7. Con funzionalità avanzate come l'abbinamento dei clienti basato sull'IA, motori di pricing dinamico e gestione automatizzata degli immobili, VerbaFlo promuove coerenza, visibilità e prestazioni misurabili in ogni interazione con il cliente. Con piani di espansione nel settore automobilistico, VerbaFlo è posizionata come leader del settore nelle soluzioni di comunicazione basate sull'IA.
La sfida: scalare oltre i limiti dell'infrastruttura
Man mano che la piattaforma di IA di VerbaFlo acquisiva trazione presso i clienti del settore immobiliare, la loro infrastruttura iniziale MongoDB Atlas ha iniziato a mostrare limiti critici che minacciavano sia l'esperienza dei clienti sia la crescita del business. L'azienda operava con carichi di query in produzione superiori a 50-60 QPS, spingendo il sistema oltre ciò che MongoDB poteva gestire in modo affidabile.
Le latenze delle query erano troppo lente per l'IA conversazionale in tempo reale, dove gli utenti si aspettano risposte immediate, soprattutto durante le chiamate vocali, in cui i ritardi diventano immediatamente percepibili. Il team aveva sperimentato vari database vettoriali, tra cui Qdrant e Pinecone, ma nessuno era in grado di scalare per soddisfare i loro esigenti requisiti prestazionali.
"Eravamo piuttosto bloccati in un punto in cui il nostro ambiente di produzione aveva un QPS superiore a 50 o 60, e la maggior parte dei database esistenti non era in grado di scalare fino a quel livello. Persino MongoDB Atlas M30 o M40 non riusciva a scalare fino a quel punto", spiega Rachit Jindal, Senior AI Engineer presso VerbaFlo.
Le sfide andavano oltre le prestazioni. VerbaFlo si trovava ad affrontare quattro preoccupazioni principali: inefficienza dei costi con i cluster M40 di MongoDB troppo costosi per le loro esigenze, supporto inadeguato all'alta concorrenza, tempi di query scadenti e capacità di partizionamento limitate. Il team richiedeva un isolamento dei dati sofisticato per la propria architettura multi-tenant; tuttavia, MongoDB non era in grado di fornire un adeguato isolamento dei namespace per diverse collection e ambienti.
Questi limiti infrastrutturali stavano influenzando direttamente la capacità di VerbaFlo di offrire un'automazione della gestione immobiliare fluida e in tempo reale. Con proiezioni di crescita aggressive e piani per scalare il numero di entità di 10-20 volte entro pochi trimestri, l'azienda aveva bisogno di una soluzione che potesse crescere con le sue ambizioni.
Il percorso verso Zilliz Cloud
Riconoscendo che la loro architettura di database era diventata un vincolo critico per il business, il team di ingegneria di VerbaFlo ha condotto una valutazione completa delle alternative di database vettoriali, tra cui Zilliz Cloud (un servizio gestito dell'open-source Milvus), Pinecone, Qdrant, PostgreSQL con estensioni vettoriali e Milvus self-hosted su AWS.
Zilliz Cloud è emerso come il chiaro vincitore per diverse ragioni convincenti. Rachit aveva una precedente esperienza nell'hosting di Milvus on-premises, che gli ha dato fiducia nelle sue capacità di scaling orizzontale e verticale, nonché nella sua architettura interna. "Sulla base dell'esperienza precedente che ho con Milvus, della sua architettura interna in termini di scalabilità, scaling orizzontale e verticale, è sicuramente la scelta da prendere in considerazione per il nostro team come uno dei potenziali database", osserva.
La valutazione ha rivelato che Zilliz Cloud offriva capacità sofisticate di partizionamento e isolamento che si adattavano perfettamente ai requisiti multi-tenant di VerbaFlo. A differenza di MongoDB, dove avevano una "capacità molto limitata di creare un indice in una particolare collection" e non potevano "definire un namespace adeguato in un database adeguato durante la creazione di una collection," Zilliz Cloud forniva un isolamento appropriato di database e namespace per una netta separazione tra ambienti di produzione, sistemi di staging e il loro playground AI rivolto ai clienti.
Un altro fattore decisivo sono stati gli algoritmi di re-ranking integrati di Zilliz Cloud. Invece di sviluppare algoritmi personalizzati, VerbaFlo poteva sfruttare sistemi di re-ranking ponderato e RRF (Reciprocal Rank Fusion) pronti all'uso. "Con Zilliz Cloud, c'erano alcuni algoritmi interni piuttosto adatti al caso d'uso di cui abbiamo bisogno, come i sistemi di re-ranking ponderato e di re-ranking RRF. Questo ci ha aiutato a utilizzare direttamente il loro SDK e a calcolarli al volo in modo da poter ridurre il nostro tempo di query," spiega Rachit.
Il supporto nativo di Zilliz Cloud per la ricerca ibrida—che combina query semantiche e basate su parole chiave—si allinea perfettamente con la pipeline di espansione delle query di VerbaFlo. Ancora più importante, Zilliz Cloud poteva offrire la latenza inferiore ai 10 millisecondi richiesta dalle loro applicazioni in tempo reale, offrendo al contempo servizi gestiti migliori rispetto ad altre alternative.
Come Zilliz Cloud alimenta agenti AI conversazionali in tempo reale su larga scala
La precedente architettura basata su MongoDB di VerbaFlo faticava a gestire carichi di produzione superiori a 50-60 QPS, causando colli di bottiglia che impedivano risposte in tempo reale. Con Zilliz Cloud come base, hanno costruito una sofisticata piattaforma AI conversazionale che attualmente gestisce oltre 40.000-50.000 entità con prestazioni fluide.
La nuova architettura degli agenti con Zilliz Cloud
Al centro del sistema di VerbaFlo c'è un meccanismo di routing intelligente che classifica le intenzioni degli utenti e indirizza le query a nodi di elaborazione specializzati. Zilliz Cloud alimenta il nodo RAG (Retrieval-Augmented Generation) critico, che recupera il contesto rilevante dai dati immobiliari, dalle cronologie dei clienti e dalle informazioni di mercato per generare risposte accurate e personalizzate.
Una delle capacità più preziose di Zilliz Cloud per VerbaFlo è il suo avanzato sistema di partizionamento, che abilita due tipi critici di isolamento dei dati:
Separazione degli ambienti: isolamento netto tra il loro ambiente AI playground/labs e le collection di produzione, consentendo ai clienti di testare e sperimentare senza influire sulle operazioni live
Ottimizzazione delle prestazioni: dati segmentati in partizioni più piccole in base a scenari specifici, consentendo query mirate di sezioni limitate anziché di intere collection
Questo approccio di partizionamento affronta direttamente le limitazioni di namespace che avevano riscontrato con MongoDB, dove avevano una "capacità molto limitata di creare un indice in una particolare collection" e non potevano "definire un namespace adeguato in un database adeguato durante la creazione di una collection."
Alimentare la pipeline di ricerca ibrida con Zilliz Cloud
Il sistema di VerbaFlo non si basa su semplici ricerche semantiche. Invece, la loro pipeline di espansione delle query crea sia query semantiche sia query per parole chiave per ogni richiesta dell'utente. Le capacità native di ricerca ibrida di Zilliz Cloud e gli algoritmi di re-ranking integrati (re-ranking ponderato e RRF) eliminano la necessità di sviluppo personalizzato offrendo al contempo risultati superiori.
"Con Zilliz Cloud, c'erano alcuni algoritmi interni piuttosto adatti al caso d'uso di cui abbiamo bisogno, come i sistemi di re-ranking ponderato e di re-ranking RRF. Questo ci ha aiutato a utilizzare direttamente il loro SDK e a calcolarli al volo in modo da poter ridurre il nostro tempo di query," osserva Rachit.
Migrazione senza interruzioni: dai vincoli di MongoDB alle prestazioni di Zilliz Cloud
La migrazione da MongoDB Atlas a Zilliz Cloud ha dimostrato come una transizione di database ben pianificata possa risolvere colli di bottiglia critici nelle prestazioni senza interrompere le operazioni aziendali.
Il team di engineering di VerbaFlo ha affrontato la migrazione in modo sistematico, sfruttando la documentazione completa e le risorse SDK di Zilliz Cloud. La migrazione ha comportato il trasferimento degli embedding vettoriali e dei metadati esistenti, implementando al contempo nuove strategie di partizionamento che MongoDB non poteva supportare.
"La documentazione su Zilliz Cloud così come su Milvus era piuttosto dettagliata e completa. Con quel tipo di documentazione e tutti i documenti SDK, è stato praticamente facile migrare," ricorda Rachit.
Risultati e vantaggi
L'impatto della migrazione a Zilliz Cloud è stato immediato e sostanziale su più dimensioni.
Riduzione dei costi fino al 50%: VerbaFlo ha ottenuto risparmi immediati sui costi del 25-30% rispetto alla loro infrastruttura MongoDB Atlas. Durante i periodi di picco del traffico, i risparmi potenziali potevano raggiungere il 40-50% grazie alle efficienti capacità di auto-scaling di Zilliz Cloud e alle configurazioni di cluster ideali per ambienti pronti per la produzione.
Svolta nelle prestazioni sotto i 10 millisecondi: Le latenze delle query sono scese da 15-20 millisecondi a costantemente sotto i 10 millisecondi: un miglioramento drastico che i clienti hanno notato immediatamente. Queste prestazioni sotto i 10 millisecondi consentono esperienze di IA veramente conversazionali su chiamate vocali, widget di chat e piattaforme di messaggistica.
Scalabilità migliorata: Con la capacità di gestire il loro attuale carico di 50-60 QPS con un margine significativo per la crescita, VerbaFlo dispone ora della base infrastrutturale per supportare i propri piani di scalabilità aggressivi senza degrado delle prestazioni.
Isolamento dei dati e partizionamento superiori: Le capacità avanzate di partizionamento di Zilliz Cloud hanno risolto i complessi requisiti multi-tenant di VerbaFlo che MongoDB non riusciva a gestire, migliorando significativamente sia la sicurezza sia le prestazioni della loro architettura multi-tenant.
Conformità e sicurezza: La conformità al GDPR e le certificazioni di sicurezza di Zilliz Cloud consentono a VerbaFlo di servire con fiducia i clienti nelle regioni del Regno Unito e dell'UE, supportando i loro piani di espansione internazionale.
Affidabilità del sistema migliorata: Con un uptime del 99,5%+, Zilliz Cloud supporta gli impegni di servizio 24/7 di VerbaFlo, fondamentali per le applicazioni immobiliari in cui le richieste dei clienti non seguono gli orari lavorativi.
Integrazione fluida dell'ecosistema: La compatibilità nativa di Zilliz Cloud con i provider di infrastruttura cloud consente a VerbaFlo di sfruttare i servizi AWS, inclusi ECS, EKS e bucket S3 per hosting e deployment, supportando al contempo la loro strategia multi-cloud che abbraccia Google Cloud e vari provider di servizi IA.
Piani futuri: espandere l'innovazione dell'IA in tutti i settori
Con le sfide infrastrutturali risolte, VerbaFlo sta perseguendo ambiziosi piani di espansione su più dimensioni. L'azienda prevede una crescita significativa nel numero di entità, aspettandosi di scalare di 10-20 volte nei prossimi trimestri man mano che il traffico aumenta e acquisiscono più clienti per la loro funzionalità AI playground.
"Il team è in una fase costante di sviluppo, ottimizzazione dei nostri flussi esistenti e implementazione di nuovi flussi internamente nel sistema," spiega Rachit. "Desideriamo sicuramente sfruttare effettivamente Zilliz Cloud per adattarlo ad alcuni dei casi d'uso che stiamo pianificando per il futuro."
Ancora più significativamente, la solida base fornita da Zilliz Cloud ha permesso l'esplorazione di verticali di settore completamente nuovi. VerbaFlo sta sviluppando attivamente architetture di agenti IA per i settori automobilistico e farmaceutico, sfruttando le stesse capacità di IA conversazionale che si sono dimostrate efficaci nel settore immobiliare.
Le capacità tecniche che rendono possibile questa espansione includono gli standard di conformità internazionale di Zilliz Cloud e prestazioni affidabili su larga scala, fornendo a VerbaFlo la fiducia per pensare oltre il suo mercato attuale e costruire per una crescita globale in più settori.
Conclusione
La partnership di VerbaFlo con Zilliz Cloud dimostra come la giusta scelta infrastrutturale possa trasformare i vincoli tecnici in vantaggi competitivi. Ottenendo risparmi sui costi del 25-30%, prestazioni delle query inferiori a 10 millisecondi e una solida scalabilità con Zilliz Cloud, VerbaFlo si è posizionata per una crescita aggressiva in diversi settori.
Mentre VerbaFlo continua a innovare in f ed espandersi in nuovi mercati, Zilliz Cloud fornisce la base scalabile di cui hanno bisogno per trasformare il modo in cui le aziende interagiscono con i propri clienti.
"La latenza inferiore a 10 millisecondi per le query è davvero il benchmark nel settore dei database vettoriali," conclude Rachit. "Unita ai risparmi sui costi e all'affidabilità, Zilliz Cloud è diventata un abilitatore strategico per la nostra visione più ampia di trasformare l'IA conversazionale in tutti i settori."
- Informazioni su VerbaFlo
- La sfida: scalare oltre i limiti dell'infrastruttura
- Il percorso verso Zilliz Cloud
- Come Zilliz Cloud alimenta agenti AI conversazionali in tempo reale su larga scala
- Migrazione senza interruzioni: dai vincoli di MongoDB alle prestazioni di Zilliz Cloud
- Risultati e vantaggi
- Piani futuri: espandere l'innovazione dell'IA in tutti i settori
- Conclusione
Contenuto
Caso d'Uso
Settore
Immobiliare
The sub-10 millisecond latency for queries is quite the benchmark in the industry for vector databases. Combined with the cost savings and reliability, Zilliz Cloud has become a strategic enabler for our broader vision of transforming conversational AI across industries.
Rachit Jindal