Come Zilliz Cloud sostiene la crescita globale di CX Genie con una ricerca vettoriale rapida e affidabile
2 volte più veloce
prestazioni delle query rispetto alla loro soluzione precedente
Latenza di 5-10 ms
per ricerche di similarità vettoriale su oltre 1M di embedding
Risparmio sui costi del 70%
rispetto all'infrastruttura self-hosted
Zero tempi di inattività
dalla migrazione, rispetto alle interruzioni quotidiane con la loro soluzione precedente
With Zilliz Cloud, we've achieved query latencies as low as 5-10ms across our million-vector database. This represents performance that's twice as fast as our previous solution, which directly translates to more responsive chatbots for our customers.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa
Informazioni su CX Genie
CX Genie è una startup di IA conversazionale che offre soluzioni chatbot per i team di assistenza clienti. Progettata sia per PMI sia per imprese, la loro piattaforma aiuta le aziende ad automatizzare il servizio clienti con interazioni IA intelligenti, personalizzate e scalabili.
Con sede in Vietnam ma al servizio di una base clienti prevalentemente internazionale—con una forte presenza negli Stati Uniti e in altri mercati globali—CX Genie supporta oltre 100.000 utenti, affermandosi come un attore in rapida crescita nello spazio dell’esperienza cliente basata sull’IA.
La sfida tecnica: scalare un chatbot IA basato su RAG con prestazioni e affidabilità
Il cuore delle operazioni di CX Genie è costruito sulla tecnica Retrieval-Augmented Generation (RAG), che si basa sulla ricerca vettoriale per recuperare informazioni pertinenti dalle basi di conoscenza e generare risposte accurate in tempo reale. Tuttavia, con la crescita della loro base utenti, la configurazione originale—che utilizzava soluzioni di ricerca vettoriale open-source come Qdrant e Chroma—ha faticato a tenere il passo.
Nguyễn Ngọc Hải Đăng, l’AI Engineer di CX Genie, ha dichiarato: "Prima di Zilliz, riscontravamo diversi minuti di inattività quasi ogni giorno con la nostra precedente soluzione di database vettoriale. Quando gestisci interazioni di assistenza clienti che devono essere disponibili 24/7, questo era semplicemente inaccettabile per la crescita della nostra attività."
Il team di ingegneria ha incontrato diverse sfide importanti:
Aumento della latenza durante l’esecuzione delle query con la crescita dei volumi di dati
Tempi di indicizzazione lenti che non riuscivano a tenere il passo con l’espansione delle basi di conoscenza
Costi nascosti e complessità della gestione dell’infrastruttura internamente
Interruzioni quotidiane del sistema con impatto sull’affidabilità e sull’esperienza del cliente
Risorse di ingegneria dirottate sulla gestione del database invece che sull’innovazione di prodotto
Questi problemi rendevano sempre più difficile offrire l’esperienza chatbot rapida e reattiva che i loro clienti si aspettavano. Era necessaria una nuova soluzione di database vettoriale—una che potesse scalare senza problemi, ridurre l’onere operativo e migliorare l’affidabilità senza compromettere le prestazioni.
Perché scegliere Zilliz Cloud: prestazioni, semplicità ed efficienza dei costi
Quando CX Genie ha iniziato a cercare un nuovo database vettoriale, non cercava solo una maggiore velocità—cercava una piattaforma in grado di tenere il passo con le loro crescenti esigenze tecniche senza aumentare la complessità operativa.
La loro valutazione si è concentrata su sei criteri chiave:
Prestazioni delle query e latenza, soprattutto con carichi di lavoro vettoriali su scala di milioni
Basso overhead operativo per liberare risorse di ingegneria
Efficienza dei costi rispetto alle soluzioni self-hosted
Scalabilità per supportare la crescita del business
Facile integrazione con la loro architettura esistente basata su LangChain
Ricco set di funzionalità, inclusi filtri sui metadati e indicizzazione avanzata
Zilliz Cloud ha soddisfatto tutti i requisiti. Rispetto al loro stack open-source con Chroma e Qdrant—che richiedeva gestione manuale e frequenti attività di troubleshooting—Zilliz Cloud offriva una piattaforma completamente gestita che eliminava l’overhead infrastrutturale e consentiva al team di concentrarsi sulla creazione del loro prodotto principale.
Il processo di onboarding è stato piacevolmente semplice. Grazie a documentazione dettagliata e API ben progettate, il team è riuscito a connettersi e testare query in pochi minuti, accelerando lo sviluppo e riducendo gli attriti sia nelle fasi di migrazione sia in quelle di integrazione.
Come Zilliz Cloud alimenta il sistema RAG di CX Genie
Al centro della piattaforma di IA conversazionale di CX Genie c’è una pipeline in due fasi alimentata dalla Retrieval-Augmented Generation (RAG): la fase di ingestione dei dati e la fase di recupero. Zilliz Cloud svolge un ruolo critico nel garantire che entrambe siano performanti e scalabili.
Fase di ingestione dei dati
Nella fase di ingestione dei dati, varie fonti di conoscenza aziendale—incluse pagine HTML, documenti, FAQ e articoli—vengono prima suddivise in blocchi gestibili. Questi blocchi vengono passati attraverso un modello di embedding (come l’embedder di OpenAI) per generare rappresentazioni vettoriali dense. Gli embedding risultanti vengono quindi ingeriti in Zilliz Cloud, dove vengono archiviati e indicizzati in modo efficiente.
Questo consente a CX Genie di mantenere un database vettoriale aggiornato che riflette la base di conoscenza in evoluzione di ciascun cliente, con un ricco supporto per i metadati e partizionamento basato su attributi aziendali come regione o tipo di prodotto.
Fase di recupero
Quando un utente invia una domanda, anche questa viene convertita in un embedding utilizzando lo stesso embedder. Questo embedding della query viene inviato a Zilliz Cloud, che esegue una ricerca di similarità top-k tra i vettori archiviati. Zilliz restituisce i blocchi più pertinenti, che vengono quindi passati a un large language model (LLM) per una generazione della risposta più adeguata.
Grazie alla ricerca a bassa latenza di Zilliz Cloud, alle ricche capacità di filtraggio e all’architettura scalabile, CX Genie è in grado di recuperare il contesto più pertinente in millisecondi, consentendo ai chatbot di rispondere con accuratezza e rapidità, anche con volumi di traffico elevati.
Risultati misurabili: velocità, scala e risparmi sui costi
Da quando è passata a Zilliz Cloud, CX Genie ha registrato significativi benefici tecnici e aziendali:
latenza di 5-10ms per ricerche di similarità vettoriale su oltre 1M di embedding
performance delle query 2× più veloci rispetto alla precedente implementazione Chroma
70% di risparmio sui costi rispetto all’infrastruttura self-hosted
Zero downtime dalla migrazione, rispetto alle interruzioni giornaliere con la soluzione precedente
Recupero più accurato utilizzando le capacità di filtraggio dei metadati e partizionamento
Riduzione del carico di lavoro ingegneristico grazie all’infrastruttura completamente gestita
"Migrando a Zilliz Cloud, abbiamo ridotto i costi della nostra infrastruttura di database vettoriale di circa il 70% rispetto alla nostra configurazione self-hosted. Questo ci consente di reinvestire quei risparmi nel miglioramento delle nostre capacità AI principali invece che nella gestione dell’infrastruttura del database," ha dichiarato Nguyễn Ngọc Hải Đăng.
Questi miglioramenti hanno aiutato CX Genie a offrire interazioni con i clienti più rapide e pertinenti—senza sovraccaricare il team di ingegneria o il budget cloud—creando in definitiva un’esperienza migliore per i loro utenti finali.
Esperienza per gli sviluppatori e migrazione senza interruzioni
Per il team di ingegneria di CX Genie, il passaggio a Zilliz Cloud ha semplificato sia lo sviluppo sia la gestione del sistema. Il processo di onboarding è stato fluido, con il Python SDK e i riferimenti API che hanno reso semplice iniziare. In precedenza, mantenere la loro configurazione self-hosted richiedeva uno sforzo continuo da parte di più team. Con l’infrastruttura gestita di Zilliz Cloud, le operazioni principali sono ora gestite con una supervisione minima. Funzionalità come il filtraggio multi-condizione e le collezioni partizionate hanno reso più facile per il team organizzare e recuperare gli embedding per regione o contesto aziendale.
Pur gestendo manualmente il processo di migrazione, il team lo ha trovato estremamente efficiente. Hanno utilizzato la REST API e le capacità di inserimento bulk per spostare i dati da PostgreSQL mantenendo la struttura dei loro metadati e embedding. Allineando collezioni e partizioni alla loro logica interna, hanno garantito che il sistema rimanesse organizzato e performante dopo la migrazione.
Prossimi passi: espandere le capacità con Zilliz Cloud
CX Genie continua a evolvere la sua piattaforma di chatbot AI ed è desiderosa di ampliare il suo utilizzo di Zilliz Cloud. Prevedono di esplorare miglioramenti nella gestione dell’indicizzazione e si aspettano miglioramenti dell’interfaccia utente—in particolare intorno all’API playground, che è un’interfaccia critica quando si gestiscono embedding su larga scala da provider come OpenAI.
Man mano che si espandono per servire più clienti globali, la partnership con Zilliz Cloud rimarrà una pietra angolare della loro strategia infrastrutturale.
Conclusione
Il percorso di CX Genie sottolinea la forza della combinazione di un’architettura RAG strategica con un database vettoriale performante e affidabile. Con Zilliz Cloud, sono riusciti a mantenere l’agilità tipica di una startup operando al contempo su scala globale, offrendo alle aziende di tutto il mondo esperienze cliente basate sull’AI più rapide, intelligenti e convenienti.
Concentrandosi sulla risoluzione sia delle sfide tecniche (prestazioni della ricerca vettoriale, affidabilità del sistema) sia delle sfide aziendali (efficienza dell’assistenza clienti, riduzione dei costi), CX Genie esemplifica come le giuste scelte infrastrutturali possano incidere direttamente sulla soddisfazione dei clienti e sulla crescita aziendale.
- Informazioni su CX Genie
- La sfida tecnica: scalare un chatbot IA basato su RAG con prestazioni e affidabilità
- Perché scegliere Zilliz Cloud: prestazioni, semplicità ed efficienza dei costi
- Come Zilliz Cloud alimenta il sistema RAG di CX Genie
- Risultati misurabili: velocità, scala e risparmi sui costi
- Esperienza per gli sviluppatori e migrazione senza interruzioni
- Prossimi passi: espandere le capacità con Zilliz Cloud
- Conclusione
Contenuto
Settore
Servizi Internet
Thanks to the well-designed Python SDK and REST API, we were able to integrate Zilliz Cloud with our LangChain-based architecture in a matter of days. The schema-based collections perfectly aligned with how we structure our data, making the transition nearly seamless.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa