Come Gorgias ha scalato i suoi agenti di IA conversazionale per oltre 15.000 commercianti con Zilliz Cloud
Risposte in tempo reale
nelle ricerche di prodotti e di conoscenze.
Risposte più intelligenti
Metadati più ricchi, maggiore rilevanza, migliore personalizzazione.
Operazioni più semplici
Nessuna indicizzazione manuale o soluzione alternativa.
Maggiore attenzione agli sviluppatori
Tempo dedicato a migliorare l'IA, non a gestire l'infrastruttura.
Informazioni su Gorgias
Gorgias sviluppa agenti AI conversazionali per brand e-commerce, strettamente integrati con Shopify e altri ecosistemi commerciali. La piattaforma supporta oltre 15.000 merchant, aiutandoli a offrire esperienze cliente personalizzate ed efficienti su larga scala. Al centro del prodotto di Gorgias c’è un agente AI progettato per replicare il calore e la precisione del servizio in negozio — rispondendo alle domande, consigliando prodotti e gestendo attività come resi e tracciamento degli ordini, il tutto tramite interfacce conversazionali.
Per offrire questo livello di personalizzazione, Gorgias fa ampio affidamento sulla ricerca vettoriale. L’agente AI deve recuperare istantaneamente informazioni pertinenti dal catalogo prodotti, dalla cronologia clienti e dai contenuti del centro assistenza di ciascun merchant — mantenendo al contempo accuratezza e contesto su migliaia di negozi unici. Con la crescita dell’utilizzo, il team ha faticato a mantenere le ricerche rapide e coerenti supportando simultaneamente migliaia di merchant.
Per superare queste limitazioni, Gorgias è migrata a Zilliz Cloud, il servizio completamente gestito per Milvus. Questo cambiamento consente all’azienda di consolidare la propria infrastruttura di ricerca AI, abilitando il recupero semantico e le raccomandazioni in tempo reale su milioni di interazioni con i clienti. Con Zilliz Cloud, Gorgias ha ridotto la complessità operativa, migliorato la qualità delle risposte e ottenuto la flessibilità necessaria per supportare una rapida evoluzione del prodotto — mantenendo al contempo prestazioni costanti per la sua rete di merchant in crescita.
Il sistema legacy ha raggiunto i suoi limiti su enorme scala multi-tenant
Inizialmente Gorgias si affidava a un database vettoriale concorrente per la propria infrastruttura di ricerca vettoriale. Tuttavia, le restrizioni della piattaforma sulle dimensioni dei metadati rendevano difficile rappresentare le complesse varianti di prodotto di Shopify, come combinazioni di colore, taglia e genere. Imponeva inoltre limitazioni sulla profondità delle query e sulle capacità di filtraggio, che incidevano sulla capacità di Gorgias di offrire esperienze altamente contestuali e specifiche per brand. Per affrontare i limiti prestazionali sul tier dedicato del database precedente, il team è passato alla versione serverless — ma ha incontrato costi ancora più elevati e ulteriori limitazioni funzionali. Queste sfide li hanno infine portati a migrare la maggior parte dei loro carichi di lavoro vettoriali a Zilliz Cloud.
Allo stesso tempo, Gorgias stava scalando per supportare milioni di clienti finali su oltre 15.000 merchant — ciascuno con il proprio brand unico. Sebbene i clienti di Gorgias siano merchant, il loro agente AI deve agire per conto del brand di ciascun merchant, catturandone tono, voce, catalogo e contesto cliente. Ciò significava che ogni interazione doveva recuperare risultati allineati non solo ai dati del merchant, ma anche al modo in cui quel brand si presenta agli acquirenti. Supportare quel livello di personalizzazione specifica per brand in un’architettura multi-tenant ha spinto ai limiti l’infrastruttura vettoriale esistente, evidenziando la necessità di una soluzione più flessibile, performante e affidabile.
Scalare l’agente di assistenza clienti con Zilliz Cloud
Gorgias ha costruito il proprio agente AI attorno a un centro di comando modulare che elabora i messaggi dei clienti e li delega a workflow di attività specializzati. A seconda della natura della richiesta — che si tratti di una domanda di supporto, di una domanda su un prodotto o di un’opportunità di vendita — l’agente recupererà conoscenza pertinente, identificherà prodotti corrispondenti o farà emergere ticket precedenti. Questi workflow si basano sull’embedding della query in input, sul recupero dei candidati da Zilliz Cloud, sul loro riordinamento e quindi sul prompting di un LLM affinché sintetizzi una risposta.
Per le attività di supporto, gli articoli della knowledge base e gli esempi di ticket passati, i dati vengono recuperati da più raccolte ospitate in Zilliz Cloud. Queste includono sia contenuti creati dai merchant sia dati estratti automaticamente dal sito del merchant. Per le attività relative alle vendite e ai prodotti, Gorgias archivia interi cataloghi prodotti come embedding e filtra le raccomandazioni in base al comportamento e alle preferenze dei clienti, inclusa la logica di esclusione, come evitare determinati colori o allergeni. Tutti i risultati vengono infine composti in un messaggio unificato da un passaggio finale di LLM che aggrega gli insight dei singoli workflow.
L’architettura di Gorgias consente l’elaborazione parallela di migliaia di interazioni con i clienti, con i dati dei tenant isolati tramite partizionamento basato su chiavi di partizione in Zilliz Cloud. Un ciclo di feedback perfeziona continuamente la pertinenza del recupero delle conoscenze mappando le formulazioni storiche dei clienti a specifiche risorse di conoscenza. Questo meccanismo di rinforzo migliora l’accuratezza delle risposte anche quando il linguaggio del cliente si discosta dai prompt standard.
Ad esempio, se un cliente dice: “Mi chiedo perché la mia consegna sia così in ritardo”, il sistema impara ad associare quella formulazione all’articolo della knowledge base appropriato, in genere collegato alla query più comune: “Dov’è il mio ordine?” Sul versante dei prodotti, Gorgias sta esplorando modi per migliorare le raccomandazioni filtrando le caratteristiche indesiderate, ad esempio evitando tazze descritte come “bianche” quando un cliente dice “odio il colore bianco”, invertendo in sostanza la tipica ricerca vettoriale per dare priorità a risultati dissimili quando il contesto lo richiede.
Dettagli tecnici dell’implementazione
Il workflow dell’agente AI di Gorgias inizia con l’acquisizione del messaggio. Un livello di orchestrazione interno instrada i messaggi in arrivo attraverso un “centro di comando” di LLM, che classificano la richiesta e determinano le attività downstream appropriate. Ogni attività — che si tratti di recuperare conoscenze di supporto, ticket passati correlati o prodotti pertinenti — utilizza embedding vettoriali e interroga uno o più indici in Zilliz Cloud.
Questi embedding vengono generati utilizzando modelli proprietari ospitati su Hugging Face. I risultati del recupero vengono riordinati in base al contesto, e l’LLM finale compone una risposta completa. In produzione, questo sistema supporta un’elevata concorrenza e gestisce automaticamente la personalizzazione specifica per merchant tramite metadati, inclusi lingua, tono di voce, caratteristiche dei prodotti e regole aziendali.
Durante lo sviluppo, il team utilizza ingestion batch e workflow paralleli per convalidare la logica di recupero. Monitoraggio e osservabilità sono aree di investimento continuo, in particolare man mano che vengono integrate nuove categorie di prodotti e tipologie di merchant.
Risultati in produzione: architettura semplificata, AI più veloce su larga scala
Un sistema più semplice che ha liberato gli ingegneri per lavorare sull’agente AI: Dopo la migrazione a Zilliz Cloud, Gorgias ha eliminato molti dei workaround e della logica di indicizzazione personalizzata richiesti dal sistema precedente. Ciò ha ridotto la complessità dell’infrastruttura, consentendo agli sviluppatori di dedicare più tempo al miglioramento dell’agente AI invece che alla manutenzione del livello di ricerca vettoriale.
Ricerche più rapide con risultati migliori: La latenza della ricerca è diminuita sia per i dati di prodotto sia per i contenuti di conoscenza. Allo stesso tempo, il sistema è stato in grado di archiviare e interrogare metadati più ricchi, migliorando così la pertinenza della ricerca e abilitando risposte più accurate e personalizzate.
Esecuzione più efficiente delle attività parallele: La piattaforma ora gestisce i workflow paralleli in modo più efficiente, recuperando, classificando e generando risposte su larga scala senza colli di bottiglia nelle prestazioni.
Minore overhead operativo e costi più prevedibili: Con meno componenti mobili e vincoli, l’overhead dell’infrastruttura è stato ridotto e la gestione dei costi è diventata più prevedibile con l’aumento dell’utilizzo.
Esperienze cliente migliori: Questi miglioramenti hanno portato a tempi di risposta più rapidi, supporto di qualità superiore e capacità di personalizzare le interazioni su larga scala, aiutando i merchant a convertire più acquirenti e a costruire relazioni più profonde con i clienti.
Insight per sviluppatori/ingegneria
Firas Jarboui, ML engineering lead di Gorgias, ha condiviso che affidabilità e flessibilità erano due delle esigenze più critiche nella scelta di un nuovo provider di database vettoriale. I limiti del loro sistema legacy hanno costretto il team a considerare alternative, e una sessione della conferenza del team Zilliz li ha introdotti a Milvus e Zilliz Cloud proprio al momento giusto. Sebbene non sia ancora in uso, Firas ha osservato che la ricerca multi-rappresentazione — la capacità di memorizzare e pesare più embedding per elemento — è una capacità strategica che Gorgias prevede di adottare. Consentirebbe un abbinamento dei prodotti più sfumato in diversi contesti dei clienti.
Ha inoltre sottolineato l’importanza di mantenere una separazione multi-tenant pulita, che Zilliz Cloud abilita tramite l’isolamento a livello di chiave di partizione. Per i miglioramenti futuri, Gorgias è particolarmente interessata ad ampliare la logica di filtraggio e la ricerca per similarità negativa, ad esempio raccomandando prodotti che sono esplicitamente non simili alle antipatie degli utenti.
Piani futuri e roadmap
Guardando al futuro, Gorgias sta sviluppando un nuovo strumento AI rivolto ai commercianti — uno strumento che consente ai venditori di porre domande sui propri clienti, come trend del sentiment e feedback specifici sui prodotti. Questo integra l’agente esistente rivolto ai clienti e mira a portare insight leggeri in stile BI nell’interfaccia conversazionale, senza richiedere un team di data science. Per supportare questo obiettivo, il team indicizzerà intere cronologie dei ticket ed estrarrà embedding del sentiment specifici per prodotto.
Sul fronte del retrieval, Gorgias sta lavorando per implementare logiche avanzate di filtraggio e raccomandazione contestuale. Ciò include l’ampliamento delle attuali capacità per la ricerca per esclusione e la scoperta di casi limite (ad es., “prodotti meno simili a questo”), e consente ai commercianti un maggiore controllo su come l’agente AI presenta le raccomandazioni.
La visione a lungo termine è rendere un servizio personalizzato basato sull’AI accessibile a tutti i commercianti — anche ai piccoli team senza data scientist — e mantenere l’esperienza di retail digitale intima e utile quanto il sarto locale della storia d’infanzia del loro fondatore.
- Il sistema legacy ha raggiunto i suoi limiti su enorme scala multi-tenant
- Scalare l’agente di assistenza clienti con Zilliz Cloud
- Risultati in produzione: architettura semplificata, AI più veloce su larga scala
- Insight per sviluppatori/ingegneria
- Piani futuri e roadmap
Contenuto
Caso d'Uso
Settore
Commercio elettronico