Comment Gorgias a fait évoluer ses agents d’IA conversationnelle pour plus de 15 000 marchands avec Zilliz Cloud
Réponses en temps réel
dans les recherches de produits et de connaissances.
Des réponses plus intelligentes
Des métadonnées plus riches, une pertinence accrue, une meilleure personnalisation.
Opérations plus simples
Pas d’indexation manuelle ni de solutions de contournement.
Davantage axé sur les développeurs
Du temps consacré à améliorer l’IA, pas à gérer l’infrastructure.
À propos de Gorgias
Gorgias développe des agents d’IA conversationnelle pour les marques d’e-commerce, étroitement intégrés à Shopify et à d’autres écosystèmes de commerce. La plateforme alimente plus de 15 000 marchands, les aidant à offrir des expériences client personnalisées et efficaces à grande échelle. Au cœur du produit de Gorgias se trouve un agent d’IA conçu pour reproduire la chaleur et la précision du service en magasin — répondre aux questions, recommander des produits et gérer des tâches telles que les retours et le suivi des commandes, le tout via des interfaces conversationnelles.
Pour offrir ce niveau de personnalisation, Gorgias s’appuie fortement sur la recherche vectorielle. L’agent d’IA doit récupérer instantanément les informations pertinentes du catalogue de produits, de l’historique client et du contenu du centre d’aide de chaque marchand — tout en maintenant l’exactitude et le contexte à travers des milliers de boutiques uniques. À mesure que l’utilisation augmentait, l’équipe a eu du mal à maintenir des recherches rapides et cohérentes tout en prenant en charge simultanément des milliers de marchands.
Pour surmonter ces limites, Gorgias a migré vers Zilliz Cloud, le service entièrement géré pour Milvus. Ce changement permet à l’entreprise de consolider son infrastructure de recherche IA, en permettant la récupération sémantique en temps réel et la recommandation à travers des millions d’interactions client. Avec Zilliz Cloud, Gorgias a réduit la complexité opérationnelle, amélioré la qualité des réponses et gagné la flexibilité nécessaire pour soutenir l’évolution rapide de ses produits — tout en maintenant des performances constantes pour son réseau de marchands en pleine croissance.
Le système hérité a atteint ses limites à très grande échelle multi-locataire
Gorgias s’appuyait initialement sur une base de données vectorielle concurrente pour son infrastructure de recherche vectorielle. Cependant, les restrictions de taille des métadonnées de la plateforme rendaient difficile la représentation des variantes de produits complexes de Shopify, telles que les combinaisons de couleur, de taille et de genre. Elle imposait également des limites en matière de profondeur de requête et de capacités de filtrage, ce qui affectait la capacité de Gorgias à offrir des expériences hautement contextuelles et propres à chaque marque. Pour remédier aux plafonds de performance de l’offre dédiée de la base de données précédente, l’équipe est passée à la version serverless — mais a rencontré des coûts encore plus élevés et des limitations fonctionnelles supplémentaires. Ces défis l’ont finalement conduite à migrer la majorité de ses charges de travail vectorielles vers Zilliz Cloud.
Dans le même temps, Gorgias se développait pour prendre en charge des millions de clients finaux auprès de plus de 15 000 marchands — chacun exploitant sa propre marque unique. Si les clients de Gorgias sont des marchands, leur agent d’IA doit agir au nom de la marque de chaque marchand, en capturant le ton, la voix, le catalogue et le contexte client. Cela signifiait que chaque interaction devait récupérer des résultats alignés non seulement sur les données du marchand, mais aussi sur la manière dont cette marque se présente aux acheteurs. Prendre en charge ce niveau de personnalisation propre à chaque marque dans une architecture multi-locataire a repoussé les limites de l’infrastructure vectorielle existante, soulignant la nécessité d’une solution plus flexible, performante et fiable.
Faire évoluer l’agent de support client avec Zilliz Cloud
Gorgias a construit son agent d’IA autour d’un centre de commande modulaire qui traite les messages des clients et les délègue à des workflows de tâches spécialisés. Selon la nature de la demande — qu’il s’agisse d’une demande d’assistance, d’une question sur un produit ou d’une opportunité commerciale — l’agent récupère les connaissances pertinentes, identifie les produits correspondants ou fait remonter d’anciens tickets. Ces workflows s’appuient sur l’intégration vectorielle de la requête d’entrée, la récupération de candidats depuis Zilliz Cloud, leur réordonnancement, puis l’invite à un LLM pour synthétiser une réponse.
Pour les tâches d’assistance, les articles de connaissance et les exemples de tickets passés, les données sont récupérées depuis plusieurs collections hébergées dans Zilliz Cloud. Celles-ci incluent à la fois du contenu rédigé par les marchands et des données automatiquement extraites du site du marchand. Pour les tâches liées aux ventes et aux produits, Gorgias stocke des catalogues produits entiers sous forme d’embeddings et filtre les recommandations en fonction du comportement et des préférences des clients, y compris une logique d’exclusion comme éviter certaines couleurs ou certains allergènes. Tous les résultats sont finalement composés en un message unifié par une étape LLM finale qui agrège les informations issues des workflows individuels.
L’architecture de Gorgias permet le traitement parallèle de milliers d’interactions client, avec des données de locataires isolées grâce à un partitionnement basé sur des clés de partition dans Zilliz Cloud. Une boucle de rétroaction affine en continu la pertinence de la récupération des connaissances en associant les formulations historiques des clients à des ressources de connaissance spécifiques. Ce mécanisme de renforcement améliore la précision des réponses même lorsque le langage du client s’écarte des prompts standards.
Par exemple, si un client dit : « Je me demande pourquoi ma livraison est si en retard », le système apprend à associer cette formulation à l’article de connaissance approprié généralement lié à la requête plus courante : « Où est ma commande ? » Côté produit, Gorgias explore des moyens d’améliorer les recommandations en filtrant les caractéristiques indésirables — par exemple en évitant les mugs décrits comme « blancs » lorsqu’un client dit « Je déteste la couleur blanche » — ce qui revient essentiellement à inverser la recherche vectorielle typique afin de privilégier des résultats dissemblables lorsque le contexte l’exige.
Détails de mise en œuvre technique
Le workflow de l’agent IA de Gorgias commence par la réception des messages. Une couche d’orchestration interne achemine les messages entrants à travers un « centre de commande » de LLM, qui classent la demande et déterminent les tâches en aval appropriées. Chaque tâche — qu’il s’agisse de récupérer des connaissances d’assistance, des tickets passés connexes ou des produits pertinents — utilise des embeddings vectoriels et interroge un ou plusieurs index dans Zilliz Cloud.
Ces embeddings sont générés à l’aide de modèles propriétaires hébergés sur Hugging Face. Les résultats de récupération sont reclassés en fonction du contexte, et le LLM final compose une réponse complète. En production, ce système prend en charge une forte concurrence et gère automatiquement la personnalisation propre à chaque marchand via les métadonnées, notamment la langue, le ton de voix, les fonctionnalités produit et les règles métier.
Pendant le développement, l’équipe utilise l’ingestion par lots et des workflows parallèles pour valider la logique de récupération. La surveillance et l’observabilité sont des domaines d’investissement continus, en particulier à mesure que de nouvelles catégories de produits et de nouveaux types de marchands sont intégrés.
Résultats en production : architecture simplifiée, IA plus rapide à grande échelle
Un système plus simple qui a libéré les ingénieurs pour travailler sur l’agent IA : Après la migration vers Zilliz Cloud, Gorgias a supprimé de nombreux contournements et la logique d’indexation personnalisée exigés par le système précédent. Cela a réduit la complexité de l’infrastructure, permettant aux développeurs de consacrer plus de temps à l’amélioration de l’agent IA plutôt qu’à la maintenance de la couche de recherche vectorielle.
Des recherches plus rapides avec de meilleurs résultats : La latence de recherche a diminué à la fois pour les données produits et le contenu de connaissance. Dans le même temps, le système a pu stocker et interroger des métadonnées plus riches, améliorant ainsi la pertinence de la recherche et permettant des réponses plus précises et personnalisées.
Une exécution des tâches parallèles plus efficace : La plateforme gère désormais plus efficacement les workflows parallèles, en récupérant, classant et générant des réponses à grande échelle sans goulots d’étranglement en matière de performance.
Une charge opérationnelle réduite et des coûts plus prévisibles : Avec moins d’éléments mobiles et de contraintes, la charge liée à l’infrastructure a été réduite, et la gestion des coûts est devenue plus prévisible à mesure que l’utilisation augmentait.
De meilleures expériences client : Ces améliorations ont entraîné des temps de réponse plus rapides, une assistance de meilleure qualité et la capacité de personnaliser les interactions à grande échelle—aidant les marchands à convertir davantage d’acheteurs et à nouer des relations client plus profondes.
Insights développeur/ingénierie
Firas Jarboui, responsable de l’ingénierie ML chez Gorgias, a indiqué que la fiabilité et la flexibilité figuraient parmi les besoins les plus critiques lors du choix d’un nouveau fournisseur de base de données vectorielle. Les limites de leur système existant ont contraint l’équipe à envisager des alternatives, et une session de conférence de l’équipe Zilliz leur a présenté Milvus et Zilliz Cloud au moment idéal. Bien qu’elle ne soit pas encore utilisée, Firas a noté que la recherche multi-représentation — la capacité de stocker et de pondérer plusieurs embeddings par élément — est une capacité stratégique que Gorgias prévoit d’adopter. Elle permettrait une mise en correspondance des produits plus nuancée dans des contextes clients variés.
Il a également souligné l’importance de maintenir une séparation multi-locataire propre, que Zilliz Cloud permet grâce à une isolation au niveau des clés de partition. Pour les améliorations futures, Gorgias s’intéresse particulièrement à l’extension de la logique de filtrage et à la recherche par similarité négative, comme la recommandation de produits qui ne sont explicitement pas similaires aux aversions des utilisateurs.
Plans futurs et feuille de route
Pour l’avenir, Gorgias développe un nouvel outil d’IA destiné aux marchands — un outil qui permet aux vendeurs de poser des questions sur leurs propres clients, comme les tendances de sentiment et les retours spécifiques aux produits. Cela complète l’agent existant destiné aux clients et vise à intégrer des insights légers de type BI dans l’interface conversationnelle, sans nécessiter d’équipe de data science. Pour soutenir cela, l’équipe indexera l’intégralité des historiques de tickets et extraira des embeddings de sentiment spécifiques aux produits.
Côté retrieval, Gorgias travaille à la mise en œuvre d’une logique de filtrage avancée et de recommandation contextuelle. Cela inclut l’extension des capacités actuelles de recherche par exclusion et de découverte de cas limites (par exemple, « produits les moins semblables à celui-ci »), ainsi que l’octroi aux marchands d’un contrôle accru sur la façon dont l’agent d’IA fait remonter les recommandations.
La vision à long terme est de rendre un service personnalisé, propulsé par l’IA, accessible à tous les marchands — même aux petites équipes sans data scientists — et de préserver une expérience de vente au détail numérique aussi intime et utile que celle du tailleur local dans l’histoire d’enfance de leur fondateur.
- Le système hérité a atteint ses limites à très grande échelle multi-locataire
- Faire évoluer l’agent de support client avec Zilliz Cloud
- Résultats en production : architecture simplifiée, IA plus rapide à grande échelle
- Insights développeur/ingénierie
- Plans futurs et feuille de route
Contenu
Cas d'usage
Secteur d'activité
Commerce électronique