Cómo Gorgias escaló sus agentes de IA conversacional para más de 15.000 comerciantes con Zilliz Cloud
Respuestas en tiempo real
en búsquedas de productos y de conocimiento.
Respuestas más inteligentes
Metadatos más completos, mayor relevancia, mejor personalización.
Operaciones más sencillas
Sin indexación manual ni soluciones alternativas.
Mayor enfoque en el desarrollador
Tiempo dedicado a mejorar la IA, no a gestionar la infraestructura.
Acerca de Gorgias
Gorgias crea agentes de IA conversacional para marcas de comercio electrónico, estrechamente integrados con Shopify y otros ecosistemas de comercio. La plataforma impulsa a más de 15.000 comerciantes, ayudándoles a ofrecer experiencias de cliente personalizadas y eficientes a escala. En el núcleo del producto de Gorgias hay un agente de IA diseñado para replicar la calidez y precisión del servicio en tienda: responder preguntas, recomendar productos y gestionar tareas como devoluciones y seguimiento de pedidos, todo a través de interfaces conversacionales.
Para ofrecer este nivel de personalización, Gorgias depende en gran medida de la búsqueda vectorial. El agente de IA debe recuperar al instante información relevante del catálogo de productos, el historial del cliente y el contenido del centro de ayuda de cada comerciante, todo mientras mantiene la precisión y el contexto en miles de tiendas únicas. A medida que creció el uso, el equipo tuvo dificultades para mantener las búsquedas rápidas y consistentes mientras daba soporte simultáneamente a miles de comerciantes.
Para superar estas limitaciones, Gorgias migró a Zilliz Cloud, el servicio totalmente gestionado para Milvus. Este cambio permite a la empresa consolidar su infraestructura de búsqueda con IA, habilitando la recuperación semántica y la recomendación en tiempo real en millones de interacciones con clientes. Con Zilliz Cloud, Gorgias redujo la complejidad operativa, mejoró la calidad de las respuestas y obtuvo la flexibilidad para respaldar una rápida evolución del producto, todo mientras mantiene un rendimiento consistente para su creciente red de comerciantes.
El sistema heredado alcanzó sus límites a una escala masiva de tenants
Gorgias inicialmente dependía de una base de datos vectorial de la competencia para su infraestructura de búsqueda vectorial. Sin embargo, las restricciones de tamaño de metadatos de la plataforma dificultaban representar las complejas variantes de productos de Shopify, como combinaciones de color, talla y género. También imponía limitaciones en torno a la profundidad de las consultas y las capacidades de filtrado, lo que afectaba la capacidad de Gorgias para ofrecer experiencias altamente contextuales y específicas de cada marca. Para abordar los límites de rendimiento en el nivel dedicado de la base de datos anterior, el equipo hizo la transición a la versión serverless, pero se encontró con costes aún más elevados y limitaciones adicionales de funcionalidades. Estos desafíos finalmente los llevaron a migrar la mayoría de sus cargas de trabajo vectoriales a Zilliz Cloud.
Al mismo tiempo, Gorgias estaba escalando para dar soporte a millones de clientes finales en más de 15.000 comerciantes, cada uno con su propia marca única. Aunque los clientes de Gorgias son comerciantes, su agente de IA debe actuar en nombre de la marca de cada comerciante, capturando tono, voz, catálogo y contexto del cliente. Esto significaba que cada interacción debía recuperar resultados que se alinearan no solo con los datos del comerciante, sino también con la forma en que esa marca se presenta ante los compradores. Dar soporte a ese nivel de personalización específica de marca en una arquitectura multi-tenant llevó al límite la infraestructura vectorial existente, subrayando la necesidad de una solución más flexible, de alto rendimiento y fiable.
Escalar el agente de soporte al cliente con Zilliz Cloud
Gorgias creó su agente de IA en torno a un centro de comando modular que procesa mensajes de clientes y los delega a flujos de trabajo de tareas especializados. Dependiendo de la naturaleza de la solicitud — ya sea una consulta de soporte, una pregunta sobre un producto o una oportunidad de venta — el agente recuperará conocimiento relevante, identificará productos coincidentes o mostrará tickets anteriores. Estos flujos de trabajo dependen de incrustar la consulta de entrada, recuperar candidatos de Zilliz Cloud, reordenarlos y luego solicitar a un LLM que sintetice una respuesta.
Para tareas de soporte, artículos de conocimiento y ejemplos de tickets anteriores, los datos se recuperan de múltiples colecciones alojadas en Zilliz Cloud. Estas incluyen tanto contenido creado por los comerciantes como datos recopilados automáticamente del sitio del comerciante. Para tareas relacionadas con ventas y productos, Gorgias almacena catálogos de productos completos como embeddings y filtra las recomendaciones en función del comportamiento y las preferencias del cliente, incluida lógica de exclusión como evitar ciertos colores o alérgenos. Todos los resultados se componen finalmente en un mensaje unificado mediante un paso final de LLM que agrega información de los flujos de trabajo individuales.
La arquitectura de Gorgias permite el procesamiento en paralelo de miles de interacciones con clientes, con los datos de los inquilinos aislados mediante particionamiento basado en claves de partición en Zilliz Cloud. Un bucle de retroalimentación refina continuamente la relevancia de la recuperación de conocimiento al mapear formulaciones históricas de los clientes a recursos de conocimiento específicos. Este mecanismo de refuerzo mejora la precisión de las respuestas incluso cuando el lenguaje del cliente se desvía de las indicaciones estándar.
Por ejemplo, si un cliente dice: “Me pregunto por qué mi entrega está tan retrasada”, el sistema aprende a asociar esa formulación con el artículo de conocimiento adecuado que normalmente se vincula a la consulta más común: “¿Dónde está mi pedido?” En el lado del producto, Gorgias está explorando formas de mejorar las recomendaciones filtrando características no deseadas, como evitar tazas descritas como “blancas” cuando un cliente dice “Odio el color blanco”, esencialmente invirtiendo la búsqueda vectorial típica para priorizar resultados distintos cuando el contexto lo requiere.
Detalles técnicos de implementación
El flujo de trabajo del agente de IA de Gorgias comienza con la recepción de mensajes. Una capa interna de orquestación dirige los mensajes entrantes a través de un “centro de mando” de LLMs, que clasifican la solicitud y determinan las tareas descendentes apropiadas. Cada tarea, ya sea que implique recuperar conocimiento de soporte, tickets anteriores relacionados o productos relevantes, utiliza embeddings vectoriales y consulta uno o más índices en Zilliz Cloud.
Estos embeddings se generan utilizando modelos propietarios alojados en Hugging Face. Los resultados de recuperación se reordenan en función del contexto, y el LLM final compone una respuesta completa. En producción, este sistema admite alta concurrencia y gestiona automáticamente la personalización específica del comerciante mediante metadatos, incluidos idioma, tono de voz, características del producto y reglas de negocio.
Durante el desarrollo, el equipo utiliza ingesta por lotes y flujos de trabajo paralelos para validar la lógica de recuperación. La supervisión y la observabilidad son áreas continuas de inversión, especialmente a medida que se incorporan nuevas categorías de productos y tipos de comerciantes.
Resultados en producción: arquitectura simplificada, IA más rápida a escala
Un sistema más sencillo que liberó a los ingenieros para trabajar en el agente de IA: Después de migrar a Zilliz Cloud, Gorgias eliminó muchas de las soluciones alternativas y la lógica de indexación personalizada requeridas por el sistema anterior. Esto redujo la complejidad de la infraestructura, lo que permitió a los desarrolladores dedicar más tiempo a mejorar el agente de IA en lugar de mantener la capa de búsqueda vectorial.
Búsquedas más rápidas con mejores resultados: La latencia de búsqueda disminuyó tanto para los datos de productos como para el contenido de conocimiento. Al mismo tiempo, el sistema podía almacenar y consultar metadatos más enriquecidos, mejorando así la relevancia de la búsqueda y permitiendo respuestas más precisas y personalizadas.
Ejecución de tareas paralelas más eficiente: La plataforma ahora gestiona flujos de trabajo paralelos de manera más eficiente, recuperando, clasificando y generando respuestas a escala sin cuellos de botella de rendimiento.
Menor sobrecarga operativa y costos más predecibles: Con menos componentes móviles y restricciones, se redujo la sobrecarga de infraestructura y la gestión de costos se volvió más predecible a medida que creció el uso.
Mejores experiencias para los clientes: Estas mejoras dieron lugar a tiempos de respuesta más rápidos, soporte de mayor calidad y la capacidad de personalizar interacciones a escala, ayudando a los comerciantes a convertir más compradores y construir relaciones más profundas con los clientes.
Perspectivas para desarrolladores/ingeniería
Firas Jarboui, el líder de ingeniería de ML en Gorgias, compartió que la fiabilidad y la flexibilidad eran dos de las necesidades más críticas al seleccionar un nuevo proveedor de bases de datos vectoriales. Las limitaciones de su sistema heredado obligaron al equipo a considerar alternativas, y una sesión de conferencia del equipo de Zilliz les presentó Milvus y Zilliz Cloud justo en el momento adecuado. Aunque aún no está en uso, Firas señaló que la búsqueda con múltiples representaciones — la capacidad de almacenar y ponderar múltiples embeddings por elemento — es una capacidad estratégica que Gorgias planea adoptar. Permitiría una correspondencia de productos más matizada en diversos contextos de clientes.
También enfatizó la importancia de mantener una separación multiinquilino limpia, que Zilliz Cloud permite mediante aislamiento a nivel de clave de partición. Para futuras mejoras, Gorgias está particularmente interesado en ampliar la lógica de filtrado y la búsqueda de similitud negativa, como recomendar productos que explícitamente no sean similares a lo que no les gusta a los usuarios.
Planes futuros y hoja de ruta
De cara al futuro, Gorgias está creando una nueva herramienta de IA orientada a comerciantes, una que permite a los vendedores hacer preguntas sobre sus propios clientes, como tendencias de sentimiento y comentarios específicos de productos. Esto complementa al agente existente orientado al cliente y tiene como objetivo llevar perspectivas ligeras al estilo de BI a la interfaz conversacional, sin requerir un equipo de ciencia de datos. Para respaldar esto, el equipo indexará historiales completos de tickets y extraerá embeddings de sentimiento específicos de productos.
En el lado de la recuperación, Gorgias está trabajando para implementar lógica avanzada de filtrado y recomendación contextual. Esto incluye ampliar las capacidades actuales para búsqueda por exclusión y descubrimiento de casos límite (p. ej., “productos menos parecidos a este”), y permitir a los comerciantes mayor control sobre cómo el agente de IA presenta recomendaciones.
La visión a largo plazo es hacer que el servicio personalizado impulsado por IA sea accesible para todos los comerciantes — incluso equipos pequeños sin científicos de datos — y mantener la experiencia de retail digital tan íntima y útil como el sastre local de la historia de infancia de su fundador.
- El sistema heredado alcanzó sus límites a una escala masiva de tenants
- Escalar el agente de soporte al cliente con Zilliz Cloud
- Resultados en producción: arquitectura simplificada, IA más rápida a escala
- Perspectivas para desarrolladores/ingeniería
- Planes futuros y hoja de ruta
Contenido
Caso de uso
Industria
Comercio electrónico