Como a Gorgias escalou seus agentes de IA conversacional para mais de 15.000 comerciantes com a Zilliz Cloud
Respostas em tempo real
em pesquisas de produtos e de conhecimento.
Respostas mais inteligentes
Metadados mais ricos, maior relevância, melhor personalização.
Operações mais simples
Sem indexação manual ou soluções alternativas.
Mais foco no desenvolvedor
Tempo gasto aprimorando a IA, não gerenciando infra.
Sobre a Gorgias
A Gorgias cria agentes de IA conversacional para marcas de e-commerce, fortemente integrados ao Shopify e a outros ecossistemas de comércio. A plataforma atende mais de 15.000 lojistas, ajudando-os a oferecer experiências de cliente personalizadas e eficientes em escala. No centro do produto da Gorgias está um agente de IA projetado para replicar o acolhimento e a precisão do atendimento em loja — respondendo a perguntas, recomendando produtos e lidando com tarefas como devoluções e rastreamento de pedidos, tudo por meio de interfaces conversacionais.
Para entregar esse nível de personalização, a Gorgias depende fortemente da busca vetorial. O agente de IA precisa recuperar instantaneamente informações relevantes do catálogo de produtos, do histórico de clientes e do conteúdo da central de ajuda de cada lojista — tudo isso mantendo precisão e contexto em milhares de lojas únicas. À medida que o uso cresceu, a equipe teve dificuldade para manter as buscas rápidas e consistentes enquanto oferecia suporte simultâneo a milhares de lojistas.
Para superar essas limitações, a Gorgias migrou para o Zilliz Cloud, o serviço totalmente gerenciado para o Milvus. Essa mudança permite que a empresa consolide sua infraestrutura de busca por IA, viabilizando recuperação semântica e recomendação em tempo real em milhões de interações com clientes. Com o Zilliz Cloud, a Gorgias reduziu a complexidade operacional, melhorou a qualidade das respostas e ganhou flexibilidade para apoiar a rápida evolução do produto — tudo isso mantendo desempenho consistente para sua crescente rede de lojistas.
O sistema legado atingiu seus limites em enorme escala de tenants
Inicialmente, a Gorgias dependia de um banco de dados vetorial concorrente para sua infraestrutura de busca vetorial. No entanto, as restrições de tamanho de metadados da plataforma dificultavam a representação das variantes complexas de produtos do Shopify, como combinações de cor, tamanho e gênero. Ela também impunha limitações quanto à profundidade das consultas e às capacidades de filtragem, o que impactava a capacidade da Gorgias de oferecer experiências altamente contextuais e específicas para cada marca. Para lidar com os limites de desempenho no tier dedicado do banco de dados anterior, a equipe migrou para a versão serverless — mas encontrou custos ainda mais altos e limitações adicionais de recursos. Esses desafios acabaram levando a equipe a migrar a maioria de suas cargas de trabalho vetoriais para o Zilliz Cloud.
Ao mesmo tempo, a Gorgias estava escalando para dar suporte a milhões de clientes finais em mais de 15.000 lojistas — cada um operando sua própria marca única. Embora os clientes da Gorgias sejam lojistas, seu agente de IA deve agir em nome da marca de cada lojista, capturando tom, voz, catálogo e contexto do cliente. Isso significava que cada interação precisava recuperar resultados alinhados não apenas aos dados do lojista, mas também à forma como essa marca se apresenta aos compradores. Dar suporte a esse nível de personalização específica por marca em uma arquitetura multi-tenant levou a infraestrutura vetorial existente ao limite, destacando a necessidade de uma solução mais flexível, performática e confiável.
Escalando o agente de suporte ao cliente com o Zilliz Cloud
A Gorgias construiu seu agente de IA em torno de um centro de comando modular que processa mensagens de clientes e as delega a workflows de tarefas especializados. Dependendo da natureza da solicitação — seja uma consulta de suporte, uma pergunta sobre produto ou uma oportunidade de venda — o agente recupera conhecimento relevante, identifica produtos correspondentes ou apresenta tickets anteriores. Esses workflows dependem da incorporação da consulta de entrada, da recuperação de candidatos do Zilliz Cloud, do re-ranqueamento deles e, em seguida, da solicitação a um LLM para sintetizar uma resposta.
Para tarefas de suporte, artigos de conhecimento e exemplos de tickets anteriores, os dados são recuperados de várias coleções hospedadas na Zilliz Cloud. Isso inclui tanto conteúdo criado pelos comerciantes quanto dados extraídos automaticamente do site do comerciante. Para tarefas relacionadas a vendas e produtos, a Gorgias armazena catálogos de produtos inteiros como embeddings e filtra recomendações com base no comportamento e nas preferências do cliente, incluindo lógica de exclusão, como evitar determinadas cores ou alérgenos. Todos os resultados são, por fim, compostos em uma mensagem unificada por uma etapa final de LLM que agrega insights dos fluxos de trabalho individuais.
A arquitetura da Gorgias permite o processamento paralelo de milhares de interações com clientes, com dados de tenants isolados usando particionamento baseado em chave de partição na Zilliz Cloud. Um ciclo de feedback refina continuamente a relevância da recuperação de conhecimento ao mapear formulações históricas dos clientes para recursos de conhecimento específicos. Esse mecanismo de reforço melhora a precisão das respostas mesmo quando a linguagem do cliente se desvia dos prompts padrão.
Por exemplo, se um cliente diz: “Estou me perguntando por que minha entrega está tão atrasada”, o sistema aprende a associar essa formulação ao artigo de conhecimento apropriado normalmente vinculado à consulta mais comum, “Onde está meu pedido?” No lado dos produtos, a Gorgias está explorando maneiras de melhorar as recomendações filtrando características indesejadas — como evitar canecas descritas como “brancas” quando um cliente diz “Eu odeio a cor branca” — essencialmente invertendo a busca vetorial típica para priorizar resultados diferentes quando o contexto exige.
Detalhes da Implementação Técnica
O fluxo de trabalho do agente de IA da Gorgias começa com a ingestão de mensagens. Uma camada interna de orquestração encaminha mensagens recebidas por meio de um “centro de comando” de LLMs, que classificam a solicitação e determinam as tarefas downstream apropriadas. Cada tarefa — seja ela envolvendo a recuperação de conhecimento de suporte, tickets anteriores relacionados ou produtos relevantes — usa embeddings vetoriais e consulta um ou mais índices na Zilliz Cloud.
Esses embeddings são gerados usando modelos proprietários hospedados no Hugging Face. Os resultados da recuperação são reclassificados com base no contexto, e o LLM final compõe uma resposta completa. Em produção, esse sistema oferece suporte a alta simultaneidade e lida automaticamente com a personalização específica de cada comerciante por meio de metadados, incluindo idioma, tom de voz, recursos do produto e regras de negócio.
Durante o desenvolvimento, a equipe usa ingestão em lote e fluxos de trabalho paralelos para validar a lógica de recuperação. Monitoramento e observabilidade são áreas contínuas de investimento, especialmente à medida que novas categorias de produtos e tipos de comerciantes são incorporados.
Resultados em Produção: Arquitetura Simplificada, IA Mais Rápida em Escala
Um sistema mais simples que liberou os engenheiros para trabalhar no agente de IA: Depois de migrar para a Zilliz Cloud, a Gorgias removeu muitas das soluções alternativas e da lógica de indexação personalizada exigidas pelo sistema anterior. Isso reduziu a complexidade da infraestrutura, permitindo que os desenvolvedores passassem mais tempo melhorando o agente de IA em vez de manter a camada de busca vetorial.
Buscas mais rápidas com melhores resultados: A latência de busca diminuiu tanto para dados de produtos quanto para conteúdo de conhecimento. Ao mesmo tempo, o sistema pôde armazenar e consultar metadados mais ricos, melhorando assim a relevância da busca e possibilitando respostas mais precisas e personalizadas.
Execução de tarefas paralelas mais eficiente: A plataforma agora lida com fluxos de trabalho paralelos com mais eficiência, recuperando, classificando e gerando respostas em escala sem gargalos de desempenho.
Menor sobrecarga operacional e custos mais previsíveis: Com menos componentes móveis e restrições, a sobrecarga de infraestrutura foi reduzida, e a gestão de custos tornou-se mais previsível à medida que o uso cresceu.
Melhores experiências para os clientes: Essas melhorias levaram a tempos de resposta mais rápidos, suporte de maior qualidade e a capacidade de personalizar interações em escala—ajudando comerciantes a converter mais compradores e construir relacionamentos mais profundos com os clientes.
Insights para Desenvolvedores/Engenharia
Firas Jarboui, líder de engenharia de ML na Gorgias, compartilhou que confiabilidade e flexibilidade eram duas das necessidades mais críticas ao selecionar um novo provedor de banco de dados vetorial. As limitações do sistema legado deles forçaram a equipe a considerar alternativas, e uma sessão de conferência da equipe da Zilliz os apresentou ao Milvus e ao Zilliz Cloud no momento certo. Embora ainda não esteja em uso, Firas observou que a busca por múltiplas representações — a capacidade de armazenar e ponderar múltiplos embeddings por item — é um recurso estratégico que a Gorgias planeja adotar. Isso permitiria correspondências de produtos mais sutis em contextos variados de clientes.
Ele também enfatizou a importância de manter uma separação multi-tenant limpa, que o Zilliz Cloud viabiliza por meio de isolamento no nível de chave de partição. Para melhorias futuras, a Gorgias está particularmente interessada em expandir a lógica de filtragem e a busca por similaridade negativa, como recomendar produtos que explicitamente não sejam semelhantes aos desgostos dos usuários.
Planos Futuros & Roteiro
Olhando adiante, a Gorgias está criando uma nova ferramenta de IA voltada para comerciantes — uma que permite aos vendedores fazer perguntas sobre seus próprios clientes, como tendências de sentimento e feedback específico de produtos. Isso complementa o agente existente voltado para clientes e visa trazer insights leves no estilo BI para a interface conversacional, sem exigir uma equipe de ciência de dados. Para dar suporte a isso, a equipe indexará históricos completos de tickets e extrairá embeddings de sentimento específicos de produtos.
No lado da recuperação, a Gorgias está trabalhando para implementar lógica avançada de filtragem e recomendação contextual. Isso inclui expandir os recursos atuais para busca por exclusão e descoberta de casos extremos (por exemplo, “produtos menos parecidos com este”), e permitir maior controle dos comerciantes sobre como o agente de IA apresenta recomendações.
A visão de longo prazo é tornar o atendimento personalizado, impulsionado por IA, acessível a todos os comerciantes — até mesmo equipes pequenas sem cientistas de dados — e manter a experiência de varejo digital tão íntima e útil quanto o alfaiate local da história de infância do fundador deles.
- O sistema legado atingiu seus limites em enorme escala de tenants
- Escalando o agente de suporte ao cliente com o Zilliz Cloud
- Resultados em Produção: Arquitetura Simplificada, IA Mais Rápida em Escala
- Insights para Desenvolvedores/Engenharia
- Planos Futuros & Roteiro
Conteúdo
Caso de uso
Indústria
Comércio eletrónico