Как Gorgias масштабировала своих разговорных AI-агентов для более чем 15 000 продавцов с помощью Zilliz Cloud
Ответы в реальном времени
в поиске по продуктам и базе знаний.
Более умные ответы
Более насыщенные метаданные, более высокая релевантность, лучшая персонализация.
Более простые операции
Никакой ручной индексации или обходных решений.
Больше внимания разработчикам
Время тратится на улучшение ИИ, а не на управление инфраструктурой.
О Gorgias
Gorgias создает разговорных AI-агентов для e-commerce брендов, тесно интегрированных с Shopify и другими коммерческими экосистемами. Платформа обслуживает более 15 000 продавцов, помогая им предоставлять персонализированный и эффективный клиентский опыт в масштабе. В основе продукта Gorgias лежит AI-агент, созданный для воспроизведения теплоты и точности обслуживания в магазине — он отвечает на вопросы, рекомендует товары и выполняет такие задачи, как возвраты и отслеживание заказов, — все это через разговорные интерфейсы.
Чтобы обеспечить такой уровень персонализации, Gorgias в значительной степени полагается на векторный поиск. AI-агент должен мгновенно извлекать релевантную информацию из каталога товаров каждого продавца, истории клиентов и материалов центра помощи — при этом сохраняя точность и контекст в тысячах уникальных магазинов. По мере роста использования команда столкнулась с трудностями в поддержании быстрого и стабильного поиска при одновременной поддержке тысяч продавцов.
Чтобы преодолеть эти ограничения, Gorgias перешла на Zilliz Cloud, полностью управляемый сервис для Milvus. Этот переход позволяет компании консолидировать инфраструктуру AI-поиска, обеспечивая семантическое извлечение и рекомендации в реальном времени в миллионах клиентских взаимодействий. С Zilliz Cloud Gorgias снизила операционную сложность, улучшила качество ответов и получила гибкость для поддержки быстрого развития продукта — при этом сохраняя стабильную производительность для своей растущей сети продавцов.
Устаревшая система достигла своих пределов при масштабировании до огромного числа арендаторов
Изначально Gorgias использовала векторную базу данных конкурента для своей инфраструктуры векторного поиска. Однако ограничения платформы по размеру метаданных затрудняли представление сложных вариантов товаров Shopify, таких как комбинации цвета, размера и пола. Она также накладывала ограничения на глубину запросов и возможности фильтрации, что влияло на способность Gorgias предоставлять высококонтекстный опыт, специфичный для каждого бренда. Чтобы устранить пределы производительности на выделенном тарифе предыдущей базы данных, команда перешла на serverless-версию, но столкнулась с еще более высокими затратами и дополнительными функциональными ограничениями. Эти сложности в итоге привели к миграции большей части векторных нагрузок в Zilliz Cloud.
В то же время Gorgias масштабировалась для поддержки миллионов конечных клиентов у более чем 15 000 продавцов — каждый из которых развивает собственный уникальный бренд. Хотя клиенты Gorgias — это продавцы, их AI-агент должен действовать от имени бренда каждого продавца, передавая тон, голос, каталог и клиентский контекст. Это означало, что каждое взаимодействие должно было извлекать результаты, соответствующие не только данным продавца, но и тому, как этот бренд представляет себя покупателям. Поддержка такого уровня персонализации под конкретный бренд в многоарендаторной архитектуре довела существующую векторную инфраструктуру до предела, подчеркнув необходимость в более гибком, производительном и надежном решении.
Масштабирование агента клиентской поддержки с помощью Zilliz Cloud
Gorgias построила своего AI-агента вокруг модульного командного центра, который обрабатывает сообщения клиентов и передает их специализированным рабочим процессам задач. В зависимости от характера запроса — будь то обращение в поддержку, вопрос о товаре или возможность продажи — агент извлекает релевантные знания, определяет подходящие товары или выводит прошлые тикеты. Эти рабочие процессы опираются на создание эмбеддинга входного запроса, извлечение кандидатов из Zilliz Cloud, их повторное ранжирование, а затем передачу подсказки LLM для синтеза ответа.
Для задач поддержки, статей базы знаний и примеров прошлых тикетов данные извлекаются из нескольких коллекций, размещённых в Zilliz Cloud. Они включают как контент, созданный мерчантами, так и автоматически собранные данные с сайта мерчанта. Для задач, связанных с продажами и продуктами, Gorgias хранит целые каталоги продуктов в виде эмбеддингов и фильтрует рекомендации на основе поведения и предпочтений клиентов, включая логику исключения, например избегание определённых цветов или аллергенов. Все результаты в конечном итоге объединяются в единое сообщение на финальном этапе LLM, который агрегирует инсайты из отдельных рабочих процессов.
Архитектура Gorgias обеспечивает параллельную обработку тысяч взаимодействий с клиентами, при этом данные арендаторов изолируются с помощью партиционирования на основе partition key в Zilliz Cloud. Петля обратной связи постоянно уточняет релевантность извлечения знаний, сопоставляя исторические формулировки клиентов с конкретными ресурсами базы знаний. Этот механизм подкрепления повышает точность ответов даже тогда, когда язык клиента отклоняется от стандартных запросов.
Например, если клиент говорит: «Мне интересно, почему моя доставка так задерживается», система учится связывать такую формулировку с соответствующей статьёй базы знаний, которая обычно связана с более распространённым запросом: «Где мой заказ?» Что касается продуктов, Gorgias изучает способы улучшения рекомендаций путём отфильтровывания нежелательных признаков — например, избегая кружек, описанных как «белые», когда клиент говорит: «Я ненавижу белый цвет», — по сути, обращая типичный векторный поиск, чтобы отдавать приоритет непохожим результатам, когда этого требует контекст.
Технические детали реализации
Рабочий процесс AI-агента Gorgias начинается с приёма сообщения. Внутренний слой оркестрации направляет входящие сообщения через «командный центр» LLM, которые классифицируют запрос и определяют соответствующие последующие задачи. Каждая задача — будь то извлечение знаний поддержки, связанных прошлых тикетов или релевантных продуктов — использует векторные эмбеддинги и выполняет запросы к одному или нескольким индексам в Zilliz Cloud.
Эти эмбеддинги генерируются с использованием проприетарных моделей, размещённых на Hugging Face. Результаты извлечения повторно ранжируются на основе контекста, а финальная LLM формирует полный ответ. В production эта система поддерживает высокую конкурентность и автоматически обрабатывает кастомизацию под конкретного мерчанта с помощью метаданных, включая язык, тон общения, характеристики продуктов и бизнес-правила.
Во время разработки команда использует пакетную загрузку и параллельные рабочие процессы для проверки логики извлечения. Мониторинг и наблюдаемость остаются постоянными направлениями инвестиций, особенно по мере подключения новых категорий продуктов и типов мерчантов.
Результаты в production: упрощённая архитектура, более быстрый AI в масштабе
Более простая система, которая освободила инженеров для работы над AI-агентом: После миграции на Zilliz Cloud Gorgias убрала многие обходные решения и пользовательскую логику индексирования, необходимые в предыдущей системе. Это снизило сложность инфраструктуры, позволив разработчикам уделять больше времени улучшению AI-агента, а не поддержке слоя векторного поиска.
Более быстрый поиск с лучшими результатами: Задержка поиска снизилась как для продуктовых данных, так и для контента базы знаний. В то же время система смогла хранить и запрашивать более богатые метаданные, тем самым повышая релевантность поиска и обеспечивая более точные, персонализированные ответы.
Более эффективное параллельное выполнение задач: Теперь платформа эффективнее обрабатывает параллельные рабочие процессы, извлекая, ранжируя и генерируя ответы в масштабе без узких мест в производительности.
Более низкие операционные накладные расходы и более предсказуемые затраты: Благодаря меньшему количеству движущихся частей и ограничений накладные расходы на инфраструктуру были снижены, а управление затратами стало более предсказуемым по мере роста использования.
Лучший клиентский опыт: Эти улучшения привели к более быстрому времени ответа, более качественной поддержке и возможности персонализировать взаимодействия в масштабе, помогая мерчантам конвертировать больше покупателей и строить более глубокие отношения с клиентами.
Инсайты для разработчиков/инженеров
Firas Jarboui, руководитель направления ML-инжиниринга в Gorgias, поделился, что надежность и гибкость были двумя наиболее критически важными требованиями при выборе нового поставщика векторной базы данных. Ограничения их устаревшей системы вынудили команду рассмотреть альтернативы, а сессия команды Zilliz на конференции познакомила их с Milvus и Zilliz Cloud как раз в нужный момент. Хотя это еще не используется, Firas отметил, что поиск с несколькими представлениями — возможность хранить и взвешивать несколько эмбеддингов для каждого элемента — является стратегической возможностью, которую Gorgias планирует внедрить. Это позволит более точно сопоставлять продукты в различных клиентских контекстах.
Он также подчеркнул важность поддержания четкого разделения в мультиарендной среде, которое Zilliz Cloud обеспечивает за счет изоляции на уровне ключей партиций. В качестве будущих улучшений Gorgias особенно заинтересована в расширении логики фильтрации и поиске отрицательной схожести, например в рекомендации продуктов, которые явно не похожи на то, что не нравится пользователю.
Будущие планы и дорожная карта
Заглядывая вперед, Gorgias создает новый AI-инструмент для продавцов — инструмент, который позволяет продавцам задавать вопросы о собственных клиентах, например о тенденциях настроений и отзывах по конкретным продуктам. Это дополняет существующего клиентского агента и нацелено на то, чтобы привнести легкие BI-инсайты в разговорный интерфейс без необходимости иметь команду дата-сайентистов. Для поддержки этого команда проиндексирует полные истории тикетов и извлечет эмбеддинги настроений по конкретным продуктам.
Что касается поиска и извлечения данных, Gorgias работает над внедрением продвинутой фильтрации и логики контекстных рекомендаций. Это включает расширение текущих возможностей для поиска с исключениями и обнаружения пограничных случаев (например, «продукты, наименее похожие на этот»), а также предоставление продавцам большего контроля над тем, как AI-агент выводит рекомендации.
Долгосрочное видение заключается в том, чтобы сделать персонализированное обслуживание на базе AI доступным для всех продавцов — даже для небольших команд без дата-сайентистов — и сохранить цифровой розничный опыт таким же личным и полезным, как у местного портного из детской истории их основателя.
- Устаревшая система достигла своих пределов при масштабировании до огромного числа арендаторов
- Масштабирование агента клиентской поддержки с помощью Zilliz Cloud
- Результаты в production: упрощённая архитектура, более быстрый AI в масштабе
- Инсайты для разработчиков/инженеров
- Будущие планы и дорожная карта
Контент
Пример использования
Отрасль
Электронная коммерция