Gorgias가 Zilliz Cloud로 15,000개 이상의 머천트를 위한 대화형 AI 에이전트를 확장한 방법
실시간 응답
제품 및 지식 검색 전반에서.
더 똑똑한 답변
더 풍부한 메타데이터, 더 높은 관련성, 더 나은 개인화.
더 간단한 작업
수동 인덱싱이나 우회 방법은 없습니다.
개발자 중심성 강화
인프라 관리가 아닌 AI 개선에 쓰는 시간.
Gorgias 소개
Gorgias는 Shopify 및 기타 커머스 생태계와 긴밀하게 통합된 이커머스 브랜드용 대화형 AI 에이전트를 구축합니다. 이 플랫폼은 15,000개 이상의 머천트를 지원하며, 이들이 대규모로 개인화되고 효율적인 고객 경험을 제공하도록 돕습니다. Gorgias 제품의 핵심에는 매장 내 서비스의 따뜻함과 정확성을 재현하도록 설계된 AI 에이전트가 있습니다 — 질문에 답하고, 제품을 추천하며, 반품 및 주문 추적과 같은 작업을 모두 대화형 인터페이스를 통해 처리합니다.
이 수준의 개인화를 제공하기 위해 Gorgias는 벡터 검색에 크게 의존합니다. AI 에이전트는 정확성과 맥락을 유지하면서 수천 개의 고유한 스토어 전반에서 각 머천트의 제품 카탈로그, 고객 이력, 헬프 센터 콘텐츠에서 관련 정보를 즉시 검색해야 합니다. 사용량이 증가하면서, 팀은 수천 명의 머천트를 동시에 지원하는 동시에 검색을 빠르고 일관되게 유지하는 데 어려움을 겪었습니다.
이러한 한계를 극복하기 위해 Gorgias는 Milvus를 위한 완전 관리형 서비스인 Zilliz Cloud로 마이그레이션했습니다. 이 전환을 통해 회사는 AI 검색 인프라를 통합하여 수백만 건의 고객 상호작용 전반에서 실시간 의미론적 검색 및 추천을 가능하게 할 수 있었습니다. Zilliz Cloud를 통해 Gorgias는 운영 복잡성을 줄이고, 응답 품질을 개선했으며, 성장하는 머천트 네트워크에 대해 일관된 성능을 유지하면서 빠른 제품 진화를 지원할 수 있는 유연성을 확보했습니다.
레거시 시스템이 대규모 테넌트 스케일에서 한계에 도달하다
Gorgias는 처음에 벡터 검색 인프라로 경쟁사 벡터 데이터베이스에 의존했습니다. 그러나 이 플랫폼의 메타데이터 크기 제한으로 인해 색상, 사이즈, 성별 조합과 같은 Shopify의 복잡한 제품 변형을 표현하기 어려웠습니다. 또한 쿼리 깊이 및 필터링 기능에 대한 제한도 부과되어, Gorgias가 고도로 맥락화된 브랜드별 경험을 제공하는 능력에 영향을 미쳤습니다. 이전 데이터베이스의 전용 티어에서 성능 한계를 해결하기 위해 팀은 서버리스 버전으로 전환했지만 — 훨씬 더 가파른 비용과 추가적인 기능 제한에 직면했습니다. 이러한 과제는 결국 이들이 벡터 워크로드의 대부분을 Zilliz Cloud로 마이그레이션하도록 이끌었습니다.
동시에 Gorgias는 15,000개 이상의 머천트 전반에서 수백만 명의 최종 고객을 지원하도록 확장하고 있었습니다 — 각 머천트는 자신만의 고유한 브랜드를 운영하고 있습니다. Gorgias의 고객은 머천트이지만, 이들의 AI 에이전트는 각 머천트 브랜드를 대신해 행동하면서 어조, 목소리, 카탈로그, 고객 맥락을 포착해야 합니다. 이는 모든 상호작용이 머천트의 데이터뿐 아니라 해당 브랜드가 쇼핑객에게 자신을 표현하는 방식과도 일치하는 결과를 검색해야 함을 의미했습니다. 멀티테넌트 아키텍처 전반에서 이 수준의 브랜드별 개인화를 지원하는 것은 기존 벡터 인프라의 한계를 밀어붙였고, 더 유연하고 성능이 뛰어나며 신뢰할 수 있는 솔루션의 필요성을 강조했습니다.
Zilliz Cloud로 고객 지원 에이전트 확장하기
Gorgias는 고객 메시지를 처리하고 이를 전문화된 작업 워크플로로 위임하는 모듈식 커맨드 센터를 중심으로 AI 에이전트를 구축했습니다. 요청의 성격에 따라 — 지원 문의인지, 제품 질문인지, 또는 판매 기회인지 — 에이전트는 관련 지식을 검색하고, 일치하는 제품을 식별하거나, 과거 티켓을 표시합니다. 이러한 워크플로는 입력 쿼리를 임베딩하고, Zilliz Cloud에서 후보를 검색하고, 이를 재랭킹한 다음, LLM에 응답을 종합하도록 프롬프트하는 과정에 의존합니다.
지원 업무, 지식 문서, 과거 티켓 예시의 경우, Zilliz Cloud에 호스팅된 여러 컬렉션에서 데이터를 검색합니다. 여기에는 머천트가 작성한 콘텐츠와 머천트 사이트에서 자동으로 스크래핑된 데이터가 모두 포함됩니다. 영업 및 제품 관련 업무의 경우, Gorgias는 전체 제품 카탈로그를 임베딩으로 저장하고, 특정 색상이나 알레르기 유발 물질을 피하는 것과 같은 제외 로직을 포함하여 고객 행동과 선호도에 기반해 추천을 필터링합니다. 모든 결과는 궁극적으로 개별 워크플로의 인사이트를 집계하는 최종 LLM 단계에서 하나의 통합 메시지로 구성됩니다.
Gorgias 아키텍처는 Zilliz Cloud에서 파티션 키 기반 파티셔닝을 사용해 테넌트 데이터를 격리하면서 수천 건의 고객 상호작용을 병렬 처리할 수 있게 합니다. 피드백 루프는 과거 고객 표현을 특정 지식 리소스에 매핑함으로써 지식 검색의 관련성을 지속적으로 개선합니다. 이 강화 메커니즘은 고객의 언어가 표준 프롬프트에서 벗어나는 경우에도 응답 정확도를 향상시킵니다.
예를 들어, 고객이 “배송이 왜 이렇게 늦는지 궁금해요”라고 말하면, 시스템은 해당 표현을 더 일반적인 질문인 “내 주문은 어디에 있나요?”와 일반적으로 연결되는 적절한 지식 문서와 연관 짓는 방법을 학습합니다. 제품 측면에서 Gorgias는 고객이 “저는 흰색이 싫어요”라고 말할 때 “white”로 설명된 머그컵을 피하는 것처럼 원치 않는 특성을 필터링하여 추천을 개선하는 방법을 탐색하고 있습니다. 이는 본질적으로 맥락상 필요할 때 서로 유사하지 않은 결과를 우선시하도록 일반적인 벡터 검색을 반대로 적용하는 것입니다.
기술 구현 세부 사항
Gorgias의 AI 에이전트 워크플로는 메시지 수신으로 시작됩니다. 내부 오케스트레이션 계층은 들어오는 메시지를 LLM의 “command center”로 라우팅하며, 여기서 요청을 분류하고 적절한 다운스트림 작업을 결정합니다. 각 작업은 지원 지식, 관련 과거 티켓 또는 관련 제품을 검색하는지 여부와 관계없이 벡터 임베딩을 사용하고 Zilliz Cloud의 하나 이상의 인덱스를 쿼리합니다.
이러한 임베딩은 Hugging Face에 호스팅된 독점 모델을 사용해 생성됩니다. 검색 결과는 맥락을 기반으로 다시 순위가 매겨지며, 최종 LLM이 완전한 응답을 작성합니다. 프로덕션 환경에서 이 시스템은 높은 동시성을 지원하고, 언어, 말투, 제품 기능, 비즈니스 규칙을 포함한 메타데이터를 통해 머천트별 맞춤 설정을 자동으로 처리합니다.
개발 중에 팀은 검색 로직을 검증하기 위해 배치 수집과 병렬 워크플로를 사용합니다. 모니터링과 관측 가능성은 특히 새로운 제품 카테고리와 머천트 유형이 온보딩됨에 따라 지속적으로 투자하고 있는 영역입니다.
프로덕션 결과: 단순화된 아키텍처, 대규모에서 더 빠른 AI
AI 에이전트 작업에 엔지니어를 집중시킨 더 단순한 시스템: Zilliz Cloud로 마이그레이션한 후, Gorgias는 이전 시스템에서 필요했던 많은 우회 방법과 맞춤형 인덱싱 로직을 제거했습니다. 이를 통해 인프라 복잡성이 줄어들었고, 개발자들은 벡터 검색 계층을 유지관리하기보다 AI 에이전트를 개선하는 데 더 많은 시간을 쓸 수 있게 되었습니다.
더 나은 결과를 제공하는 더 빠른 검색: 제품 데이터와 지식 콘텐츠 모두에서 검색 지연 시간이 감소했습니다. 동시에 시스템은 더 풍부한 메타데이터를 저장하고 쿼리할 수 있게 되었으며, 이를 통해 검색 관련성이 향상되고 더 정확하고 개인화된 응답을 제공할 수 있게 되었습니다.
더 효율적인 병렬 작업 실행: 이제 플랫폼은 병렬 워크플로를 더 효율적으로 처리하여 성능 병목 없이 대규모로 검색, 순위 지정, 응답 생성을 수행합니다.
더 낮은 운영 오버헤드와 더 예측 가능한 비용: 구성 요소와 제약이 줄어들면서 인프라 오버헤드가 감소했고, 사용량이 증가함에 따라 비용 관리도 더 예측 가능해졌습니다.
더 나은 고객 경험: 이러한 개선은 더 빠른 응답 시간, 더 높은 품질의 지원, 대규모 개인화 상호작용 기능으로 이어졌으며, 머천트가 더 많은 쇼핑객을 전환하고 더 깊은 고객 관계를 구축하는 데 도움이 되었습니다.
개발자/엔지니어링 인사이트
Firas Jarboui Gorgias의 ML 엔지니어링 리드는 새로운 벡터 데이터베이스 제공업체를 선택할 때 신뢰성과 유연성이 가장 중요한 요구사항 두 가지였다고 공유했습니다. 기존 레거시 시스템의 한계로 인해 팀은 대안을 고려할 수밖에 없었고, Zilliz 팀 컨퍼런스 세션은 바로 적절한 시점에 Milvus와 Zilliz Cloud를 소개해 주었습니다. 아직 사용 중은 아니지만, Firas는 다중 표현 검색 — 항목당 여러 임베딩을 저장하고 가중치를 부여하는 능력 — 이 Gorgias가 도입할 계획인 전략적 역량이라고 언급했습니다. 이는 다양한 고객 맥락에서 더 미묘한 제품 매칭을 가능하게 할 것입니다.
그는 또한 Zilliz Cloud가 파티션 키 수준의 격리를 통해 가능하게 하는 깔끔한 멀티테넌트 분리 유지의 중요성을 강조했습니다. 향후 개선 사항으로, Gorgias는 필터링 로직과 부정 유사도 검색을 확장하는 데 특히 관심이 있습니다. 예를 들어 사용자가 싫어하는 것과 명시적으로 유사하지 않은 제품을 추천하는 것입니다.
향후 계획 및 로드맵
앞으로 Gorgias는 판매자가 감성 추세와 제품별 피드백처럼 자신의 고객에 대해 질문할 수 있게 해주는 새로운 판매자용 AI 도구를 구축하고 있습니다. 이는 기존 고객용 에이전트를 보완하며, 데이터 사이언스 팀 없이도 가벼운 BI 스타일의 인사이트를 대화형 인터페이스로 가져오는 것을 목표로 합니다. 이를 지원하기 위해 팀은 전체 티켓 기록을 인덱싱하고 제품별 감성 임베딩을 추출할 예정입니다.
검색 측면에서 Gorgias는 고급 필터링과 맥락적 추천 로직을 구현하기 위해 노력하고 있습니다. 여기에는 제외 검색 및 엣지 케이스 발견(예: “이것과 가장 닮지 않은 제품”)을 위한 현재 역량 확장과, AI 에이전트가 추천을 노출하는 방식에 대해 판매자에게 더 많은 제어권을 제공하는 것이 포함됩니다.
장기적인 비전은 개인화된 AI 기반 서비스를 모든 판매자가 이용할 수 있게 만드는 것입니다 — 데이터 과학자가 없는 소규모 팀까지도 — 그리고 디지털 리테일 경험을 창업자의 어린 시절 이야기 속 동네 재단사처럼 친밀하고 유용하게 유지하는 것입니다.