Gorgias が Zilliz Cloud で 15,000 以上のマーチャント向けに会話型 AI エージェントをスケールさせた方法
リアルタイム応答
製品検索とナレッジ検索全体にわたって。
よりスマートな回答
より豊富なメタデータ、より高い関連性、より優れたパーソナライゼーション。
よりシンプルな操作
手動でのインデックス作成や回避策は不要です。
開発者へのさらなる注力
インフラ管理ではなく、AIの改善に費やす時間。
Gorgiasについて
Gorgiasは、Shopifyやその他のコマースエコシステムと緊密に統合された、eコマースブランド向けの会話型AIエージェントを構築しています。同プラットフォームは15,000以上のマーチャントを支え、パーソナライズされた効率的な顧客体験を大規模に提供できるよう支援しています。Gorgiasのプロダクトの中核にあるのは、店舗での接客の温かさと正確さを再現するよう設計されたAIエージェントです。会話型インターフェースを通じて、質問への回答、商品の推奨、返品や注文追跡などのタスク処理をすべて行います。
このレベルのパーソナライゼーションを実現するために、Gorgiasはベクトル検索に大きく依存しています。AIエージェントは、各マーチャントの商品カタログ、顧客履歴、ヘルプセンターコンテンツから関連情報を即座に取得する必要があります。それと同時に、何千もの固有のストア全体で精度とコンテキストを維持しなければなりません。利用が拡大するにつれ、チームは何千ものマーチャントを同時にサポートしながら、検索を高速かつ一貫した状態に保つことに苦労するようになりました。
これらの制約を克服するため、GorgiasはMilvusのフルマネージドサービスであるZilliz Cloudへ移行しました。この移行により、同社はAI検索インフラストラクチャを統合し、何百万もの顧客インタラクションにわたってリアルタイムのセマンティック検索とレコメンデーションを可能にしています。Zilliz Cloudにより、Gorgiasは運用の複雑さを軽減し、応答品質を向上させ、急速なプロダクト進化を支える柔軟性を獲得しました。同時に、拡大するマーチャントネットワークに対して一貫したパフォーマンスを維持しています。
レガシーシステムは大規模なテナントスケールで限界に達した
Gorgiasは当初、ベクトル検索インフラストラクチャに競合他社のベクトルデータベースを利用していました。しかし、そのプラットフォームのメタデータサイズ制限により、色、サイズ、性別の組み合わせなど、Shopifyの複雑な商品バリアントを表現することが困難でした。また、クエリの深さやフィルタリング機能にも制限があり、Gorgiasが高度にコンテキスト化されたブランド固有の体験を提供する能力に影響を与えていました。以前のデータベースの専用ティアにおけるパフォーマンス上限に対処するため、チームはサーバーレス版へ移行しましたが、さらに高いコストと追加の機能制限に直面しました。これらの課題が最終的に、同社のベクトルワークロードの大半をZilliz Cloudへ移行するきっかけとなりました。
同時に、Gorgiasは15,000以上のマーチャントにわたる何百万ものエンドカスタマーをサポートする規模へと拡大していました。それぞれのマーチャントは独自のブランドを運営しています。Gorgiasの顧客はマーチャントですが、そのAIエージェントは各マーチャントのブランドを代表して行動し、トーン、声、カタログ、顧客コンテキストを捉える必要があります。つまり、すべてのインタラクションで、マーチャントのデータだけでなく、そのブランドが買い物客にどのように自らを提示しているかにも一致する結果を取得する必要がありました。マルチテナントアーキテクチャ全体でこのレベルのブランド固有のパーソナライゼーションを支えることは、既存のベクトルインフラストラクチャの限界を押し広げ、より柔軟で高性能かつ信頼性の高いソリューションの必要性を浮き彫りにしました。
Zilliz Cloudでカスタマーサポートエージェントをスケーリング
Gorgiasは、顧客メッセージを処理し、専門化されたタスクワークフローへ委任するモジュール型のコマンドセンターを中心にAIエージェントを構築しました。リクエストの性質が、サポート問い合わせ、商品に関する質問、販売機会のいずれであるかに応じて、エージェントは関連ナレッジを取得し、一致する商品を特定し、または過去のチケットを提示します。これらのワークフローは、入力クエリを埋め込み、Zilliz Cloudから候補を取得し、それらを再ランキングしたうえで、LLMに応答を統合するようプロンプトすることに依存しています。
サポートタスク、ナレッジ記事、過去のチケット例については、Zilliz Cloud にホストされた複数のコレクションからデータが取得されます。これには、マーチャントが作成したコンテンツと、マーチャントのサイトから自動的にスクレイピングされたデータの両方が含まれます。販売および製品関連のタスクでは、Gorgias は製品カタログ全体を埋め込みとして保存し、顧客の行動や好みに基づいてレコメンデーションをフィルタリングします。これには、特定の色やアレルゲンを避けるといった除外ロジックも含まれます。すべての結果は最終的に、個々のワークフローからのインサイトを集約する最後の LLM ステップによって、統一されたメッセージとして構成されます。
Gorgias のアーキテクチャは、数千件の顧客インタラクションの並列処理を可能にし、テナントデータは Zilliz Cloud におけるパーティションキーに基づくパーティショニングを使用して分離されます。フィードバックループは、過去の顧客の言い回しを特定のナレッジリソースにマッピングすることで、ナレッジ検索の関連性を継続的に洗練します。この強化メカニズムにより、顧客の言語が標準的なプロンプトから外れている場合でも、応答精度が向上します。
たとえば、顧客が「配送がこんなに遅れている理由を知りたいのですが」と言った場合、システムはその言い回しを、より一般的な問い合わせである「注文はどこにありますか？」に通常リンクされる適切なナレッジ記事と関連付けることを学習します。製品面では、Gorgias は、望ましくない特徴を除外することでレコメンデーションを改善する方法を模索しています。たとえば、顧客が「白という色が嫌いです」と言った場合に「white」と説明されたマグカップを避けるなど、文脈上必要な場合には、典型的なベクトル検索を実質的に反転させて、類似していない結果を優先します。
技術的実装の詳細
Gorgias の AI エージェントワークフローは、メッセージの取り込みから始まります。内部のオーケストレーション層が受信メッセージを LLM の「コマンドセンター」にルーティングし、そこでリクエストを分類して、適切な下流タスクを決定します。各タスクは、サポートナレッジ、関連する過去のチケット、関連製品のいずれを取得する場合でも、ベクトル埋め込みを使用し、Zilliz Cloud 内の 1 つ以上のインデックスにクエリを実行します。
これらの埋め込みは、Hugging Face 上でホストされている独自モデルを使用して生成されます。検索結果は文脈に基づいて再ランキングされ、最終的な LLM が完全な応答を作成します。本番環境では、このシステムは高い同時実行性をサポートし、言語、話し方のトーン、製品機能、ビジネスルールなどのメタデータを通じて、マーチャント固有のカスタマイズを自動的に処理します。
開発中、チームはバッチ取り込みと並列ワークフローを使用して検索ロジックを検証します。モニタリングとオブザーバビリティは、特に新しい製品カテゴリやマーチャントタイプがオンボーディングされるにつれて、継続的な投資領域となっています。
本番環境での成果：シンプル化されたアーキテクチャ、スケール時のより高速な AI
エンジニアが AI エージェントに取り組む時間を確保できる、よりシンプルなシステム： Zilliz Cloud への移行後、Gorgias は以前のシステムで必要だった多くの回避策やカスタムインデックスロジックを削除しました。これによりインフラストラクチャの複雑さが軽減され、開発者はベクトル検索レイヤーの保守ではなく、AI エージェントの改善により多くの時間を費やせるようになりました。
より良い結果を伴う高速な検索： 製品データとナレッジコンテンツの両方で検索レイテンシが低下しました。同時に、システムはより豊富なメタデータを保存およびクエリできるようになり、検索の関連性が向上し、より正確でパーソナライズされた応答が可能になりました。
より効率的な並列タスク実行： プラットフォームは現在、並列ワークフローをより効率的に処理し、パフォーマンスのボトルネックなしに、大規模に取得、ランキング、応答生成を行います。
運用オーバーヘッドの低減と、より予測可能なコスト： 可動部分や制約が少なくなったことで、インフラストラクチャのオーバーヘッドが削減され、利用量の増加に伴うコスト管理がより予測可能になりました。
より優れた顧客体験： これらの改善により、応答時間の短縮、より高品質なサポート、そして大規模なパーソナライズされたインタラクションが可能になり、マーチャントがより多くの買い物客をコンバージョンし、より深い顧客関係を築くことに貢献しています。
開発者/エンジニアリングのインサイト
GorgiasのMLエンジニアリングリードであるFiras Jarbouiは、新しいベクトルデータベースプロバイダーを選定する際、信頼性と柔軟性が最も重要なニーズの2つだったと共有しました。従来システムの制約により、チームは代替案を検討せざるを得なくなり、Zillizのチームカンファレンスセッションで、まさに適切なタイミングでMilvusとZilliz Cloudを知ることになりました。まだ利用は開始していないものの、Firasは、マルチ表現検索（アイテムごとに複数の埋め込みを保存し、重み付けできる機能）は、Gorgiasが導入を計画している戦略的機能だと述べました。これにより、多様な顧客コンテキストにまたがる、よりきめ細かな商品マッチングが可能になります。
また彼は、クリーンなマルチテナント分離を維持する重要性も強調しました。Zilliz Cloudは、パーティションキー単位の分離によってこれを可能にしています。今後の改善点として、Gorgiasは特に、フィルタリングロジックとネガティブ類似性検索の拡張に関心を持っています。たとえば、ユーザーが嫌いなものと明示的に類似していない商品を推薦するような機能です。
今後の計画とロードマップ
今後、Gorgiasは販売者向けの新しいAIツールを構築しています。これは、販売者が自社の顧客について、感情傾向や商品別フィードバックなどの質問をできるようにするものです。これは既存の顧客向けエージェントを補完し、データサイエンスチームを必要とせずに、軽量なBIスタイルのインサイトを会話型インターフェースにもたらすことを目指しています。これを支えるため、チームはチケット履歴全体をインデックス化し、商品別の感情埋め込みを抽出する予定です。
検索側では、Gorgiasは高度なフィルタリングとコンテキストに応じた推薦ロジックの実装に取り組んでいます。これには、除外検索やエッジケース発見（例：「これに最も似ていない商品」）に関する現在の機能を拡張することや、AIエージェントが推薦を提示する方法について、販売者がより細かく制御できるようにすることが含まれます。
長期的なビジョンは、パーソナライズされたAI搭載サービスを、データサイエンティストのいない小規模チームであっても、すべての販売者が利用できるようにすることです。そして、創業者の幼少期の物語に登場する地元の仕立て屋のように、デジタル小売体験を親密で役立つものに保ち続けることです。