Wie Gorgias seine Conversational-AI-Agenten für über 15.000 Händler mit Zilliz Cloud skalierte
Echtzeitantworten
über Produkt- und Wissenssuchen hinweg.
Intelligentere Antworten
Umfangreichere Metadaten, höhere Relevanz, bessere Personalisierung.
Einfachere Abläufe
Keine manuelle Indizierung oder Workarounds.
Stärkerer Entwicklerfokus
Zeit, die in die Verbesserung von KI investiert wird, nicht in die Verwaltung von Infrastruktur.
Über Gorgias
Gorgias entwickelt konversationelle KI-Agenten für E-Commerce-Marken, eng integriert mit Shopify und anderen Commerce-Ökosystemen. Die Plattform unterstützt über 15.000 Händler und hilft ihnen, personalisierte, effiziente Kundenerlebnisse in großem Maßstab zu bieten. Im Kern des Produkts von Gorgias steht ein KI-Agent, der darauf ausgelegt ist, die Wärme und Präzision eines Service im Ladengeschäft nachzubilden — Fragen zu beantworten, Produkte zu empfehlen und Aufgaben wie Retouren und Bestellverfolgung zu übernehmen, alles über konversationelle Schnittstellen.
Um dieses Maß an Personalisierung zu ermöglichen, setzt Gorgias stark auf Vektorsuche. Der KI-Agent muss relevante Informationen aus dem Produktkatalog, der Kundenhistorie und den Help-Center-Inhalten jedes Händlers sofort abrufen — und dabei Genauigkeit und Kontext über Tausende einzigartiger Shops hinweg wahren. Mit zunehmender Nutzung hatte das Team Schwierigkeiten, Suchvorgänge schnell und konsistent zu halten und gleichzeitig Tausende von Händlern parallel zu unterstützen.
Um diese Einschränkungen zu überwinden, migrierte Gorgias zu Zilliz Cloud, dem vollständig verwalteten Service für Milvus. Dieser Wechsel ermöglicht es dem Unternehmen, seine KI-Suchinfrastruktur zu konsolidieren und semantischen Abruf sowie Empfehlungen in Echtzeit über Millionen von Kundeninteraktionen hinweg zu ermöglichen. Mit Zilliz Cloud reduzierte Gorgias die operative Komplexität, verbesserte die Antwortqualität und gewann die Flexibilität, eine schnelle Produktweiterentwicklung zu unterstützen — und zugleich eine konsistente Performance für sein wachsendes Händlernetzwerk aufrechtzuerhalten.
Das Legacy-System stieß bei massiver Tenant-Skalierung an seine Grenzen
Gorgias setzte zunächst auf eine konkurrierende Vektordatenbank für seine Vektorsuchinfrastruktur. Die Beschränkungen der Plattform hinsichtlich der Metadatengröße erschwerten es jedoch, die komplexen Produktvarianten von Shopify darzustellen, etwa Kombinationen aus Farbe, Größe und Geschlecht. Außerdem gab es Einschränkungen bei Abfragetiefe und Filtermöglichkeiten, was die Fähigkeit von Gorgias beeinträchtigte, hochgradig kontextbezogene, markenspezifische Erlebnisse zu liefern. Um Performance-Grenzen im Dedicated-Tier der vorherigen Datenbank zu überwinden, wechselte das Team zur serverlosen Version — stieß dort jedoch auf noch höhere Kosten und zusätzliche Funktionseinschränkungen. Diese Herausforderungen führten schließlich dazu, dass der Großteil der Vektor-Workloads zu Zilliz Cloud migriert wurde.
Gleichzeitig skalierte Gorgias, um Millionen von Endkunden über mehr als 15.000 Händler hinweg zu unterstützen — von denen jeder seine eigene einzigartige Marke betreibt. Während die Kunden von Gorgias Händler sind, muss ihr KI-Agent im Namen der Marke jedes Händlers handeln und Tonalität, Stimme, Katalog und Kundenkontext erfassen. Das bedeutete, dass jede Interaktion Ergebnisse abrufen musste, die nicht nur mit den Daten des Händlers übereinstimmen, sondern auch damit, wie sich diese Marke gegenüber Käufern präsentiert. Die Unterstützung dieses Maßes an markenspezifischer Personalisierung in einer Multi-Tenant-Architektur brachte die bestehende Vektorinfrastruktur an ihre Grenzen und unterstrich den Bedarf an einer flexibleren, leistungsfähigeren und zuverlässigeren Lösung.
Skalierung des Customer-Support-Agenten mit Zilliz Cloud
Gorgias entwickelte seinen KI-Agenten rund um eine modulare Kommandozentrale, die Kundennachrichten verarbeitet und sie an spezialisierte Aufgaben-Workflows weiterleitet. Je nach Art der Anfrage — ob es sich um eine Supportanfrage, eine Produktfrage oder eine Verkaufschance handelt — ruft der Agent relevantes Wissen ab, identifiziert passende Produkte oder zeigt frühere Tickets an. Diese Workflows basieren darauf, die Eingabeabfrage einzubetten, Kandidaten aus Zilliz Cloud abzurufen, sie neu zu ranken und anschließend ein LLM aufzufordern, eine Antwort zu synthetisieren.
Für Support-Aufgaben, Wissensartikel und Beispiele früherer Tickets werden Daten aus mehreren in Zilliz Cloud gehosteten Collections abgerufen. Dazu gehören sowohl von Händlern erstellte Inhalte als auch automatisch von der Website des Händlers gescrapte Daten. Für vertriebs- und produktbezogene Aufgaben speichert Gorgias vollständige Produktkataloge als Embeddings und filtert Empfehlungen basierend auf Kundenverhalten und Präferenzen, einschließlich Ausschlusslogik wie dem Vermeiden bestimmter Farben oder Allergene. Alle Ergebnisse werden letztlich durch einen abschließenden LLM-Schritt zu einer einheitlichen Nachricht zusammengesetzt, der Erkenntnisse aus den einzelnen Workflows aggregiert.
Die Gorgias-Architektur ermöglicht die parallele Verarbeitung von Tausenden Kundeninteraktionen, wobei Mandantendaten mithilfe von partition-key-basierter Partitionierung in Zilliz Cloud isoliert werden. Eine Feedback-Schleife verfeinert kontinuierlich die Relevanz des Wissensabrufs, indem historische Kundenformulierungen spezifischen Wissensressourcen zugeordnet werden. Dieser Verstärkungsmechanismus verbessert die Antwortgenauigkeit selbst dann, wenn die Sprache des Kunden von Standard-Prompts abweicht.
Wenn ein Kunde beispielsweise sagt: „Ich frage mich, warum meine Lieferung so verspätet ist“, lernt das System, diese Formulierung mit dem passenden Wissensartikel zu verknüpfen, der typischerweise mit der häufigeren Anfrage „Wo ist meine Bestellung?“ verbunden ist. Auf der Produktseite untersucht Gorgias Möglichkeiten, Empfehlungen zu verbessern, indem unerwünschte Merkmale herausgefiltert werden — etwa das Vermeiden von Tassen, die als „weiß“ beschrieben werden, wenn ein Kunde sagt: „Ich hasse die Farbe Weiß“ — im Wesentlichen also eine Umkehrung der typischen Vektorsuche, um unähnliche Ergebnisse zu priorisieren, wenn der Kontext dies erfordert.
Details zur technischen Implementierung
Der Workflow des AI agent von Gorgias beginnt mit dem Nachrichteneingang. Eine interne Orchestrierungsschicht leitet eingehende Nachrichten durch ein „command center“ aus LLMs, die die Anfrage klassifizieren und die geeigneten nachgelagerten Aufgaben bestimmen. Jede Aufgabe — ob sie den Abruf von Support-Wissen, verwandten früheren Tickets oder relevanten Produkten umfasst — nutzt Vector Embeddings und fragt einen oder mehrere Indexe in Zilliz Cloud ab.
Diese Embeddings werden mithilfe proprietärer Modelle erzeugt, die auf Hugging Face gehostet werden. Abrufresultate werden kontextbasiert neu gerankt, und das finale LLM erstellt eine vollständige Antwort. In der Produktion unterstützt dieses System hohe Nebenläufigkeit und verarbeitet händlerspezifische Anpassungen automatisch über Metadaten, einschließlich Sprache, Tone of Voice, Produktmerkmalen und Geschäftsregeln.
Während der Entwicklung nutzt das Team Batch-Ingestion und parallele Workflows, um die Abruflogik zu validieren. Monitoring und Observability sind fortlaufende Investitionsbereiche, insbesondere wenn neue Produktkategorien und Händlertypen aufgenommen werden.
Produktionsergebnisse: Vereinfachte Architektur, schnellere KI im großen Maßstab
Ein einfacheres System, das Ingenieure freisetzte, um am AI agent zu arbeiten: Nach der Migration zu Zilliz Cloud entfernte Gorgias viele der Workarounds und die benutzerdefinierte Indexierungslogik, die im vorherigen System erforderlich waren. Dadurch wurde die Infrastrukturkomplexität reduziert, sodass Entwickler mehr Zeit darauf verwenden konnten, den AI agent zu verbessern, anstatt die Vector-Search-Schicht zu warten.
Schnellere Suchen mit besseren Ergebnissen: Die Suchlatenz sank sowohl für Produktdaten als auch für Wissensinhalte. Gleichzeitig konnte das System umfangreichere Metadaten speichern und abfragen, wodurch die Suchrelevanz verbessert und genauere, personalisierte Antworten ermöglicht wurden.
Effizientere parallele Aufgabenausführung: Die Plattform verarbeitet parallele Workflows nun effizienter und ruft Antworten im großen Maßstab ab, rankt und generiert sie ohne Performance-Engpässe.
Geringerer Betriebsaufwand und besser vorhersehbare Kosten: Mit weniger beweglichen Teilen und Einschränkungen wurde der Infrastrukturaufwand reduziert, und das Kostenmanagement wurde mit wachsender Nutzung besser vorhersehbar.
Bessere Kundenerlebnisse: Diese Verbesserungen führten zu schnelleren Antwortzeiten, hochwertigerem Support und der Fähigkeit, Interaktionen im großen Maßstab zu personalisieren—wodurch Händler mehr Käufer konvertieren und tiefere Kundenbeziehungen aufbauen können.
Entwickler-/Engineering-Einblicke
Firas Jarboui, der ML Engineering Lead bei Gorgias, teilte mit, dass Zuverlässigkeit und Flexibilität zwei der kritischsten Anforderungen bei der Auswahl eines neuen Vektordatenbankanbieters waren. Die Einschränkungen ihres Altsystems zwangen das Team, Alternativen in Betracht zu ziehen, und eine Konferenzsession des Zilliz-Teams stellte ihnen Milvus und Zilliz Cloud genau im richtigen Moment vor. Obwohl noch nicht im Einsatz, merkte Firas an, dass die Multi-Representation Search — die Fähigkeit, mehrere Embeddings pro Element zu speichern und zu gewichten — eine strategische Fähigkeit ist, die Gorgias zu übernehmen plant. Sie würde ein differenzierteres Produkt-Matching über unterschiedliche Kundenkontexte hinweg ermöglichen.
Er betonte außerdem die Bedeutung einer sauberen Multi-Tenant-Trennung, die Zilliz Cloud durch Isolation auf Partition-Key-Ebene ermöglicht. Für zukünftige Verbesserungen ist Gorgias besonders daran interessiert, die Filterlogik und die negative Ähnlichkeitssuche zu erweitern, etwa durch das Empfehlen von Produkten, die ausdrücklich nicht den Abneigungen der Nutzer ähneln.
Zukunftspläne & Roadmap
Mit Blick auf die Zukunft entwickelt Gorgias ein neues KI-Tool für Händler — eines, das Verkäufern ermöglicht, Fragen zu ihren eigenen Kunden zu stellen, etwa zu Stimmungstrends und produktspezifischem Feedback. Dies ergänzt den bestehenden kundenorientierten Agenten und zielt darauf ab, leichtgewichtige BI-ähnliche Erkenntnisse in die Konversationsoberfläche zu bringen, ohne ein Data-Science-Team zu erfordern. Zur Unterstützung dessen wird das Team vollständige Ticket-Historien indexieren und produktspezifische Sentiment-Embeddings extrahieren.
Auf der Retrieval-Seite arbeitet Gorgias daran, erweiterte Filter- und kontextbezogene Empfehlungslogik zu implementieren. Dazu gehört die Erweiterung aktueller Fähigkeiten für Ausschlusssuche und die Entdeckung von Grenzfällen (z. B. „Produkte, die diesem am wenigsten ähneln“) sowie die Ermöglichung von mehr Kontrolle für Händler darüber, wie der KI-Agent Empfehlungen anzeigt.
Die langfristige Vision besteht darin, personalisierten, KI-gestützten Service für alle Händler zugänglich zu machen — selbst für kleine Teams ohne Data Scientists — und das digitale Einkaufserlebnis so persönlich und hilfreich zu halten wie der lokale Schneider aus der Kindheitsgeschichte ihres Gründers.
- Das Legacy-System stieß bei massiver Tenant-Skalierung an seine Grenzen
- Skalierung des Customer-Support-Agenten mit Zilliz Cloud
- Produktionsergebnisse: Vereinfachte Architektur, schnellere KI im großen Maßstab
- Entwickler-/Engineering-Einblicke
- Zukunftspläne & Roadmap
Inhalte
Anwendungsfall
Branche
Elektronischer Geschäftsverkehr