Wie Zilliz Cloud das globale Wachstum von CX Genie mit schneller, zuverlässiger Vektorsuche vorantreibt

Über CX Genie

CX Genie ist ein Conversational-AI-Startup, das Chatbot-Lösungen für Kundensupport-Teams bereitstellt. Die Plattform wurde sowohl für KMU als auch für Unternehmen entwickelt und hilft Firmen dabei, den Kundenservice mit intelligenten, personalisierten und skalierbaren KI-Interaktionen zu automatisieren.

Mit Hauptsitz in Vietnam, aber mit einem überwiegend internationalen Kundenstamm – mit starker Präsenz in den Vereinigten Staaten und anderen globalen Märkten – unterstützt CX Genie über 100.000 Nutzer und etabliert sich damit als schnell aufstrebender Akteur im Bereich KI-gestützter Customer Experience.

Die technische Herausforderung: Skalierung eines RAG-basierten KI-Chatbots mit Performance und Zuverlässigkeit

Der Kern des Betriebs von CX Genie basiert auf der Technik der Retrieval-Augmented Generation (RAG), die auf Vektorsuche setzt, um relevante Informationen aus Wissensdatenbanken abzurufen und präzise Antworten in Echtzeit zu generieren. Als die Nutzerbasis jedoch wuchs, hatte die ursprüngliche Einrichtung – mit Open-Source-Lösungen für Vektorsuche wie Qdrant und Chroma – Schwierigkeiten, Schritt zu halten.

Nguyễn Ngọc Hải Đăng, der AI Engineer bei CX Genie, erwähnte: „Vor Zilliz hatten wir mit unserer vorherigen Vektordatenbanklösung nahezu täglich mehrere Minuten Ausfallzeit. Wenn man Kundensupport-Interaktionen abwickelt, die rund um die Uhr verfügbar sein müssen, war das für unser Geschäftswachstum schlicht inakzeptabel.“

Das Engineering-Team stieß auf mehrere große Herausforderungen:

• Erhöhte Latenz bei der Abfrageausführung, als die Datenmengen wuchsen

• Langsame Indexierungszeiten, die mit wachsenden Wissensdatenbanken nicht Schritt halten konnten

• Versteckte Kosten und Komplexität beim internen Management der Infrastruktur

• Tägliche Systemausfälle, die Zuverlässigkeit und Customer Experience beeinträchtigten

• Engineering-Ressourcen, die auf das Datenbankmanagement umgeleitet wurden, statt auf Produktinnovation

Diese Probleme machten es zunehmend schwierig, die schnelle, reaktionsfähige Chatbot-Erfahrung bereitzustellen, die ihre Kunden erwarteten. Eine neue Vektordatenbanklösung wurde benötigt – eine, die nahtlos skalieren, den betrieblichen Aufwand reduzieren und die Zuverlässigkeit verbessern konnte, ohne die Performance zu beeinträchtigen.

Warum Zilliz Cloud wählen: Performance, Einfachheit und Kosteneffizienz

Als CX Genie sich auf die Suche nach einer neuen Vektordatenbank machte, suchten sie nicht nur nach höherer Geschwindigkeit – sie suchten nach einer Plattform, die mit ihren wachsenden technischen Anforderungen Schritt halten konnte, ohne die betriebliche Komplexität zu erhöhen.

Ihre Bewertung konzentrierte sich auf sechs zentrale Kriterien:

• Abfrageleistung und Latenz, insbesondere bei Vektor-Workloads im Millionenmaßstab

• Geringer Betriebsaufwand, um Engineering-Ressourcen freizusetzen

• Kosteneffizienz im Vergleich zu selbst gehosteten Lösungen

• Skalierbarkeit zur Unterstützung des Geschäftswachstums

• Einfache Integration in ihre bestehende LangChain-basierte Architektur

• Umfangreicher Funktionsumfang, einschließlich Metadatenfilterung und fortgeschrittener Indexierung

Zilliz Cloud überzeugte in allen Punkten. Im Vergleich zu ihrem Open-Source-Stack mit Chroma und Qdrant – der manuelles Management und häufige Fehlerbehebung erforderte – bot Zilliz Cloud eine vollständig verwaltete Plattform, die den Infrastrukturaufwand beseitigte und es dem Team ermöglichte, sich auf den Aufbau ihres Kernprodukts zu konzentrieren.

Der Onboarding-Prozess war erfrischend einfach. Dank ausführlicher Dokumentation und gut gestalteter APIs konnte das Team innerhalb von Minuten Abfragen verbinden und testen, wodurch die Entwicklung beschleunigt und Reibung sowohl in der Migrations- als auch in der Integrationsphase reduziert wurde.

Wie Zilliz Cloud das RAG-System von CX Genie antreibt

Im Zentrum der Conversational-AI-Plattform von CX Genie steht eine zweiphasige Pipeline, die von Retrieval-Augmented Generation (RAG) unterstützt wird: die Datenaufnahmephase und die Retrieval-Phase. Zilliz Cloud spielt eine entscheidende Rolle dabei, sicherzustellen, dass beide leistungsfähig und skalierbar sind.

Datenaufnahmephase

In der Phase der Datenaufnahme werden verschiedene Quellen für Geschäftswissen—including HTML-Seiten, Dokumente, FAQs und Artikel—zunächst in handhabbare Chunks aufgeteilt. Diese Chunks werden durch ein Embedding-Modell (wie OpenAI’s Embedder) geleitet, um dichte Vektorrepräsentationen zu erzeugen. Die resultierenden Embeddings werden anschließend in Zilliz Cloud aufgenommen, wo sie effizient gespeichert und indexiert werden.

Dadurch kann CX Genie eine aktuelle Vektordatenbank pflegen, die die sich weiterentwickelnde Wissensbasis jedes Kunden widerspiegelt, mit umfassender Metadatenunterstützung und Partitionierung auf Basis von Geschäftsattributen wie Region oder Produkttyp.

Abrufphase

Wenn ein Benutzer eine Frage stellt, wird diese ebenfalls mithilfe desselben Embedders in ein Embedding umgewandelt. Dieses Query-Embedding wird an Zilliz Cloud gesendet, die eine Top-k-Ähnlichkeitssuche über die gespeicherten Vektoren durchführt. Zilliz gibt die relevantesten Chunks zurück, die anschließend in ein Large Language Model (LLM) eingespeist werden, um eine passendere Antwort zu generieren.

Dank der latenzarmen Suche, der umfangreichen Filterfunktionen und der skalierbaren Architektur von Zilliz Cloud kann CX Genie den relevantesten Kontext in Millisekunden abrufen, sodass Chatbots selbst bei hohem Datenverkehr präzise und schnell antworten können.

Messbare Ergebnisse: Geschwindigkeit, Skalierung und Kosteneinsparungen

Seit dem Wechsel zu Zilliz Cloud hat CX Genie erhebliche technische und geschäftliche Vorteile erzielt:

• 5-10ms Latenz für Vektorähnlichkeitssuchen über 1M+ Embeddings hinweg

• 2× schnellere Abfrageleistung im Vergleich zu ihrer vorherigen Chroma-Implementierung

• 70% Kosteneinsparungen gegenüber selbst gehosteter Infrastruktur

• Keine Ausfallzeiten seit der Migration, im Vergleich zu täglichen Ausfällen mit ihrer vorherigen Lösung

• Genauerer Abruf durch Metadatenfilterung und Partitionierungsfunktionen

• Reduzierter Engineering-Aufwand dank vollständig verwalteter Infrastruktur

"Durch die Migration zu Zilliz Cloud haben wir unsere Infrastrukturkosten für Vektordatenbanken im Vergleich zu unserem selbst gehosteten Setup um etwa 70% reduziert. Dadurch können wir diese Einsparungen in die Verbesserung unserer zentralen KI-Fähigkeiten reinvestieren, anstatt Datenbankinfrastruktur zu verwalten," sagte Nguyễn Ngọc Hải Đăng.

Diese Verbesserungen haben CX Genie dabei geholfen, schnellere und relevantere Kundeninteraktionen bereitzustellen—ohne das Engineering-Team oder das Cloud-Budget zu überlasten—und letztlich eine bessere Erfahrung für ihre Endbenutzer zu schaffen.

Entwicklererfahrung und nahtlose Migration

Für das Engineering-Team von CX Genie hat der Wechsel zu Zilliz Cloud sowohl die Entwicklung als auch das Systemmanagement optimiert. Der Onboarding-Prozess verlief reibungslos, wobei das Python SDK und die API-Referenzen den Einstieg unkompliziert machten. Zuvor erforderte die Wartung ihres selbst gehosteten Setups kontinuierlichen Aufwand über mehrere Teams hinweg. Mit der verwalteten Infrastruktur von Zilliz Cloud werden die Kernoperationen nun mit minimaler Aufsicht abgewickelt. Funktionen wie Multi-Condition Filtering und partitionierte Collections haben es dem Team erleichtert, Embeddings nach Region oder Geschäftskontext zu organisieren und abzurufen.

Obwohl der Migrationsprozess manuell durchgeführt wurde, empfand das Team ihn als äußerst effizient. Sie nutzten die REST API und Bulk-Insert-Funktionen, um Daten aus PostgreSQL zu verschieben und dabei die Struktur ihrer Metadaten und Embeddings beizubehalten. Durch die Ausrichtung von Collections und Partitionen an ihrer internen Logik stellten sie sicher, dass das System auch nach der Migration organisiert und performant blieb.

Wie es weitergeht: Erweiterung der Fähigkeiten mit Zilliz Cloud

CX Genie entwickelt seine KI-Chatbot-Plattform kontinuierlich weiter und möchte die Nutzung von Zilliz Cloud ausbauen. Sie planen, Verbesserungen im Indexierungsmanagement zu untersuchen, und erwarten UI-Verbesserungen—insbesondere rund um den API Playground, der eine wichtige Schnittstelle beim Umgang mit groß angelegten Embeddings von Anbietern wie OpenAI ist.

Während sie skalieren, um mehr globale Kunden zu bedienen, wird die Partnerschaft mit Zilliz Cloud ein Eckpfeiler ihrer Infrastrukturstrategie bleiben.

Fazit

Die Reise von CX Genie unterstreicht die Kraft der Kombination einer strategischen RAG-Architektur mit einer leistungsstarken, zuverlässigen Vektordatenbank. Mit Zilliz Cloud konnten sie ihre Startup-Agilität beibehalten und gleichzeitig global skalieren – und Unternehmen auf der ganzen Welt schnellere, intelligentere und kosteneffizientere KI-gestützte Kundenerlebnisse bieten.

Durch den Fokus darauf, sowohl technische Herausforderungen (Performance der Vektorsuche, Systemzuverlässigkeit) als auch geschäftliche Herausforderungen (Effizienz des Kundensupports, Kostensenkung) zu lösen, zeigt CX Genie beispielhaft, wie die richtigen Infrastrukturentscheidungen die Kundenzufriedenheit und das Geschäftswachstum direkt beeinflussen können.