Wie Zilliz Cloud das globale Wachstum von CX Genie mit schneller, zuverlässiger Vektorsuche vorantreibt
2× schneller
Abfrageleistung im Vergleich zu ihrer vorherigen Lösung
5–10 ms Latenz
für Vektorähnlichkeitssuchen über mehr als 1 Mio. Einbettungen
70% Kosteneinsparung
im Vergleich zu selbst gehosteter Infrastruktur
Null Ausfallzeit
seit der Migration, im Vergleich zu täglichen Ausfällen mit ihrer vorherigen Lösung
With Zilliz Cloud, we've achieved query latencies as low as 5-10ms across our million-vector database. This represents performance that's twice as fast as our previous solution, which directly translates to more responsive chatbots for our customers.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa
Über CX Genie
CX Genie ist ein Conversational-AI-Startup, das Chatbot-Lösungen für Kundensupport-Teams bereitstellt. Die Plattform wurde sowohl für KMU als auch für Unternehmen entwickelt und hilft Firmen dabei, den Kundenservice mit intelligenten, personalisierten und skalierbaren KI-Interaktionen zu automatisieren.
Mit Hauptsitz in Vietnam, aber mit einem überwiegend internationalen Kundenstamm – mit starker Präsenz in den Vereinigten Staaten und anderen globalen Märkten – unterstützt CX Genie über 100.000 Nutzer und etabliert sich damit als schnell aufstrebender Akteur im Bereich KI-gestützter Customer Experience.
Die technische Herausforderung: Skalierung eines RAG-basierten KI-Chatbots mit Performance und Zuverlässigkeit
Der Kern des Betriebs von CX Genie basiert auf der Technik der Retrieval-Augmented Generation (RAG), die auf Vektorsuche setzt, um relevante Informationen aus Wissensdatenbanken abzurufen und präzise Antworten in Echtzeit zu generieren. Als die Nutzerbasis jedoch wuchs, hatte die ursprüngliche Einrichtung – mit Open-Source-Lösungen für Vektorsuche wie Qdrant und Chroma – Schwierigkeiten, Schritt zu halten.
Nguyễn Ngọc Hải Đăng, der AI Engineer bei CX Genie, erwähnte: „Vor Zilliz hatten wir mit unserer vorherigen Vektordatenbanklösung nahezu täglich mehrere Minuten Ausfallzeit. Wenn man Kundensupport-Interaktionen abwickelt, die rund um die Uhr verfügbar sein müssen, war das für unser Geschäftswachstum schlicht inakzeptabel.“
Das Engineering-Team stieß auf mehrere große Herausforderungen:
Erhöhte Latenz bei der Abfrageausführung, als die Datenmengen wuchsen
Langsame Indexierungszeiten, die mit wachsenden Wissensdatenbanken nicht Schritt halten konnten
Versteckte Kosten und Komplexität beim internen Management der Infrastruktur
Tägliche Systemausfälle, die Zuverlässigkeit und Customer Experience beeinträchtigten
Engineering-Ressourcen, die auf das Datenbankmanagement umgeleitet wurden, statt auf Produktinnovation
Diese Probleme machten es zunehmend schwierig, die schnelle, reaktionsfähige Chatbot-Erfahrung bereitzustellen, die ihre Kunden erwarteten. Eine neue Vektordatenbanklösung wurde benötigt – eine, die nahtlos skalieren, den betrieblichen Aufwand reduzieren und die Zuverlässigkeit verbessern konnte, ohne die Performance zu beeinträchtigen.
Warum Zilliz Cloud wählen: Performance, Einfachheit und Kosteneffizienz
Als CX Genie sich auf die Suche nach einer neuen Vektordatenbank machte, suchten sie nicht nur nach höherer Geschwindigkeit – sie suchten nach einer Plattform, die mit ihren wachsenden technischen Anforderungen Schritt halten konnte, ohne die betriebliche Komplexität zu erhöhen.
Ihre Bewertung konzentrierte sich auf sechs zentrale Kriterien:
Abfrageleistung und Latenz, insbesondere bei Vektor-Workloads im Millionenmaßstab
Geringer Betriebsaufwand, um Engineering-Ressourcen freizusetzen
Kosteneffizienz im Vergleich zu selbst gehosteten Lösungen
Skalierbarkeit zur Unterstützung des Geschäftswachstums
Einfache Integration in ihre bestehende LangChain-basierte Architektur
Umfangreicher Funktionsumfang, einschließlich Metadatenfilterung und fortgeschrittener Indexierung
Zilliz Cloud überzeugte in allen Punkten. Im Vergleich zu ihrem Open-Source-Stack mit Chroma und Qdrant – der manuelles Management und häufige Fehlerbehebung erforderte – bot Zilliz Cloud eine vollständig verwaltete Plattform, die den Infrastrukturaufwand beseitigte und es dem Team ermöglichte, sich auf den Aufbau ihres Kernprodukts zu konzentrieren.
Der Onboarding-Prozess war erfrischend einfach. Dank ausführlicher Dokumentation und gut gestalteter APIs konnte das Team innerhalb von Minuten Abfragen verbinden und testen, wodurch die Entwicklung beschleunigt und Reibung sowohl in der Migrations- als auch in der Integrationsphase reduziert wurde.
Wie Zilliz Cloud das RAG-System von CX Genie antreibt
Im Zentrum der Conversational-AI-Plattform von CX Genie steht eine zweiphasige Pipeline, die von Retrieval-Augmented Generation (RAG) unterstützt wird: die Datenaufnahmephase und die Retrieval-Phase. Zilliz Cloud spielt eine entscheidende Rolle dabei, sicherzustellen, dass beide leistungsfähig und skalierbar sind.
Datenaufnahmephase
In der Phase der Datenaufnahme werden verschiedene Quellen für Geschäftswissen—including HTML-Seiten, Dokumente, FAQs und Artikel—zunächst in handhabbare Chunks aufgeteilt. Diese Chunks werden durch ein Embedding-Modell (wie OpenAI’s Embedder) geleitet, um dichte Vektorrepräsentationen zu erzeugen. Die resultierenden Embeddings werden anschließend in Zilliz Cloud aufgenommen, wo sie effizient gespeichert und indexiert werden.
Dadurch kann CX Genie eine aktuelle Vektordatenbank pflegen, die die sich weiterentwickelnde Wissensbasis jedes Kunden widerspiegelt, mit umfassender Metadatenunterstützung und Partitionierung auf Basis von Geschäftsattributen wie Region oder Produkttyp.
Abrufphase
Wenn ein Benutzer eine Frage stellt, wird diese ebenfalls mithilfe desselben Embedders in ein Embedding umgewandelt. Dieses Query-Embedding wird an Zilliz Cloud gesendet, die eine Top-k-Ähnlichkeitssuche über die gespeicherten Vektoren durchführt. Zilliz gibt die relevantesten Chunks zurück, die anschließend in ein Large Language Model (LLM) eingespeist werden, um eine passendere Antwort zu generieren.
Dank der latenzarmen Suche, der umfangreichen Filterfunktionen und der skalierbaren Architektur von Zilliz Cloud kann CX Genie den relevantesten Kontext in Millisekunden abrufen, sodass Chatbots selbst bei hohem Datenverkehr präzise und schnell antworten können.
Messbare Ergebnisse: Geschwindigkeit, Skalierung und Kosteneinsparungen
Seit dem Wechsel zu Zilliz Cloud hat CX Genie erhebliche technische und geschäftliche Vorteile erzielt:
5-10ms Latenz für Vektorähnlichkeitssuchen über 1M+ Embeddings hinweg
2× schnellere Abfrageleistung im Vergleich zu ihrer vorherigen Chroma-Implementierung
70% Kosteneinsparungen gegenüber selbst gehosteter Infrastruktur
Keine Ausfallzeiten seit der Migration, im Vergleich zu täglichen Ausfällen mit ihrer vorherigen Lösung
Genauerer Abruf durch Metadatenfilterung und Partitionierungsfunktionen
Reduzierter Engineering-Aufwand dank vollständig verwalteter Infrastruktur
"Durch die Migration zu Zilliz Cloud haben wir unsere Infrastrukturkosten für Vektordatenbanken im Vergleich zu unserem selbst gehosteten Setup um etwa 70% reduziert. Dadurch können wir diese Einsparungen in die Verbesserung unserer zentralen KI-Fähigkeiten reinvestieren, anstatt Datenbankinfrastruktur zu verwalten," sagte Nguyễn Ngọc Hải Đăng.
Diese Verbesserungen haben CX Genie dabei geholfen, schnellere und relevantere Kundeninteraktionen bereitzustellen—ohne das Engineering-Team oder das Cloud-Budget zu überlasten—und letztlich eine bessere Erfahrung für ihre Endbenutzer zu schaffen.
Entwicklererfahrung und nahtlose Migration
Für das Engineering-Team von CX Genie hat der Wechsel zu Zilliz Cloud sowohl die Entwicklung als auch das Systemmanagement optimiert. Der Onboarding-Prozess verlief reibungslos, wobei das Python SDK und die API-Referenzen den Einstieg unkompliziert machten. Zuvor erforderte die Wartung ihres selbst gehosteten Setups kontinuierlichen Aufwand über mehrere Teams hinweg. Mit der verwalteten Infrastruktur von Zilliz Cloud werden die Kernoperationen nun mit minimaler Aufsicht abgewickelt. Funktionen wie Multi-Condition Filtering und partitionierte Collections haben es dem Team erleichtert, Embeddings nach Region oder Geschäftskontext zu organisieren und abzurufen.
Obwohl der Migrationsprozess manuell durchgeführt wurde, empfand das Team ihn als äußerst effizient. Sie nutzten die REST API und Bulk-Insert-Funktionen, um Daten aus PostgreSQL zu verschieben und dabei die Struktur ihrer Metadaten und Embeddings beizubehalten. Durch die Ausrichtung von Collections und Partitionen an ihrer internen Logik stellten sie sicher, dass das System auch nach der Migration organisiert und performant blieb.
Wie es weitergeht: Erweiterung der Fähigkeiten mit Zilliz Cloud
CX Genie entwickelt seine KI-Chatbot-Plattform kontinuierlich weiter und möchte die Nutzung von Zilliz Cloud ausbauen. Sie planen, Verbesserungen im Indexierungsmanagement zu untersuchen, und erwarten UI-Verbesserungen—insbesondere rund um den API Playground, der eine wichtige Schnittstelle beim Umgang mit groß angelegten Embeddings von Anbietern wie OpenAI ist.
Während sie skalieren, um mehr globale Kunden zu bedienen, wird die Partnerschaft mit Zilliz Cloud ein Eckpfeiler ihrer Infrastrukturstrategie bleiben.
Fazit
Die Reise von CX Genie unterstreicht die Kraft der Kombination einer strategischen RAG-Architektur mit einer leistungsstarken, zuverlässigen Vektordatenbank. Mit Zilliz Cloud konnten sie ihre Startup-Agilität beibehalten und gleichzeitig global skalieren – und Unternehmen auf der ganzen Welt schnellere, intelligentere und kosteneffizientere KI-gestützte Kundenerlebnisse bieten.
Durch den Fokus darauf, sowohl technische Herausforderungen (Performance der Vektorsuche, Systemzuverlässigkeit) als auch geschäftliche Herausforderungen (Effizienz des Kundensupports, Kostensenkung) zu lösen, zeigt CX Genie beispielhaft, wie die richtigen Infrastrukturentscheidungen die Kundenzufriedenheit und das Geschäftswachstum direkt beeinflussen können.
- Über CX Genie
- Die technische Herausforderung: Skalierung eines RAG-basierten KI-Chatbots mit Performance und Zuverlässigkeit
- Warum Zilliz Cloud wählen: Performance, Einfachheit und Kosteneffizienz
- Wie Zilliz Cloud das RAG-System von CX Genie antreibt
- Messbare Ergebnisse: Geschwindigkeit, Skalierung und Kosteneinsparungen
- Entwicklererfahrung und nahtlose Migration
- Wie es weitergeht: Erweiterung der Fähigkeiten mit Zilliz Cloud
- Fazit
Inhalte
Anwendungsfall
Branche
Internet-Dienste
Thanks to the well-designed Python SDK and REST API, we were able to integrate Zilliz Cloud with our LangChain-based architecture in a matter of days. The schema-based collections perfectly aligned with how we structure our data, making the transition nearly seamless.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa