Comment Zilliz Cloud alimente la croissance mondiale de CX Genie grâce à une recherche vectorielle rapide et fiable
2× plus rapide
performances des requêtes par rapport à leur solution précédente
Latence de 5-10 ms
pour les recherches de similarité vectorielle sur plus de 1M d’embeddings
70 % d’économies
par rapport à une infrastructure auto-hébergée
Zéro temps d’arrêt
depuis la migration, par rapport aux pannes quotidiennes avec leur solution précédente
With Zilliz Cloud, we've achieved query latencies as low as 5-10ms across our million-vector database. This represents performance that's twice as fast as our previous solution, which directly translates to more responsive chatbots for our customers.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa
À propos de CX Genie
CX Genie est une startup d’IA conversationnelle qui fournit des solutions de chatbot aux équipes de support client. Conçue à la fois pour les PME et les grandes entreprises, leur plateforme aide les entreprises à automatiser le service client grâce à des interactions d’IA intelligentes, personnalisées et évolutives.
Basée au Vietnam mais servant une clientèle principalement internationale — avec une forte présence aux États-Unis et sur d’autres marchés mondiaux — CX Genie accompagne plus de 100 000 utilisateurs, s’imposant comme un acteur en forte croissance dans le domaine de l’expérience client pilotée par l’IA.
Le défi technique : faire évoluer un chatbot IA basé sur le RAG avec performance et fiabilité
Le cœur de l’activité de CX Genie repose sur la technique de génération augmentée par récupération (RAG), qui s’appuie sur la recherche vectorielle pour extraire des informations pertinentes des bases de connaissances et générer des réponses précises en temps réel. Cependant, à mesure que leur base d’utilisateurs augmentait, leur configuration initiale — utilisant des solutions de recherche vectorielle open source comme Qdrant et Chroma — peinait à suivre.
Nguyễn Ngọc Hải Đăng, l’ingénieur IA chez CX Genie, a déclaré : « Avant Zilliz, nous subissions presque quotidiennement plusieurs minutes d’indisponibilité avec notre précédente solution de base de données vectorielle. Lorsque vous gérez des interactions de support client qui doivent être disponibles 24 h/24 et 7 j/7, c’était tout simplement inacceptable pour la croissance de notre entreprise. »
L’équipe d’ingénierie a rencontré plusieurs défis majeurs :
Latence accrue lors de l’exécution des requêtes à mesure que les volumes de données augmentaient
Temps d’indexation lents qui ne parvenaient pas à suivre l’expansion des bases de connaissances
Coûts cachés et complexité liés à la gestion de l’infrastructure en interne
Indisponibilités quotidiennes du système affectant la fiabilité et l’expérience client
Ressources d’ingénierie détournées vers la gestion de la base de données au lieu de l’innovation produit
Ces problèmes rendaient de plus en plus difficile la fourniture de l’expérience de chatbot rapide et réactive attendue par leurs clients. Une nouvelle solution de base de données vectorielle était nécessaire — capable d’évoluer sans friction, de réduire la charge opérationnelle et d’améliorer la fiabilité sans compromettre les performances.
Pourquoi choisir Zilliz Cloud : performance, simplicité et efficacité des coûts
Lorsque CX Genie s’est mise en quête d’une nouvelle base de données vectorielle, elle ne cherchait pas seulement une meilleure vitesse — elle recherchait une plateforme capable de répondre à ses exigences techniques croissantes sans accroître la complexité opérationnelle.
Leur évaluation s’est concentrée sur six critères clés :
Performance des requêtes et latence, en particulier pour des charges de travail vectorielles à l’échelle du million
Faible charge opérationnelle pour libérer des ressources d’ingénierie
Efficacité des coûts par rapport aux solutions auto-hébergées
Évolutivité pour soutenir la croissance de l’entreprise
Intégration facile avec leur architecture existante basée sur LangChain
Ensemble de fonctionnalités riche, incluant le filtrage des métadonnées et l’indexation avancée
Zilliz Cloud a répondu à toutes ces attentes. Comparé à leur stack open source avec Chroma et Qdrant — qui nécessitait une gestion manuelle et des dépannages fréquents — Zilliz Cloud offrait une plateforme entièrement managée qui supprimait la charge liée à l’infrastructure et permettait à l’équipe de se concentrer sur la construction de son produit principal.
Le processus d’onboarding a été remarquablement simple. Grâce à une documentation détaillée et à des API bien conçues, l’équipe a pu connecter et tester des requêtes en quelques minutes, accélérant le développement et réduisant les frictions lors des phases de migration comme d’intégration.
Comment Zilliz Cloud alimente le système RAG de CX Genie
Au cœur de la plateforme d’IA conversationnelle de CX Genie se trouve un pipeline en deux phases alimenté par la génération augmentée par récupération (RAG) : la phase d’ingestion des données et la phase de récupération. Zilliz Cloud joue un rôle essentiel pour garantir que les deux soient performantes et évolutives.
Phase d’ingestion des données
Lors de la phase d’ingestion des données, diverses sources de connaissances métier — notamment des pages HTML, des documents, des FAQ et des articles — sont d’abord découpées en segments gérables. Ces segments sont transmis à un modèle d’embedding (comme l’embedder d’OpenAI) afin de générer des représentations vectorielles denses. Les embeddings obtenus sont ensuite ingérés dans Zilliz Cloud, où ils sont stockés et indexés efficacement.
Cela permet à CX Genie de maintenir une base de données vectorielle à jour qui reflète l’évolution de la base de connaissances de chaque client, avec une prise en charge riche des métadonnées et un partitionnement fondé sur des attributs métier comme la région ou le type de produit.
Phase de récupération
Lorsqu’un utilisateur soumet une question, celle-ci est également convertie en embedding à l’aide du même embedder. Cet embedding de requête est envoyé à Zilliz Cloud, qui effectue une recherche de similarité top-k parmi les vecteurs stockés. Zilliz renvoie les segments les plus pertinents, qui sont ensuite transmis à un grand modèle de langage (LLM) afin de générer une réponse plus appropriée.
Grâce à la recherche à faible latence de Zilliz Cloud, à ses riches capacités de filtrage et à son architecture évolutive, CX Genie est capable de récupérer le contexte le plus pertinent en quelques millisecondes, permettant aux chatbots de répondre avec précision et rapidité, même en cas de volumes de trafic élevés.
Résultats mesurables : rapidité, échelle et économies de coûts
Depuis le passage à Zilliz Cloud, CX Genie a constaté des bénéfices techniques et commerciaux significatifs :
5 à 10 ms de latence pour les recherches de similarité vectorielle sur plus de 1M d’embeddings
Performances de requête 2× plus rapides par rapport à leur précédente implémentation Chroma
70 % d’économies de coûts par rapport à une infrastructure auto-hébergée
Zéro temps d’arrêt depuis la migration, contre des pannes quotidiennes avec leur solution précédente
Récupération plus précise grâce aux capacités de filtrage par métadonnées et de partitionnement
Charge d’ingénierie réduite grâce à une infrastructure entièrement gérée
« En migrant vers Zilliz Cloud, nous avons réduit les coûts de notre infrastructure de base de données vectorielle d’environ 70 % par rapport à notre configuration auto-hébergée. Cela nous permet de réinvestir ces économies dans l’amélioration de nos capacités d’IA fondamentales plutôt que dans la gestion de l’infrastructure de base de données », a déclaré Nguyễn Ngọc Hải Đăng.
Ces améliorations ont aidé CX Genie à offrir des interactions client plus rapides et plus pertinentes — sans surcharger son équipe d’ingénierie ni son budget cloud — créant ainsi, au final, une meilleure expérience pour ses utilisateurs finaux.
Expérience développeur et migration fluide
Pour l’équipe d’ingénierie de CX Genie, le passage à Zilliz Cloud a simplifié à la fois le développement et la gestion du système. Le processus d’intégration s’est déroulé sans accroc, le SDK Python et les références API facilitant la prise en main. Auparavant, la maintenance de leur configuration auto-hébergée nécessitait des efforts continus de la part de plusieurs équipes. Avec l’infrastructure gérée de Zilliz Cloud, les opérations essentielles sont désormais prises en charge avec une supervision minimale. Des fonctionnalités telles que le filtrage multicritère et les collections partitionnées ont permis à l’équipe d’organiser et de récupérer plus facilement les embeddings par région ou par contexte métier.
Bien qu’elle ait géré le processus de migration manuellement, l’équipe l’a trouvé très efficace. Elle a utilisé l’API REST et les capacités d’insertion en masse pour déplacer les données depuis PostgreSQL tout en conservant la structure de leurs métadonnées et embeddings. En alignant les collections et les partitions avec leur logique interne, elle a veillé à ce que le système reste organisé et performant après la migration.
Prochaines étapes : étendre les capacités avec Zilliz Cloud
CX Genie continue de faire évoluer sa plateforme de chatbot IA et souhaite étendre son utilisation de Zilliz Cloud. L’entreprise prévoit d’explorer des améliorations dans la gestion de l’indexation et s’attend à des améliorations de l’interface utilisateur — en particulier autour de l’API playground, qui constitue une interface critique lorsqu’il s’agit de gérer des embeddings à grande échelle provenant de fournisseurs comme OpenAI.
À mesure qu’elle se développe pour servir davantage de clients à l’échelle mondiale, le partenariat avec Zilliz Cloud restera un pilier de sa stratégie d’infrastructure.
Conclusion
Le parcours de CX Genie souligne la puissance de la combinaison d’une architecture RAG stratégique avec une base de données vectorielle performante et fiable. Avec Zilliz Cloud, ils ont pu conserver l’agilité de leur startup tout en opérant à l’échelle mondiale, en offrant aux entreprises du monde entier des expériences client propulsées par l’IA plus rapides, plus intelligentes et plus rentables.
En se concentrant sur la résolution à la fois des défis techniques (performance de la recherche vectorielle, fiabilité du système) et des défis commerciaux (efficacité du support client, réduction des coûts), CX Genie illustre comment les bons choix d’infrastructure peuvent avoir un impact direct sur la satisfaction client et la croissance de l’entreprise.
- À propos de CX Genie
- Le défi technique : faire évoluer un chatbot IA basé sur le RAG avec performance et fiabilité
- Pourquoi choisir Zilliz Cloud : performance, simplicité et efficacité des coûts
- Comment Zilliz Cloud alimente le système RAG de CX Genie
- Résultats mesurables : rapidité, échelle et économies de coûts
- Expérience développeur et migration fluide
- Prochaines étapes : étendre les capacités avec Zilliz Cloud
- Conclusion
Contenu
Secteur d'activité
Services Internet
Thanks to the well-designed Python SDK and REST API, we were able to integrate Zilliz Cloud with our LangChain-based architecture in a matter of days. The schema-based collections perfectly aligned with how we structure our data, making the transition nearly seamless.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa