Cómo Zilliz Cloud impulsa el crecimiento global de CX Genie con una búsqueda vectorial rápida y confiable
2× más rápido
rendimiento de las consultas en comparación con su solución anterior
Latencia de 5-10 ms
para búsquedas de similitud vectorial en más de 1M de embeddings
70 % de ahorro en costos
frente a infraestructura autoalojada
Cero tiempo de inactividad
desde la migración, en comparación con las interrupciones diarias con su solución anterior
With Zilliz Cloud, we've achieved query latencies as low as 5-10ms across our million-vector database. This represents performance that's twice as fast as our previous solution, which directly translates to more responsive chatbots for our customers.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa
Acerca de CX Genie
CX Genie es una startup de IA conversacional que ofrece soluciones de chatbot para equipos de atención al cliente. Diseñada tanto para pymes como para empresas, su plataforma ayuda a las empresas a automatizar el servicio al cliente con interacciones de IA inteligentes, personalizadas y escalables.
Con sede en Vietnam, pero atendiendo a una base de clientes principalmente internacional —con una fuerte presencia en Estados Unidos y otros mercados globales— CX Genie da soporte a más de 100.000 usuarios, consolidándose como un actor de rápido crecimiento en el ámbito de la experiencia del cliente impulsada por IA.
El desafío técnico: escalar un chatbot de IA basado en RAG con rendimiento y fiabilidad
El núcleo de la operación de CX Genie se basa en la técnica de Generación Aumentada por Recuperación (RAG), que se apoya en la búsqueda vectorial para extraer información relevante de las bases de conocimiento y generar respuestas precisas en tiempo real. Sin embargo, a medida que creció su base de usuarios, su configuración original —que utilizaba soluciones de búsqueda vectorial de código abierto como Qdrant y Chroma— tuvo dificultades para mantenerse al día.
Nguyễn Ngọc Hải Đăng, el ingeniero de IA en CX Genie, mencionó: "Antes de Zilliz, experimentábamos varios minutos de inactividad casi a diario con nuestra solución anterior de base de datos vectorial. Cuando gestionas interacciones de atención al cliente que deben estar disponibles 24/7, esto era simplemente inaceptable para el crecimiento de nuestro negocio."
El equipo de ingeniería se enfrentó a varios desafíos importantes:
Mayor latencia durante la ejecución de consultas a medida que crecían los volúmenes de datos
Tiempos de indexación lentos que no podían seguir el ritmo de las bases de conocimiento en expansión
Costos y complejidad ocultos de gestionar la infraestructura internamente
Caídas diarias del sistema que afectaban la fiabilidad y la experiencia del cliente
Recursos de ingeniería desviados a la gestión de bases de datos en lugar de a la innovación del producto
Estos problemas hicieron que fuera cada vez más difícil ofrecer la experiencia de chatbot rápida y receptiva que sus clientes esperaban. Se necesitaba una nueva solución de base de datos vectorial: una que pudiera escalar sin problemas, reducir la carga operativa y mejorar la fiabilidad sin comprometer el rendimiento.
Por qué elegir Zilliz Cloud: rendimiento, simplicidad y eficiencia de costos
Cuando CX Genie se propuso encontrar una nueva base de datos vectorial, no solo buscaba mayor velocidad: buscaba una plataforma que pudiera mantenerse al ritmo de sus crecientes demandas técnicas sin aumentar la complejidad operativa.
Su evaluación se centró en seis criterios clave:
Rendimiento y latencia de las consultas, especialmente en cargas de trabajo vectoriales a escala de millones
Baja sobrecarga operativa para liberar recursos de ingeniería
Eficiencia de costos en comparación con soluciones autoalojadas
Escalabilidad para respaldar el crecimiento del negocio
Integración sencilla con su arquitectura existente basada en LangChain
Amplio conjunto de funciones, incluida la filtración de metadatos y la indexación avanzada
Zilliz Cloud cumplió en todos los frentes. En comparación con su stack de código abierto con Chroma y Qdrant —que requería gestión manual y resolución de problemas frecuente— Zilliz Cloud ofrecía una plataforma totalmente gestionada que eliminaba la sobrecarga de infraestructura y permitía al equipo centrarse en desarrollar su producto principal.
El proceso de incorporación fue sorprendentemente sencillo. Gracias a una documentación detallada y APIs bien diseñadas, el equipo pudo conectar y probar consultas en cuestión de minutos, acelerando el desarrollo y reduciendo la fricción tanto en las fases de migración como de integración.
Cómo Zilliz Cloud impulsa el sistema RAG de CX Genie
En el núcleo de la plataforma de IA conversacional de CX Genie hay un pipeline de dos fases impulsado por Generación Aumentada por Recuperación (RAG): la fase de ingesta de datos y la fase de recuperación. Zilliz Cloud desempeña un papel fundamental para garantizar que ambas sean eficientes y escalables.
Fase de ingesta de datos
En la fase de ingesta de datos, diversas fuentes de conocimiento empresarial—including páginas HTML, documentos, preguntas frecuentes y artículos—se dividen primero en fragmentos manejables. Estos fragmentos pasan por un modelo de embeddings (como el embedder de OpenAI) para generar representaciones vectoriales densas. Los embeddings resultantes se ingieren luego en Zilliz Cloud, donde se almacenan e indexan de forma eficiente.
Esto permite a CX Genie mantener una base de datos vectorial actualizada que refleja la base de conocimiento en evolución de cada cliente, con soporte enriquecido de metadatos y particionamiento basado en atributos empresariales como la región o el tipo de producto.
Fase de recuperación
Cuando un usuario envía una pregunta, esta también se convierte en un embedding utilizando el mismo embedder. Este embedding de consulta se envía a Zilliz Cloud, que realiza una búsqueda de similitud top-k entre los vectores almacenados. Zilliz devuelve los fragmentos más relevantes, que luego se introducen en un modelo de lenguaje grande (LLM) para generar una respuesta más adecuada.
Gracias a la búsqueda de baja latencia de Zilliz Cloud, sus avanzadas capacidades de filtrado y su arquitectura escalable, CX Genie puede recuperar el contexto más relevante en milisegundos, lo que permite a los chatbots responder con precisión y rapidez, incluso con altos volúmenes de tráfico.
Resultados medibles: velocidad, escala y ahorro de costos
Desde que cambió a Zilliz Cloud, CX Genie ha observado importantes beneficios técnicos y empresariales:
latencia de 5-10 ms para búsquedas de similitud vectorial en más de 1M de embeddings
rendimiento de consultas 2× más rápido en comparación con su implementación anterior de Chroma
70% de ahorro de costos frente a la infraestructura autoalojada
cero tiempo de inactividad desde la migración, en comparación con interrupciones diarias con su solución anterior
recuperación más precisa mediante capacidades de filtrado de metadatos y particionamiento
menor carga de ingeniería con infraestructura completamente gestionada
"Al migrar a Zilliz Cloud, hemos reducido nuestros costos de infraestructura de base de datos vectorial en aproximadamente un 70% en comparación con nuestra configuración autoalojada. Esto nos permite reinvertir esos ahorros en mejorar nuestras capacidades principales de IA en lugar de gestionar infraestructura de bases de datos", dijo Nguyễn Ngọc Hải Đăng.
Estas mejoras han ayudado a CX Genie a ofrecer interacciones con clientes más rápidas y relevantes—sin sobrecargar a su equipo de ingeniería ni su presupuesto de nube—creando en última instancia una mejor experiencia para sus usuarios finales.
Experiencia del desarrollador y migración fluida
Para el equipo de ingeniería de CX Genie, pasarse a Zilliz Cloud simplificó tanto el desarrollo como la gestión del sistema. El proceso de incorporación fue sencillo, y el SDK de Python y las referencias de la API facilitaron la puesta en marcha. Anteriormente, mantener su configuración autoalojada requería un esfuerzo continuo de varios equipos. Con la infraestructura gestionada de Zilliz Cloud, las operaciones principales ahora se manejan con una supervisión mínima. Funciones como el filtrado multicondición y las colecciones particionadas han facilitado al equipo organizar y recuperar embeddings por región o contexto empresarial.
A pesar de gestionar el proceso de migración manualmente, el equipo lo encontró sumamente eficiente. Utilizaron la REST API y las capacidades de inserción masiva para mover datos desde PostgreSQL, manteniendo al mismo tiempo la estructura de sus metadatos y embeddings. Al alinear colecciones y particiones con su lógica interna, garantizaron que el sistema siguiera organizado y con buen rendimiento después de la migración.
Próximos pasos: ampliar capacidades con Zilliz Cloud
CX Genie continúa evolucionando su plataforma de chatbot de IA y está deseosa de ampliar su uso de Zilliz Cloud. Planean explorar mejoras en la gestión de indexación y anticipan mejoras en la interfaz de usuario—particularmente en torno al API playground, que es una interfaz crítica cuando se trabaja con embeddings a gran escala de proveedores como OpenAI.
A medida que escalen para atender a más clientes globales, la asociación con Zilliz Cloud seguirá siendo un pilar de su estrategia de infraestructura.
Conclusión
El recorrido de CX Genie subraya el poder de combinar una arquitectura RAG estratégica con una base de datos vectorial eficiente y fiable. Con Zilliz Cloud, han podido mantener la agilidad propia de una startup mientras operan a escala global, ofreciendo experiencias de cliente impulsadas por IA más rápidas, inteligentes y rentables a empresas de todo el mundo.
Al centrarse en resolver tanto desafíos técnicos (rendimiento de búsqueda vectorial, fiabilidad del sistema) como desafíos empresariales (eficiencia del soporte al cliente, reducción de costes), CX Genie ejemplifica cómo las decisiones adecuadas sobre infraestructura pueden impactar directamente en la satisfacción del cliente y el crecimiento empresarial.
- Acerca de CX Genie
- El desafío técnico: escalar un chatbot de IA basado en RAG con rendimiento y fiabilidad
- Por qué elegir Zilliz Cloud: rendimiento, simplicidad y eficiencia de costos
- Cómo Zilliz Cloud impulsa el sistema RAG de CX Genie
- Resultados medibles: velocidad, escala y ahorro de costos
- Experiencia del desarrollador y migración fluida
- Próximos pasos: ampliar capacidades con Zilliz Cloud
- Conclusión
Contenido
Industria
Servicios de Internet
Thanks to the well-designed Python SDK and REST API, we were able to integrate Zilliz Cloud with our LangChain-based architecture in a matter of days. The schema-based collections perfectly aligned with how we structure our data, making the transition nearly seamless.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa