Como o Zilliz Cloud impulsiona o crescimento global da CX Genie com busca vetorial rápida e confiável
2× mais rápido
desempenho de consultas em comparação com sua solução anterior
Latência de 5-10ms
para buscas de similaridade vetorial em mais de 1 milhão de embeddings
70% de economia de custos
versus infraestrutura auto-hospedada
Tempo de inatividade zero
desde a migração, em comparação com as interrupções diárias com a solução anterior deles
With Zilliz Cloud, we've achieved query latencies as low as 5-10ms across our million-vector database. This represents performance that's twice as fast as our previous solution, which directly translates to more responsive chatbots for our customers.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa
Sobre a CX Genie
CX Genie é uma startup de IA conversacional que oferece soluções de chatbot para equipes de suporte ao cliente. Projetada tanto para PMEs quanto para grandes empresas, sua plataforma ajuda empresas a automatizar o atendimento ao cliente com interações de IA inteligentes, personalizadas e escaláveis.
Com sede no Vietnã, mas atendendo a uma base de clientes principalmente internacional — com forte presença nos Estados Unidos e em outros mercados globais — a CX Genie oferece suporte a mais de 100.000 usuários, consolidando-se como uma empresa em rápida ascensão no espaço de experiência do cliente impulsionada por IA.
O Desafio Técnico: Escalar um Chatbot de IA Baseado em RAG com Desempenho e Confiabilidade
O núcleo da operação da CX Genie é construído com base na técnica de Geração Aumentada por Recuperação (RAG), que depende de busca vetorial para extrair informações relevantes de bases de conhecimento e gerar respostas precisas em tempo real. No entanto, à medida que sua base de usuários cresceu, sua configuração original — usando soluções de busca vetorial de código aberto como Qdrant e Chroma — teve dificuldade para acompanhar.
Nguyễn Ngọc Hải Đăng, Engenheiro de IA da CX Genie, mencionou: "Antes da Zilliz, enfrentávamos vários minutos de inatividade quase diariamente com nossa solução anterior de banco de dados vetorial. Quando você está lidando com interações de suporte ao cliente que precisam estar disponíveis 24/7, isso era simplesmente inaceitável para o crescimento do nosso negócio."
A equipe de engenharia encontrou vários desafios importantes:
Aumento da latência durante a execução de consultas à medida que os volumes de dados cresciam
Tempos de indexação lentos que não conseguiam acompanhar a expansão das bases de conhecimento
Custos ocultos e complexidade de gerenciar a infraestrutura internamente
Inatividades diárias do sistema impactando a confiabilidade e a experiência do cliente
Recursos de engenharia desviados para o gerenciamento do banco de dados em vez da inovação do produto
Esses problemas tornaram cada vez mais difícil entregar a experiência de chatbot rápida e responsiva que seus clientes esperavam. Era necessária uma nova solução de banco de dados vetorial — uma que pudesse escalar de forma contínua, reduzir a carga operacional e melhorar a confiabilidade sem comprometer o desempenho.
Por Que Escolher a Zilliz Cloud: Desempenho, Simplicidade e Eficiência de Custos
Quando a CX Genie decidiu encontrar um novo banco de dados vetorial, eles não estavam apenas procurando mais velocidade — estavam procurando uma plataforma que pudesse acompanhar suas crescentes demandas técnicas sem aumentar a complexidade operacional.
A avaliação deles se concentrou em seis critérios principais:
Desempenho e latência de consultas, especialmente em cargas de trabalho vetoriais em escala de milhões
Baixa sobrecarga operacional para liberar recursos de engenharia
Eficiência de custos em comparação com soluções auto-hospedadas
Escalabilidade para apoiar o crescimento do negócio
Integração fácil com sua arquitetura existente baseada em LangChain
Conjunto rico de recursos, incluindo filtragem de metadados e indexação avançada
Zilliz Cloud entregou em todos os aspectos. Em comparação com sua stack de código aberto com Chroma e Qdrant — que exigia gerenciamento manual e solução frequente de problemas — a Zilliz Cloud ofereceu uma plataforma totalmente gerenciada que removeu a sobrecarga de infraestrutura e permitiu que a equipe se concentrasse na construção de seu produto principal.
O processo de integração foi surpreendentemente simples. Graças à documentação detalhada e a APIs bem projetadas, a equipe conseguiu conectar e testar consultas em minutos, acelerando o desenvolvimento e reduzindo o atrito tanto nas fases de migração quanto de integração.
Como a Zilliz Cloud Impulsiona o Sistema RAG da CX Genie
No centro da plataforma de IA conversacional da CX Genie está um pipeline de duas fases impulsionado por Geração Aumentada por Recuperação (RAG): a fase de ingestão de dados e a fase de recuperação. A Zilliz Cloud desempenha um papel crítico para garantir que ambas sejam performáticas e escaláveis.
Fase de Ingestão de Dados
Na fase de ingestão de dados, várias fontes de conhecimento empresarial—incluindo páginas HTML, documentos, FAQs e artigos—são primeiro divididas em partes gerenciáveis. Essas partes passam por um modelo de embeddings (como o embedder da OpenAI) para gerar representações vetoriais densas. Os embeddings resultantes são então ingeridos no Zilliz Cloud, onde são armazenados e indexados de forma eficiente.
Isso permite que o CX Genie mantenha um banco de dados vetorial atualizado que reflete a base de conhecimento em evolução de cada cliente, com suporte avançado a metadados e particionamento com base em atributos de negócio como região ou tipo de produto.
Fase de Recuperação
Quando um usuário envia uma pergunta, ela também é convertida em um embedding usando o mesmo embedder. Esse embedding da consulta é enviado ao Zilliz Cloud, que realiza uma busca de similaridade top-k entre os vetores armazenados. O Zilliz retorna as partes mais relevantes, que são então enviadas a um grande modelo de linguagem (LLM) para uma geração de resposta mais adequada.
Graças à busca de baixa latência do Zilliz Cloud, aos recursos avançados de filtragem e à arquitetura escalável, o CX Genie consegue recuperar o contexto mais relevante em milissegundos, permitindo que chatbots respondam com precisão e velocidade, mesmo em altos volumes de tráfego.
Resultados Mensuráveis: Velocidade, Escala e Economia de Custos
Desde a mudança para o Zilliz Cloud, o CX Genie observou benefícios técnicos e de negócio significativos:
5-10ms de latência para buscas de similaridade vetorial em mais de 1M de embeddings
Desempenho de consultas 2× mais rápido em comparação com a implementação anterior em Chroma
70% de economia de custos em comparação com infraestrutura auto-hospedada
Zero tempo de inatividade desde a migração, em comparação com interrupções diárias na solução anterior
Recuperação mais precisa usando recursos de filtragem por metadados e particionamento
Redução da carga de engenharia com infraestrutura totalmente gerenciada
"Com a migração para o Zilliz Cloud, reduzimos nossos custos de infraestrutura de banco de dados vetorial em aproximadamente 70% em comparação com nossa configuração auto-hospedada. Isso nos permite reinvestir essa economia na melhoria de nossas principais capacidades de IA, em vez de gerenciar infraestrutura de banco de dados", disse Nguyễn Ngọc Hải Đăng.
Essas melhorias ajudaram o CX Genie a oferecer interações com clientes mais rápidas e relevantes—sem sobrecarregar sua equipe de engenharia ou orçamento de nuvem—criando, em última análise, uma experiência melhor para seus usuários finais.
Experiência do Desenvolvedor e Migração Perfeita
Para a equipe de engenharia do CX Genie, migrar para o Zilliz Cloud simplificou tanto o desenvolvimento quanto o gerenciamento do sistema. O processo de integração foi tranquilo, com o SDK Python e as referências de API tornando simples começar a usar. Anteriormente, manter a configuração auto-hospedada exigia esforço contínuo de várias equipes. Com a infraestrutura gerenciada do Zilliz Cloud, as operações principais agora são realizadas com supervisão mínima. Recursos como filtragem por múltiplas condições e coleções particionadas tornaram mais fácil para a equipe organizar e recuperar embeddings por região ou contexto de negócio.
Apesar de conduzir o processo de migração manualmente, a equipe o considerou super eficiente. Eles usaram a REST API e os recursos de inserção em massa para mover dados do PostgreSQL, mantendo a estrutura de seus metadados e embeddings. Ao alinhar coleções e partições com sua lógica interna, eles garantiram que o sistema permanecesse organizado e performático após a migração.
O Que Vem a Seguir: Expandindo Capacidades com o Zilliz Cloud
O CX Genie continua evoluindo sua plataforma de chatbot de IA e está ansioso para expandir seu uso do Zilliz Cloud. Eles planejam explorar melhorias no gerenciamento de indexação e esperam aprimoramentos na UI—particularmente em torno do API playground, que é uma interface crítica ao lidar com embeddings em larga escala de provedores como a OpenAI.
À medida que escalam para atender mais clientes globais, a parceria com o Zilliz Cloud continuará sendo um pilar de sua estratégia de infraestrutura.
Conclusão
A jornada da CX Genie destaca o poder de combinar uma arquitetura RAG estratégica com um banco de dados vetorial performático e confiável. Com o Zilliz Cloud, eles conseguiram manter a agilidade de startup enquanto operam em escala global — oferecendo experiências do cliente impulsionadas por IA mais rápidas, inteligentes e econômicas para empresas em todo o mundo.
Ao focar em resolver tanto desafios técnicos (desempenho da busca vetorial, confiabilidade do sistema) quanto desafios de negócios (eficiência do suporte ao cliente, redução de custos), a CX Genie exemplifica como as escolhas certas de infraestrutura podem impactar diretamente a satisfação do cliente e o crescimento dos negócios.
- Sobre a CX Genie
- O Desafio Técnico: Escalar um Chatbot de IA Baseado em RAG com Desempenho e Confiabilidade
- Por Que Escolher a Zilliz Cloud: Desempenho, Simplicidade e Eficiência de Custos
- Como a Zilliz Cloud Impulsiona o Sistema RAG da CX Genie
- Resultados Mensuráveis: Velocidade, Escala e Economia de Custos
- Experiência do Desenvolvedor e Migração Perfeita
- O Que Vem a Seguir: Expandindo Capacidades com o Zilliz Cloud
- Conclusão
Conteúdo
Indústria
Serviços de Internet
Thanks to the well-designed Python SDK and REST API, we were able to integrate Zilliz Cloud with our LangChain-based architecture in a matter of days. The schema-based collections perfectly aligned with how we structure our data, making the transition nearly seamless.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa