Zilliz Cloud가 빠르고 안정적인 벡터 검색으로 CX Genie의 글로벌 성장을 지원하는 방법
2배 더 빠름
이전 솔루션과 비교한 쿼리 성능
5-10ms 지연 시간
1M+개의 임베딩에 대한 벡터 유사도 검색을 위해
70% 비용 절감
자체 호스팅 인프라 대비
무중단
이전 솔루션에서 매일 발생하던 중단과 비교해, 마이그레이션 이후
With Zilliz Cloud, we've achieved query latencies as low as 5-10ms across our million-vector database. This represents performance that's twice as fast as our previous solution, which directly translates to more responsive chatbots for our customers.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa
CX Genie 소개
CX Genie는 고객 지원 팀을 위한 챗봇 솔루션을 제공하는 대화형 AI 스타트업입니다. 중소기업과 대기업 모두를 위해 설계된 이 플랫폼은 기업이 지능적이고 개인화되며 확장 가능한 AI 상호작용으로 고객 서비스를 자동화할 수 있도록 지원합니다.
베트남에 본사를 두고 있지만 주로 국제 고객 기반을 대상으로 서비스를 제공하며, 미국 및 기타 글로벌 시장에서 강력한 입지를 갖춘 CX Genie는 100,000명 이상의 사용자를 지원하며 AI 기반 고객 경험 분야에서 빠르게 성장하는 플레이어로 자리매김하고 있습니다.
기술적 과제: 성능과 안정성을 갖춘 RAG 기반 AI 챗봇 확장
CX Genie 운영의 핵심은 벡터 검색을 활용해 지식 베이스에서 관련 정보를 가져오고 정확한 실시간 응답을 생성하는 Retrieval-Augmented Generation(RAG) 기술을 기반으로 구축되어 있습니다. 하지만 사용자 기반이 성장함에 따라 Qdrant 및 Chroma와 같은 오픈 소스 벡터 검색 솔루션을 사용하던 기존 설정은 이를 따라잡는 데 어려움을 겪었습니다.
CX Genie의 AI Engineer인 Nguyễn Ngọc Hải Đăng은 "Zilliz 이전에는 이전 벡터 데이터베이스 솔루션으로 거의 매일 몇 분간의 다운타임을 경험했습니다. 24/7 가용성이 필요한 고객 지원 상호작용을 처리하는 상황에서 이는 우리 비즈니스 성장에 도저히 받아들일 수 없는 일이었습니다."라고 언급했습니다.
엔지니어링 팀은 몇 가지 주요 과제에 직면했습니다:
데이터 볼륨 증가에 따른 쿼리 실행 중 지연 시간 증가
확장되는 지식 베이스의 속도를 따라가지 못하는 느린 인덱싱 시간
인프라를 사내에서 관리하는 데 따른 숨겨진 비용과 복잡성
안정성과 고객 경험에 영향을 미치는 일일 시스템 다운타임
제품 혁신 대신 데이터베이스 관리에 투입되는 엔지니어링 리소스
이러한 문제로 인해 고객이 기대하는 빠르고 반응성 높은 챗봇 경험을 제공하는 것이 점점 더 어려워졌습니다. 원활하게 확장되고 운영 부담을 줄이며 성능을 저하시키지 않고 안정성을 개선할 수 있는 새로운 벡터 데이터베이스 솔루션이 필요했습니다.
Zilliz Cloud를 선택한 이유: 성능, 단순성, 비용 효율성
CX Genie가 새로운 벡터 데이터베이스를 찾기 시작했을 때, 그들은 단순히 더 나은 속도만을 찾고 있었던 것이 아니라 운영 복잡성을 증가시키지 않으면서 증가하는 기술적 요구를 따라갈 수 있는 플랫폼을 찾고 있었습니다.
그들의 평가는 여섯 가지 핵심 기준을 중심으로 이루어졌습니다:
특히 백만 규모 벡터 워크로드에서의 쿼리 성능 및 지연 시간
엔지니어링 리소스를 확보하기 위한 낮은 운영 오버헤드
자체 호스팅 솔루션 대비 비용 효율성
비즈니스 성장을 지원하는 확장성
기존 LangChain 기반 아키텍처와의 쉬운 통합
메타데이터 필터링 및 고급 인덱싱을 포함한 풍부한 기능 세트
Zilliz Cloud는 모든 측면에서 이를 충족했습니다. 수동 관리와 빈번한 문제 해결이 필요했던 Chroma 및 Qdrant 기반 오픈 소스 스택과 비교해, Zilliz Cloud는 인프라 오버헤드를 제거하고 팀이 핵심 제품 구축에 집중할 수 있게 해주는 완전 관리형 플랫폼을 제공했습니다.
온보딩 프로세스는 놀라울 정도로 간단했습니다. 상세한 문서와 잘 설계된 API 덕분에 팀은 몇 분 안에 쿼리를 연결하고 테스트할 수 있었으며, 개발을 가속화하고 마이그레이션 및 통합 단계 모두에서 마찰을 줄였습니다.
Zilliz Cloud가 CX Genie의 RAG 시스템을 구동하는 방식
CX Genie의 대화형 AI 플랫폼 중심에는 Retrieval-Augmented Generation (RAG)으로 구동되는 2단계 파이프라인이 있습니다: 데이터 수집 단계와 검색 단계입니다. Zilliz Cloud는 두 단계 모두에서 성능과 확장성을 보장하는 데 중요한 역할을 합니다.
데이터 수집 단계
데이터 수집 단계에서는 HTML 페이지, 문서, FAQ, 기사 등 다양한 비즈니스 지식 소스가 먼저 관리 가능한 청크로 분할됩니다. 이러한 청크는 임베딩 모델(예: OpenAI의 embedder)을 거쳐 밀집 벡터 표현을 생성합니다. 생성된 임베딩은 이후 Zilliz Cloud로 수집되어 효율적으로 저장되고 인덱싱됩니다.
이를 통해 CX Genie는 풍부한 메타데이터 지원과 지역 또는 제품 유형과 같은 비즈니스 속성 기반의 파티셔닝을 통해, 각 고객의 변화하는 지식 기반을 반영하는 최신 벡터 데이터베이스를 유지할 수 있습니다.
검색 단계
사용자가 질문을 제출하면, 해당 질문도 동일한 embedder를 사용해 임베딩으로 변환됩니다. 이 쿼리 임베딩은 Zilliz Cloud로 전송되며, Zilliz Cloud는 저장된 벡터 전체에서 top-k 유사도 검색을 수행합니다. Zilliz는 가장 관련성 높은 청크를 반환하고, 이 청크들은 더 적절한 응답 생성을 위해 대규모 언어 모델(LLM)에 입력됩니다.
Zilliz Cloud의 낮은 지연 시간 검색, 풍부한 필터링 기능, 확장 가능한 아키텍처 덕분에 CX Genie는 밀리초 단위로 가장 관련성 높은 컨텍스트를 검색할 수 있으며, 이를 통해 챗봇은 높은 트래픽 상황에서도 정확하고 빠르게 응답할 수 있습니다.
측정 가능한 결과: 속도, 규모, 비용 절감
Zilliz Cloud로 전환한 이후, CX Genie는 상당한 기술적 및 비즈니스적 이점을 경험했습니다:
1M+ 임베딩 전반의 벡터 유사도 검색에서 5-10ms 지연 시간
이전 Chroma 구현 대비 2× 더 빠른 쿼리 성능
자체 호스팅 인프라 대비 70% 비용 절감
이전 솔루션의 일일 장애와 비교해 마이그레이션 이후 다운타임 제로
메타데이터 필터링 및 파티셔닝 기능을 사용한 더 정확한 검색
완전 관리형 인프라를 통한 엔지니어링 부담 감소
"Zilliz Cloud로 마이그레이션함으로써 자체 호스팅 설정과 비교해 벡터 데이터베이스 인프라 비용을 약 70% 절감했습니다. 이를 통해 데이터베이스 인프라 관리가 아니라 핵심 AI 역량 개선에 절감분을 재투자할 수 있게 되었습니다."라고 Nguyễn Ngọc Hải Đăng은 말했습니다.
이러한 개선은 CX Genie가 엔지니어링 팀이나 클라우드 예산에 부담을 주지 않으면서 더 빠르고 관련성 높은 고객 상호작용을 제공하는 데 도움이 되었으며, 궁극적으로 최종 사용자에게 더 나은 경험을 제공합니다.
개발자 경험과 원활한 마이그레이션
CX Genie의 엔지니어링 팀에게 Zilliz Cloud로의 이전은 개발과 시스템 관리를 모두 간소화했습니다. 온보딩 과정은 원활했으며, Python SDK와 API 레퍼런스 덕분에 시작하고 운영하는 과정이 간단했습니다. 이전에는 자체 호스팅 설정을 유지하기 위해 여러 팀에 걸쳐 지속적인 노력이 필요했습니다. Zilliz Cloud의 관리형 인프라를 통해 이제 핵심 운영은 최소한의 감독으로 처리됩니다. 다중 조건 필터링 및 파티션된 컬렉션과 같은 기능은 팀이 지역 또는 비즈니스 컨텍스트별로 임베딩을 구성하고 검색하는 것을 더 쉽게 만들었습니다.
마이그레이션 프로세스를 수동으로 처리했음에도 불구하고, 팀은 그것이 매우 효율적이라고 느꼈습니다. 그들은 REST API와 벌크 삽입 기능을 사용해 PostgreSQL에서 데이터를 이동하면서 메타데이터와 임베딩의 구조를 유지했습니다. 컬렉션과 파티션을 내부 로직에 맞춤으로써, 마이그레이션 후에도 시스템이 체계적이고 성능이 뛰어난 상태를 유지하도록 보장했습니다.
다음 단계: Zilliz Cloud로 기능 확장
CX Genie는 AI 챗봇 플랫폼을 계속 발전시키고 있으며 Zilliz Cloud 사용을 확장하기를 기대하고 있습니다. 그들은 인덱싱 관리 개선을 모색할 계획이며, 특히 OpenAI와 같은 제공업체의 대규모 임베딩을 다룰 때 중요한 인터페이스인 API playground를 중심으로 UI 개선을 기대하고 있습니다.
더 많은 글로벌 고객을 대상으로 확장함에 따라, Zilliz Cloud와의 파트너십은 인프라 전략의 핵심 축으로 계속 남을 것입니다.
결론
CX Genie의 여정은 전략적인 RAG 아키텍처와 성능이 뛰어나고 신뢰할 수 있는 벡터 데이터베이스를 결합하는 힘을 잘 보여줍니다. Zilliz Cloud를 통해 이들은 스타트업 특유의 민첩성을 유지하면서도 글로벌 규모로 운영할 수 있었고, 전 세계 기업에 더 빠르고, 더 스마트하며, 비용 효율적인 AI 기반 고객 경험을 제공하고 있습니다.
기술적 과제(벡터 검색 성능, 시스템 신뢰성)와 비즈니스 과제(고객 지원 효율성, 비용 절감)를 모두 해결하는 데 집중함으로써, CX Genie는 올바른 인프라 선택이 고객 만족도와 비즈니스 성장에 직접적인 영향을 미칠 수 있음을 보여주는 모범 사례입니다.
Thanks to the well-designed Python SDK and REST API, we were able to integrate Zilliz Cloud with our LangChain-based architecture in a matter of days. The schema-based collections perfectly aligned with how we structure our data, making the transition nearly seamless.
Nguyễn Ngọc Hải Đăng_ Nguyễn Nhật Khoa