VerbaFlo가 대화형 AI 에이전트와 Zilliz Cloud로 부동산 고객 상호작용을 혁신하는 방법
최대 50%
비용 절감 vs. MongoDB 인프라
10밀리초 미만
성능 혁신
60+ QPS
성장 여지를 갖춘 프로덕션 부하
탁월한 멀티 테넌트 데이터
격리 및 분할
It has saved us cost by at least 25 to 30% on what we were earlier incurring on the vector database, with potential savings reaching up to 40-50% during peak traffic periods.
Rachit Jindal
VerbaFlo 소개
VerbaFlo는 세계에서 가장 적응력이 뛰어난 대화형 AI 플랫폼 중 하나로, 부동산 전문가들이 운영을 관리하고 고객과 상호작용하는 방식을 혁신하고 있습니다. 이들의 AI 기반 플랫폼은 음성, 채팅, 문자, 이메일 커뮤니케이션을 하나의 지능형 엔진으로 통합하여 24/7 인간에 가까운 대화를 제공합니다. AI 기반 고객 매칭, 동적 가격 책정 엔진, 자동화된 자산 관리와 같은 고급 기능을 통해 VerbaFlo는 모든 고객 상호작용 전반에서 일관성, 가시성, 측정 가능한 성과를 이끌어냅니다. 자동차 산업으로의 확장 계획을 통해 VerbaFlo는 AI 기반 커뮤니케이션 솔루션 분야의 업계 리더로 자리매김하고 있습니다.
과제: 인프라 한계를 넘어 확장하기
VerbaFlo의 AI 플랫폼이 부동산 고객들 사이에서 주목을 받기 시작하면서, 초기 MongoDB Atlas 인프라는 고객 경험과 비즈니스 성장 모두를 위협하는 중대한 한계를 드러내기 시작했습니다. 회사는 50-60 QPS를 초과하는 프로덕션 쿼리 부하로 운영되고 있었으며, 이는 MongoDB가 안정적으로 처리할 수 있는 수준을 넘어 시스템을 밀어붙이고 있었습니다.
쿼리 지연 시간은 실시간 대화형 AI에는 너무 느렸습니다. 사용자는 즉각적인 응답을 기대하며, 특히 음성 통화 중에는 지연이 즉시 눈에 띄기 때문입니다. 팀은 Qdrant와 Pinecone을 포함한 다양한 벡터 데이터베이스를 실험했지만, 그 어떤 것도 까다로운 성능 요구 사항을 충족할 만큼 확장할 수 없었습니다.
"저희 프로덕션 환경의 QPS가 50 또는 60을 넘는 지점에서 상당히 막혀 있었고, 기존 데이터베이스 대부분은 그 수준까지 확장할 수 없었습니다. MongoDB Atlas M30이나 M40조차도 그 지점까지 확장할 수 없었습니다."라고 VerbaFlo의 Senior AI Engineer인 Rachit Jindal은 설명합니다.
과제는 성능을 넘어 확장되었습니다. VerbaFlo는 네 가지 주요 우려 사항에 직면했습니다. MongoDB의 M40 클러스터가 요구 사항에 비해 너무 비싸다는 비용 비효율성, 부적절한 높은 동시성 지원, 열악한 쿼리 시간, 제한적인 파티셔닝 기능. 팀은 멀티테넌트 아키텍처를 위해 정교한 데이터 격리가 필요했지만, MongoDB는 서로 다른 컬렉션과 환경에 대해 적절한 네임스페이스 격리를 제공할 수 없었습니다.
이러한 인프라 한계는 VerbaFlo가 원활한 실시간 자산 관리 자동화를 제공하는 능력에 직접적인 영향을 미치고 있었습니다. 공격적인 성장 전망과 몇 분기 내에 엔터티 수를 10-20배 확장하려는 계획을 바탕으로, 회사는 자신들의 야망과 함께 성장할 수 있는 솔루션이 필요했습니다.
Zilliz Cloud로의 여정
데이터베이스 아키텍처가 중대한 비즈니스 제약이 되었음을 인식한 VerbaFlo의 엔지니어링 팀은 Zilliz Cloud(오픈 소스 Milvus의 관리형 서비스), Pinecone, Qdrant, 벡터 확장을 포함한 PostgreSQL, AWS에서 자체 호스팅되는 Milvus를 포함한 벡터 데이터베이스 대안을 종합적으로 평가했습니다.
Zilliz Cloud는 몇 가지 설득력 있는 이유로 명확한 승자로 떠올랐습니다. Rachit은 이전에 온프레미스에서 Milvus를 호스팅한 경험이 있었고, 이를 통해 수평 및 수직 확장 기능뿐 아니라 내부 아키텍처에 대한 신뢰를 갖게 되었습니다. "Milvus에 대해 제가 이전에 가지고 있던 경험, 확장성, 수평 및 수직 확장을 중심으로 한 내부 아키텍처를 바탕으로 볼 때, 저희 팀이 잠재적인 데이터베이스 중 하나로 고려하기에 확실히 추진할 만한 선택지입니다."라고 그는 말합니다.
평가 결과, Zilliz Cloud는 VerbaFlo의 멀티테넌트 요구사항에 완벽하게 부합하는 정교한 파티셔닝 및 격리 기능을 제공한다는 것이 드러났습니다. MongoDB에서는 "특정 컬렉션에 인덱스를 생성하는 기능이 매우 제한적"이었고 "컬렉션을 생성할 때 적절한 데이터베이스 안에 적절한 네임스페이스를 정의"할 수 없었던 반면, Zilliz Cloud는 프로덕션 환경, 스테이징 시스템, 고객 대상 AI 플레이그라운드 간의 깔끔한 분리를 위한 적절한 데이터베이스 및 네임스페이스 격리를 제공했습니다.
또 다른 결정적 요인은 Zilliz Cloud의 내장 리랭킹 알고리즘이었습니다. VerbaFlo는 커스텀 알고리즘을 개발하는 대신, 가중 리랭킹 및 RRF(Reciprocal Rank Fusion) 시스템을 즉시 활용할 수 있었습니다. Rachit은 "Zilliz Cloud에는 가중 리랭킹 및 RRF 리랭킹 시스템처럼 우리가 필요로 하는 사용 사례에 매우 적합한 특정 내부 알고리즘이 있었습니다. 덕분에 SDK를 직접 사용하고 이를 즉석에서 계산할 수 있어 쿼리 시간을 줄일 수 있었습니다."라고 설명합니다.
Zilliz Cloud의 하이브리드 검색—시맨틱 쿼리와 키워드 기반 쿼리를 결합—에 대한 네이티브 지원은 VerbaFlo의 쿼리 확장 파이프라인과 완벽하게 부합합니다. 무엇보다도 Zilliz Cloud는 실시간 애플리케이션이 요구하는 10밀리초 미만의 지연 시간을 제공할 수 있었으며, 다른 대안에 비해 더 나은 관리형 서비스도 제공했습니다.
Zilliz Cloud가 대규모 실시간 대화형 AI 에이전트를 구동하는 방법
VerbaFlo의 이전 MongoDB 기반 아키텍처는 50-60 QPS를 초과하는 프로덕션 부하를 처리하는 데 어려움을 겪었고, 그 결과 실시간 응답을 방해하는 병목 현상이 발생했습니다. Zilliz Cloud를 기반으로, 이들은 현재 40,000-50,000개 이상의 엔터티를 원활한 성능으로 처리하는 정교한 대화형 AI 플랫폼을 구축했습니다.
Zilliz Cloud를 활용한 새로운 에이전트 아키텍처
VerbaFlo 시스템의 핵심에는 사용자 의도를 분류하고 쿼리를 전문 처리 노드로 전달하는 지능형 라우팅 메커니즘이 있습니다. Zilliz Cloud는 핵심 RAG(Retrieval-Augmented Generation) 노드를 구동하며, 이 노드는 부동산 데이터, 고객 이력, 시장 정보에서 관련 컨텍스트를 검색하여 정확하고 개인화된 응답을 생성합니다.
VerbaFlo에 있어 Zilliz Cloud의 가장 가치 있는 기능 중 하나는 고급 파티셔닝 시스템으로, 이는 두 가지 중요한 유형의 데이터 격리를 가능하게 합니다:
환경 분리: AI 플레이그라운드/랩 환경과 프로덕션 컬렉션 간의 깔끔한 격리를 통해, 고객이 라이브 운영에 영향을 주지 않고 테스트하고 실험할 수 있도록 지원
성능 최적화: 특정 시나리오를 기반으로 데이터를 더 작은 파티션으로 세분화하여, 전체 컬렉션이 아닌 제한된 섹션에 대한 타깃 쿼리를 가능하게 함
이러한 파티셔닝 접근 방식은 MongoDB에서 직면했던 네임스페이스 제한을 직접적으로 해결합니다. 당시에는 "특정 컬렉션에 인덱스를 생성하는 기능이 매우 제한적"이었고 "컬렉션을 생성할 때 적절한 데이터베이스 안에 적절한 네임스페이스를 정의"할 수 없었습니다.
Zilliz Cloud로 하이브리드 검색 파이프라인 구동
VerbaFlo의 시스템은 단순한 시맨틱 검색에 의존하지 않습니다. 대신, 쿼리 확장 파이프라인은 모든 사용자 요청에 대해 시맨틱 쿼리와 키워드 쿼리를 모두 생성합니다. Zilliz Cloud의 네이티브 하이브리드 검색 기능과 내장 리랭킹 알고리즘(가중 리랭킹 및 RRF)은 커스텀 개발의 필요성을 없애면서도 더 우수한 결과를 제공합니다.
Rachit은 "Zilliz Cloud에는 가중 리랭킹 및 RRF 리랭킹 시스템처럼 우리가 필요로 하는 사용 사례에 매우 적합한 특정 내부 알고리즘이 있었습니다. 덕분에 SDK를 직접 사용하고 이를 즉석에서 계산할 수 있어 쿼리 시간을 줄일 수 있었습니다."라고 말합니다.
원활한 마이그레이션: MongoDB의 제약에서 Zilliz Cloud의 성능으로
MongoDB Atlas에서 Zilliz Cloud로의 마이그레이션은 잘 계획된 데이터베이스 전환이 비즈니스 운영을 중단시키지 않고도 중요한 성능 병목 현상을 해결할 수 있음을 보여주었습니다.
VerbaFlo의 엔지니어링 팀은 Zilliz Cloud의 포괄적인 문서와 SDK 리소스를 활용하여 체계적으로 마이그레이션에 접근했습니다. 이 마이그레이션에는 기존 벡터 임베딩과 메타데이터를 이전하는 동시에 MongoDB가 지원할 수 없었던 새로운 파티셔닝 전략을 구현하는 작업이 포함되었습니다.
"Zilliz Cloud와 Milvus에 대한 문서는 상당히 상세하고 포괄적이었습니다. 그런 문서와 모든 SDK 문서가 있었기 때문에 마이그레이션은 꽤 쉬웠습니다."라고 Rachit은 회상합니다.
결과 및 이점
Zilliz Cloud로 마이그레이션한 영향은 여러 측면에서 즉각적이고 상당했습니다.
최대 50% 비용 절감: VerbaFlo는 MongoDB Atlas 인프라와 비교해 즉시 25-30%의 비용 절감을 달성했습니다. 트래픽 피크 기간에는 Zilliz Cloud의 효율적인 자동 확장 기능과 프로덕션 준비 환경에 이상적인 클러스터 구성 덕분에 잠재적인 절감률이 40-50%에 이를 수 있었습니다.
10밀리초 미만 성능 혁신: 쿼리 지연 시간이 15-20밀리초에서 지속적으로 10밀리초 미만으로 떨어졌으며, 이는 고객이 즉시 알아차릴 만큼 극적인 개선이었습니다. 이 10밀리초 미만의 성능은 음성 통화, 채팅 위젯, 메시징 플랫폼 전반에서 진정한 대화형 AI 경험을 가능하게 합니다.
향상된 확장성: 성장을 위한 상당한 여유 용량을 갖춘 상태에서 현재 50-60 QPS 부하를 처리할 수 있게 되면서, VerbaFlo는 이제 성능 저하 없이 공격적인 확장 계획을 지원할 수 있는 인프라 기반을 갖추게 되었습니다.
우수한 데이터 격리 및 파티셔닝: Zilliz Cloud의 고급 파티셔닝 기능은 MongoDB가 처리할 수 없었던 VerbaFlo의 복잡한 멀티테넌트 요구사항을 해결하여, 멀티테넌트 아키텍처의 보안과 성능을 모두 크게 향상시켰습니다.
컴플라이언스 및 보안: Zilliz Cloud의 GDPR 준수와 보안 인증을 통해 VerbaFlo는 영국 및 EU 지역의 고객에게 자신 있게 서비스를 제공할 수 있으며, 국제 확장 계획을 뒷받침할 수 있습니다.
향상된 시스템 안정성: 99.5% 이상의 가동 시간으로 Zilliz Cloud는 VerbaFlo의 24/7 서비스 약속을 지원하며, 이는 고객 문의가 업무 시간에만 발생하지 않는 부동산 애플리케이션에 매우 중요합니다.
원활한 에코시스템 통합: Zilliz Cloud는 클라우드 인프라 제공업체와의 네이티브 호환성을 통해 VerbaFlo가 호스팅 및 배포를 위해 ECS, EKS, S3 버킷을 포함한 AWS 서비스를 활용할 수 있게 해주며, Google Cloud와 다양한 AI 서비스 제공업체에 걸친 멀티클라우드 전략을 지원합니다.
향후 계획: 산업 전반으로 AI 혁신 확장
인프라 문제가 해결되면서 VerbaFlo는 여러 측면에서 야심찬 확장 계획을 추진하고 있습니다. 회사는 트래픽 증가와 함께 더 많은 고객을 AI 플레이그라운드 기능에 온보딩하면서 향후 몇 분기 내에 엔티티 수를 10-20배로 확장할 것으로 예상하며 상당한 성장을 전망하고 있습니다.
"팀은 기존 플로우를 개발하고 최적화하며, 시스템 내부에 새로운 플로우를 구현하는 지속적인 단계에 있습니다."라고 Rachit은 설명합니다. "우리는 앞으로 계획하고 있는 일부 사용 사례에 맞게 Zilliz Cloud를 실제로 활용하고자 하는 바람이 분명히 있습니다."
더 중요한 것은, Zilliz Cloud가 제공하는 견고한 기반 덕분에 완전히 새로운 산업 버티컬을 탐색할 수 있게 되었다는 점입니다. VerbaFlo는 부동산 부문에서 성공이 입증된 동일한 대화형 AI 기능을 활용하여 자동차 및 제약 산업을 위한 AI 에이전트 아키텍처를 적극적으로 개발하고 있습니다.
이러한 확장을 가능하게 하는 기술적 역량에는 Zilliz Cloud의 국제 컴플라이언스 표준과 대규모 환경에서의 안정적인 성능이 포함되며, 이를 통해 VerbaFlo는 현재 시장을 넘어 여러 부문에 걸친 글로벌 성장을 위해 구축할 수 있다는 자신감을 얻고 있습니다.
결론
VerbaFlo와 Zilliz Cloud의 파트너십은 올바른 인프라 선택이 어떻게 기술적 제약을 경쟁 우위로 전환할 수 있는지를 보여줍니다. Zilliz Cloud를 통해 25-30%의 비용 절감, 10밀리초 미만의 쿼리 성능, 견고한 확장성을 달성함으로써, VerbaFlo는 여러 산업 전반에서 공격적인 성장을 위한 입지를 다졌습니다.
VerbaFlo가 계속해서 f 분야에서 혁신하고 새로운 시장으로 확장해 나감에 따라, Zilliz Cloud는 기업이 고객과 상호작용하는 방식을 혁신하는 데 필요한 확장 가능한 기반을 제공합니다.
"쿼리에 대한 10밀리초 미만의 지연 시간은 벡터 데이터베이스 업계에서 상당한 벤치마크입니다."라고 Rachit은 결론짓습니다. "비용 절감과 안정성이 결합되어, Zilliz Cloud는 산업 전반의 대화형 AI를 혁신하려는 우리의 더 큰 비전을 위한 전략적 조력자가 되었습니다."
The sub-10 millisecond latency for queries is quite the benchmark in the industry for vector databases. Combined with the cost savings and reliability, Zilliz Cloud has become a strategic enabler for our broader vision of transforming conversational AI across industries.
Rachit Jindal