Read AI, 수백만 명의 활성 사용자를 위해 Milvus로 대화형 인텔리전스를 확장하다
20~50ms 미만
수백만 명의 월간 사용자를 위한 검색 지연 시간
5배 속도 향상
에이전틱 검색에서
백만 단위 규모
활성 테넌트 지원
개선된 사용자 경험
대응적 검색에서 선제적 검색으로의 전환을 지원함으로써
We've got millions of monthly active users and all of the underlying data when we're trying to go find related conversations, find updates to an action item, find referenced documents...Milvus serves as the central repository and powers our information retrieval among billions of records.
Rob Williams
경영진 요약
Read AI는 회의, 채팅, 이메일, 내부 지식 기반을 포함한 비정형 커뮤니케이션 소스에서 엔터프라이즈 규모의 검색을 지원하기 위해 고성능 벡터 데이터베이스가 필요했습니다. 의미 검색 인프라의 중추로 Milvus를 도입함으로써 Read AI는 내러티브가 풍부한 임베딩을 대규모로 인덱싱하고 쿼리할 수 있었으며, 수십억 건의 레코드 전반에서 빠르고 정확한 검색을 실현했습니다.
월간 사용자 수백만 명을 위한 20~50ms 미만의 검색 지연 시간
수백만 개의 활성 테넌트를 처리할 수 있는 높은 확장성
개발자 생산성의 대폭 향상
“월간 활성 사용자가 수백만 명에 달하고, 관련 대화를 찾고, 작업 항목의 업데이트를 찾고, 참조된 문서를 찾으려 할 때 기반이 되는 모든 데이터가 있습니다...Milvus는 중앙 저장소 역할을 하며 수십억 건의 레코드 중에서 우리의 정보 검색을 구동합니다.”--Read AI 공동 창립자 겸 CTO Rob Williams
Read AI 소개
Read AI는 수백만 명의 사람들이 가장 중요한 업무에 더 많은 시간을 쓸 수 있도록 돕는 선도적인 생산성 AI 기업입니다. 처음에는 회의 피로를 줄이는 데 초점을 맞췄지만, 회사는 예측 가능한 다음 단계, 엔터프라이즈 검색, 실시간 코칭도 제공하는 풀스택 인텔리전스 플랫폼으로 발전했으며, 캘린더(Google Calendar, Outlook 365, Zoom Calendar), CRM(Salesforce, HubSpot), 협업 플랫폼(Jira, Confluence, Notion), 메시징 앱(Slack, Microsoft Teams), 노트 작성 도구(Google Docs, OneNote), 이메일(Gmail, Outlook), 화상 회의(Zoom, Google Meet, Microsoft Teams) 전반의 도구와 매끄럽게 통합됩니다. 이러한 소스의 데이터를 수집하고 맥락화하여 수동적인 상호작용을 구조화되고, 쿼리 가능하며, 실행 가능한 내러티브로 변환합니다.
소비자 우선의 사고방식으로 구축된 Read AI는 셀프서비스 모델을 통해 수백만 명의 사용자를 지원하며, 수많은 엔터프라이즈 전반에서 수십억 건의 대화 이벤트를 처리하는 진정한 인터넷 규모로 운영됩니다.
기술적 과제
급격한 성장으로 인해 Read AI는 회의와 채팅부터 CRM 업데이트, 캘린더, 이메일 스레드, 지원 티켓에 이르기까지 다양한 소스 전반의 비정형 커뮤니케이션 데이터를 구성하고 검색하는 데 있어 근본적인 과제에 직면했습니다. 각 소스는 가치 있는 신호를 담고 있지만 사일로에 갇혀 있고, 일관된 구조가 부족하며, 효과적으로 검색하기 어렵습니다. 기대 사항은 모든 상호작용 후 20분 이내에 지능적이고 맥락적인 결과를 제공하는 것이었습니다.
이를 위해서는 다양한 형식 전반에서 거의 실시간에 가까운 데이터 수집, 변환, 인덱싱이 필요했습니다. 잘 구조화된 내부 회의부터 Slack, Gmail, HubSpot과 같은 희소한 서드파티 플랫폼까지 포함되었습니다. 사용량이 증가함에 따라 Read AI는 수백만 개의 테넌트 전반에서 수십억 건의 레코드, 초당 수천 건의 쿼리, 20~50ms 미만의 지연 시간을 지원해야 했습니다. 내부적으로 구축한 저장소와 Pinecone, Faiss 같은 다른 벡터 데이터베이스를 포함한 초기 솔루션들은 취약한 멀티테넌시 지원, 제한적인 필터링 기능, 또는 커뮤니티 대응 부족으로 인해 이러한 요구를 충족하지 못했습니다.
Milvus를 활용한 솔루션 아키텍처
Read AI의 새로운 아키텍처는 Slack, Zoom, 이메일, Salesforce와 같은 다양한 커뮤니케이션 소스 전반에서 높은 처리량과 낮은 지연 시간의 검색을 처리하도록 설계되었습니다. 이러한 입력은 원시 데이터를 구조화된 내러티브와 감정 인식 표현으로 변환하는 임베딩 및 내레이션 계층을 통과합니다. 모든 것은 Milvus 벡터 데이터베이스에 저장되어, 사실상 정보의 중앙 저장소 역할을 합니다.
Milvus를 활용한 솔루션 아키텍처
그림: Mivus가 Read AI 시스템을 지원하는 방식
Read AI는 벡터 유사도와 구조화된 메타데이터 기반 필터링을 결합한 필터링된 벡터 검색을 사용합니다. 예를 들어 쿼리 범위를 일대일 미팅, 특정 직원 또는 시간 창으로 한정하여 “가장 몰입도가 낮은 영업 통화”나 “일대일에서의 긍정적 피드백”과 같은 섬세한 검색을 가능하게 합니다. Milvus의 최적화된 메타데이터 필터링은 이 규모에서 20~50ms 미만의 지연 시간을 달성하는 데 매우 중요합니다.
"Milvus는 우리에게 내러티브를 인식하는 스토리지 계층을 제공합니다. 단순한 텍스트 임베딩이 아니라, 전체 맥락을 인식하는 검색입니다." — Read AI 공동 창립자 겸 CTO Rob Williams
Milvus의 네이티브 멀티테넌시 지원 덕분에 Read AI는 단일 Milvus 클러스터를 배포하여 수백만 테넌트에게 효율적으로 서비스를 제공합니다. 쿼리는 검색 의도를 분석하고 요청을 Milvus로 라우팅한 다음, 채팅 인터페이스, 요약 또는 알림을 통해 전달하기 위해 결과를 후처리하는 내부 에이전트 프레임워크를 통해 오케스트레이션됩니다. 이 아키텍처는 Read AI에 서로 다른 콘텐츠 유형을 통합할 수 있는 확장성과 유연성을 제공하는 동시에, 실시간 검색 및 회고적 분석에 중요한 속도와 정밀도를 유지하게 해 줍니다.
기술 평가 및 의사결정 과정
Milvus를 도입하기 전에 Read AI 팀은 여러 대안을 평가했습니다. FAISS는 내장 멀티테넌시가 없고 필터링 기능이 제한적이라는 이유로 제외되었습니다. Pinecone은 Read AI의 검색 패턴과 규모를 지원하는 데 필요한 유연성을 제공하지 못했습니다. 완전한 자체 호스팅 사내 솔루션도 검토했지만, 해당 사용 사례의 확장성 및 성숙도 요구 사항을 충족하지 못했습니다. Milvus는 몇 가지 핵심 요소를 바탕으로 두드러졌습니다:
수백만 사용자와 수십억 레코드로 확장할 수 있는 능력
대규모 벡터 컬렉션에서 일관된 20~50ms 미만의 지연 시간
하이브리드 검색 워크플로 지원
테넌트 수준 격리
개발자 경험 또한 결정적인 요인이었으며, 명확한 문서, 신속하게 대응하는 유지관리자, 특히 개념 증명 기간 동안의 직접적인 엔지니어링 지원이 포함되었습니다. PoC 단계에서는 테스트 워크로드에 대한 빠른 처리와 Milvus 팀의 실시간 디버깅 지원이 입증되었고, 이는 Read AI가 프로덕션으로 전환할 수 있다는 확신을 주었습니다.
Milvus 선택의 결과와 이점
Milvus를 배포하고 회사의 엔터프라이즈 검색 도구 Search Copilot을 출시한 이후, Read AI는 다양한 데이터 소스 전반에서 에이전트형 검색 속도를 5배 향상했으며, 복잡한 필터가 있는 쿼리를 처리할 때도 약 20~50ms의 일관된 검색 지연 시간을 유지했습니다. 이 플랫폼은 수백만 개의 개별 사용자 계정을 중단 없이 거대한 클러스터에 원활하게 온보딩하여, Milvus의 분산 아키텍처와 멀티테넌시 역량의 견고함을 입증했습니다.
Milvus는 미팅, 채팅, 이메일, CRM 등 모든 커뮤니케이션 채널 전반에 걸쳐 통합 검색 계층을 구동합니다. 탄력적 확장은 엔터프라이즈 코호트나 트래픽 급증을 처리하기 위한 운영을 단순화합니다. 대량 가져오기와 같은 기능은 새로운 기업이 서비스에 가입할 때 많은 양의 과거 데이터를 온보딩하는 과정에서 원활한 경험을 제공합니다.
더 중요한 것은, Milvus가 반응형 검색에서 선제적 검색으로의 전환을 가능하게 한다는 점입니다. 동적이고 멀티모달한 맥락 전반에 대한 저지연 벡터 검색 덕분에 사용자가 묻기도 전에 관련 인사이트, 실행 항목, 리스크를 드러냅니다. 이 역량은 사용자 경험을 개선할 뿐만 아니라, Read AI가 예측형 추천 및 다음 단계의 지속적인 발전을 통해 플랫폼 확장에 계속 집중함에 따라 새로운 비즈니스 기회도 열어 줍니다.
"우리가 원했던 것은 사용자가 묻기도 전에 지능을 사용자에게 전달하는 것이었습니다. Milvus가 그것을 가능하게 만들었습니다." —Read AI 공동 창립자 겸 CTO Rob Williams
이러한 기술적 성과는 곧바로 비즈니스 가치로 이어집니다. 무료 티어 사용자는 몇 분 내에 의미 있는 인사이트를 받아 유지율이 높아지고, 엔터프라이즈 고객은 더 깊이 있는 지식 검색과 장기적 맥락의 혜택을 누리며, 이는 사용자 신뢰를 강화하고 프리미엄 업셀 기회를 지원합니다.
개발자 및 엔지니어링 인사이트
구현에서 얻은 교훈:
구조화된 주석은 더 풍부한 다운스트림 LLM 출력을 가능하게 할 수 있음
벡터 검색은 검색 사용자 경험을 따라잡기 위해, 구조화된 메타데이터 필터링이 있더라도 속도를 유지해야 함
멀티테넌트 격리와 동적 확장은 소비자 규모에서 타협할 수 없음
팀은 에이전트가 결과를 검색, 필터링, 순위 지정하는 방식을 지속적으로 개선하기 위해 쿼리 성능, 사용자 만족도, 행동 지표를 추적하며 지속적인 실험을 운영합니다.
Read AI는 임베딩 모델뿐만 아니라 고유한 내레이션 계층으로도 대화 데이터를 처리합니다. 이러한 의미론적 추상화는 트랜스크립트를 넘어 어조, 의도, 그리고 거래 진행 또는 참여도 하락과 같은 핵심 이벤트를 포착합니다. 그 결과, 사용자는 단순히 키워드를 매칭하는 것이 아니라 "데모 중에 누가 무관심했는가"와 같은 자연어 내러티브를 검색할 수 있습니다.
로드맵
앞으로 Read AI는 실시간 워크로드와 오프라인 워크로드의 균형을 맞추는 방식을 개선하는 데 집중하고 있으며, 라이브 스트리밍 데이터와 장기 저장소 간에 더 동적인 오케스트레이션을 구축할 계획입니다. 이들은 지연 시간 기대치가 완화된 오프라인 쿼리를 객체 스토리지 기반의 웨어하우스 스타일 계층으로 전환하여 검색 비용을 줄이기 위해 Milvus의 곧 출시될 Vector Lake 사용을 검토하고 있습니다.
또 다른 핵심 개발 영역은 지식 격차의 자동 감지입니다 — 중요한 정보가 누락되거나 단절된 시점을 식별하고 — 사용자가 묻기 전에 선제적으로 인사이트를 제공하는 것입니다. 이러한 모든 개선 사항은 Read AI의 장기 비전을 뒷받침합니다: 엔터프라이즈를 위한 “액션 엔진” — 모든 커뮤니케이션 채널에서 지식 근로자를 지능적으로 지원하는, 컨텍스트 인식형 상시 가동 AI 기반 플랫폼을 구축하는 것입니다.
대화 맥락과 과거 인사이트를 Milvus에 저장함으로써, Read AI는 조직 지식의 가용성을 확장하여, 원래 참여자가 오프라인 상태이거나 더 이상 회사에 없을 때에도 중요한 정보를 제공합니다.
결론
Read AI가 회의 분석 도구에서 대중을 위한 본격적인 인텔리전스 플랫폼으로 나아가는 여정에는 대규모 확장, 이기종 데이터, 복잡한 실시간 쿼리 요구 사항을 처리할 수 있는 인프라가 필요했습니다. Milvus는 단순히 원시 성능과 확장성뿐 아니라, 주석이 달린 임베딩, 메타데이터 필터링, 멀티테넌트 격리를 지원하는 유연성 덕분에 올바른 선택임이 입증되었습니다.
벡터 검색 인프라의 기반으로 Milvus를 활용함으로써, Read AI는 수백만 명의 사용자에게 빠르고 안정적이며 깊이 있는 컨텍스트 기반 결과와 추천을 제공합니다. 엔터프라이즈를 위한 상시 가동 지능형 액션 엔진 구축으로 확장해 나가는 가운데, Milvus는 비용 효율성, 아키텍처 유연성, 미래 지향적 확장성에 대한 이들의 요구를 계속 지원하며, 잘 설계된 벡터 데이터베이스가 단순한 저장소 그 이상, 즉 현대적 정보 이해의 중추임을 입증하고 있습니다.
What we wanted was to push intelligence to the user before they even asked. Milvus is what made that viable.
Rob Williams