OpenEvidence, Zilliz Cloud로 의료 AI를 강화하다
< 10ms
높은 재현율을 갖춘 검색 지연 시간
4,000 QPS
피크 부하 시 벡터 검색 트래픽
800,000+
검증된 임상의에게 제공되는 양질의 답변
2,500만+
매월 상담
We believe AI is becoming a meaningful support layer for physicians, but the experience has to feel trustworthy, reliable, and seamless. Building that kind of product requires a strong foundation behind the scenes. Zilliz Cloud has helped us create that foundation as we continue to grow and serve hundreds of thousands of clinicians.
Jagath Kumar
OpenEvidence 소개
OpenEvidence는 10,000개 이상의 병원 및 의료 시스템에서 800,000명 이상의 검증된 임상의가 사용하는 AI 기반 임상 의사결정 도구입니다. 이 플랫폼은 의사가 필요한 바로 그 순간에 New England Journal of Medicine, JAMA, PubMed, FDA, CDC를 포함한 주요 의학 자료의 근거 기반 답변을 제공합니다.
2026년 3월 한 달에만 OpenEvidence는 2,500만 건의 임상 상담을 지원했으며, 그 수는 여전히 빠르게 증가하고 있습니다. 이는 24시간 내내 약 0.103초마다 한 건에 해당합니다. 그 규모에서 검색 계층은 단순한 인프라가 아닙니다. 환자 치료의 일부입니다.
| < 10ms | 4,000 QPS | 800,000+ | 25M+ | 99%+ |
|---|---|---|---|---|
| 높은 재현율의 검색 지연 시간 | 최대 부하 시 벡터 검색 트래픽 | 양질의 답변을 제공받은 검증된 임상의 | 매월 상담 건수 | 보장된 검색 재현율 |
과제
임상 AI 플랫폼으로서 OpenEvidence는 일반적인 소비자 애플리케이션의 요구사항을 훨씬 뛰어넘는 요구사항 아래에서 운영됩니다. 이 시스템은 이기종 의학 코퍼스에서 정확하고 지연 시간이 낮은 답변을 제공하고, 피크 사용 시간 동안 높은 동시성을 처리하며, 민감한 의료 데이터의 저장 및 전송에 대해 엄격한 HIPAA 준수를 유지해야 합니다.
Zilliz Cloud 이전에 OpenEvidence는 벡터 검색 분야의 확고한 선도 업체를 사용했지만, 규모, 성능, 운영 유연성에 대한 요구사항이 증가함에 따라 Zilliz Cloud로 이전했습니다.
| 지연 시간 | 쿼리 지연 시간이 의사를 대상으로 하는 실시간 제품의 10ms 미만 요구사항을 안정적으로 충족하지 못했습니다. |
|---|---|
| 규모 | 트래픽이 수천 QPS에 도달했고, 기존 시스템은 성능 저하 없이 확장할 수 없었습니다. |
| 검색 품질 | 상당한 지연 시간 절충 없이 규모에 맞게 높은 재현율을 유지할 수 없었으며, 이는 임상 환경에서 위험합니다. |
| 규정 준수 및 운영 | HIPAA 준수와 인덱스 재구축 중단 없는 안정적인 수집이 필요했지만, 이전 시스템은 두 가지 모두를 지원하는 데 어려움을 겪었습니다. |
Zilliz Cloud를 선택한 이유
대안을 평가한 후 OpenEvidence는 Milvus 기반으로 구축된 완전 관리형 벡터 데이터베이스 서비스인 Zilliz Cloud를 선택했습니다. 다섯 가지 요인이 결정에 영향을 미쳤습니다:
- 높은 QPS 워크로드를 위한 수평 확장성: Zilliz Cloud는 4,000 QPS에서 OpenEvidence의 미션 크리티컬 워크로드를 처리하며, 10,000개 이상의 병원에서 800,000명 이상의 검증된 임상의에게 서비스를 제공합니다.
- 초저지연: 일대일 벤치마킹 결과 Zilliz Cloud는 10ms @P50 지연 시간 및 50ms @P99에서 4,000 QPS를 제공할 수 있어, 현재 사용 중인 벡터 데이터베이스보다 훨씬 더 우수한 성능을 제공하는 것으로 나타났습니다.
- 규모에 따른 검색 품질: Zilliz Cloud는 속도를 희생하지 않고 높은 재현율 정확도를 유지합니다. OpenEvidence는 증거 일치 누락이 단순한 제품 실패가 아니라 환자 안전 위험이 되는 임상적으로 신뢰할 수 있는 검색을 제공하기 위해 노력합니다. 정교한 양자화와 정제된 전략을 통해 Zilliz Cloud는 정확도를 속도와 맞바꾸는 경쟁사와 달리, 높은 QPS와 낮은 지연 시간 워크로드를 제공하기 위해 공격적으로 압축된 인덱스로 99% 재현율을 달성합니다.
- 즉시 사용 가능한 HIPAA 지원: Zilliz Cloud는 HIPAA를 지원합니다. GCP Private Service Connect를 사용하여 OpenEvidence는 Zilliz Cloud로의 완전한 프라이빗 데이터 경로를 구축하고 HIPAA 준수를 유지했습니다.
- 완전 관리형 운영 및 탁월한 개발자 경험: 인프라 확장, 고가용성, 유지 관리는 Zilliz Cloud에서 완전히 관리합니다. 24/7 온콜 팀이 24시간 내내 프로덕션 안정성을 보장합니다. Business Critical 플랜에서 OpenEvidence는 성능 튜닝, 스키마 설계, 프로덕션 모범 사례를 위한 전담 엔지니어링 지원을 받습니다.
결과 및 이점
99% 이상의 재현율로 10ms 미만의 지연 시간
Zilliz Cloud는 99% 이상의 재현율로 10ms 미만의 지연 시간을 일관되게 제공합니다. 각 사용자 쿼리는 여러 벡터 검색을 트리거하지만, 응답은 임상의가 지연 시간을 인지하지 못할 만큼 충분히 빠르게 반환됩니다.
프로덕션 임상 워크로드까지 확장 가능
이 시스템은 약 4,000 QPS를 지원하며 800,000명 이상의 임상의에게 서비스를 제공합니다. 이러한 수준의 확장성은 성능 저하 없이 매월 수백만 건의 상담을 처리하는 데 필요합니다.
HIPAA 준수 배포
GCP Private Service Connect를 사용하여 OpenEvidence는 애플리케이션 계층과 데이터베이스 계층 간에 완전히 비공개인 데이터 경로를 유지하며, 민감한 의료 데이터에 대한 HIPAA 요구 사항을 충족합니다.
운영 부담 감소
Zilliz Cloud가 확장, 가용성 및 유지 관리를 완전히 관리하므로 엔지니어링 팀은 인프라 대신 제품 개발에 집중할 수 있습니다.