OpenEvidence alimenta l'IA medica con Zilliz Cloud
< 10ms
Latenza della ricerca con recall elevato
4.000 QPS
Traffico di ricerca vettoriale al carico di picco
800.000+
Clinici verificati serviti con risposte di qualità
25 mln+
Consulenze ogni mese
We believe AI is becoming a meaningful support layer for physicians, but the experience has to feel trustworthy, reliable, and seamless. Building that kind of product requires a strong foundation behind the scenes. Zilliz Cloud has helped us create that foundation as we continue to grow and serve hundreds of thousands of clinicians.
Jagath Kumar
Informazioni su OpenEvidence
OpenEvidence è uno strumento di supporto alle decisioni cliniche basato sull'IA utilizzato da oltre 800.000 clinici verificati in più di 10.000 ospedali e sistemi sanitari. La piattaforma fornisce risposte basate sull'evidenza dalle principali fonti mediche, tra cui il New England Journal of Medicine, JAMA, PubMed, la FDA e i CDC, nel momento esatto in cui un medico ne ha bisogno.
Solo nel marzo 2026, OpenEvidence ha supportato 25 milioni di consultazioni cliniche, e il numero continua a crescere rapidamente. È all'incirca una ogni 0,103 secondi, 24 ore su 24. A questa scala, il livello di recupero non è solo infrastruttura. È parte dell'assistenza ai pazienti.
| < 10ms | 4.000 QPS | 800.000+ | 25M+ | 99%+ |
|---|---|---|---|---|
| Latenza di ricerca con richiamo elevato | Traffico di ricerca vettoriale al carico di picco | Clinici verificati serviti con risposte di qualità | Consultazioni ogni mese | Richiamo di ricerca garantito |
La sfida
In quanto piattaforma di IA clinica, OpenEvidence opera in base a requisiti che vanno ben oltre quelli di una tipica applicazione consumer. Il sistema deve fornire risposte accurate e a bassa latenza da corpora medici eterogenei, gestire un'elevata concorrenza durante i picchi di utilizzo e mantenere una rigorosa conformità HIPAA per l'archiviazione e la trasmissione di dati medici sensibili.
Prima di Zilliz Cloud, OpenEvidence utilizzava un leader affermato nella ricerca vettoriale, ma poi è passata a Zilliz Cloud con l'aumentare dei suoi requisiti di scalabilità, prestazioni e flessibilità operativa.
| Latenza | La latenza delle query non riusciva a soddisfare in modo affidabile il requisito inferiore a 10ms per un prodotto in tempo reale rivolto ai medici. |
|---|---|
| Scalabilità | Il traffico ha raggiunto migliaia di QPS e il sistema esistente non poteva scalare senza degradazione delle prestazioni. |
| Qualità della ricerca | Non era possibile mantenere un richiamo elevato su larga scala senza significativi compromessi sulla latenza, il che è rischioso in contesti clinici. |
| Conformità e operazioni | Erano richieste la conformità HIPAA e un'ingestione stabile senza interruzioni dovute alla ricostruzione degli indici, aspetti che il sistema precedente faticava a supportare. |
Perché Zilliz Cloud
Dopo aver valutato le alternative, OpenEvidence ha scelto Zilliz Cloud - il servizio di database vettoriale completamente gestito basato su Milvus. Cinque fattori hanno guidato la decisione:
- Scalabile orizzontalmente per carichi di lavoro ad alto QPS: Zilliz Cloud gestisce il carico di lavoro mission-critical di OpenEvidence a 4.000 QPS, servendo oltre 800.000 clinici verificati in più di 10.000 ospedali.
- Latenza ultra-bassa: I benchmark testa a testa hanno mostrato che Zilliz Cloud può servire 4.000 QPS con latenza di 10ms @P50 e 50ms @P99, offrendo prestazioni significativamente migliori rispetto al loro attuale database vettoriale.
- Qualità della ricerca su larga scala: Zilliz Cloud mantiene un'elevata accuratezza del richiamo senza sacrificare la velocità. OpenEvidence si impegna a fornire un recupero clinicamente affidabile in cui una corrispondenza di evidenza mancata non è solo un fallimento del prodotto, è un rischio per la sicurezza del paziente. Con una quantizzazione sofisticata e una strategia raffinata, Zilliz Cloud raggiunge il 99% di richiamo con un indice compresso in modo aggressivo per servire carichi di lavoro ad alto QPS e bassa latenza, a differenza dei concorrenti che scambiano accuratezza per velocità.
- Pronto per HIPAA fin da subito: Zilliz Cloud è pronto per HIPAA. Utilizzando GCP Private Service Connect, OpenEvidence ha stabilito un percorso dati completamente privato verso Zilliz Cloud e ha mantenuto la conformità HIPAA.
- Operazioni completamente gestite ed esperienza sviluppatore imbattibile: La scalabilità dell'infrastruttura, l'alta disponibilità e la manutenzione sono completamente gestite da Zilliz Cloud. Un team reperibile 24/7 garantisce l'affidabilità della produzione 24 ore su 24. Nel piano Business Critical, OpenEvidence riceve supporto ingegneristico dedicato per l'ottimizzazione delle prestazioni, la progettazione dello schema e le best practice di produzione.
Risultati e vantaggi
Latenza inferiore a 10 ms con richiamo superiore al 99%
Zilliz Cloud offre costantemente una latenza inferiore a 10 ms con un richiamo superiore al 99%. Ogni query utente attiva più ricerche vettoriali, ma le risposte arrivano abbastanza rapidamente da rendere la latenza non percepibile ai clinici.
Scalabilità per carichi di lavoro clinici in produzione
Il sistema supporta circa 4.000 QPS e serve oltre 800.000 clinici. Questo livello di scalabilità è necessario per gestire milioni di consultazioni al mese senza degrado.
Deployment conforme a HIPAA
Utilizzando GCP Private Service Connect, OpenEvidence mantiene un percorso dati completamente privato tra i livelli applicativo e database, soddisfacendo i requisiti HIPAA per i dati medici sensibili.
Riduzione dell’onere operativo
Con Zilliz Cloud che gestisce completamente scalabilità, disponibilità e manutenzione, il team di ingegneria può concentrarsi sullo sviluppo del prodotto invece che sull’infrastruttura.