OpenEvidence alimenta l'IA medica con Zilliz Cloud

OpenEvidence
  • < 10ms

    Latenza della ricerca con recall elevato

  • 4.000 QPS

    Traffico di ricerca vettoriale al carico di picco

  • 800.000+

    Clinici verificati serviti con risposte di qualità

  • 25 mln+

    Consulenze ogni mese

“

We believe AI is becoming a meaningful support layer for physicians, but the experience has to feel trustworthy, reliable, and seamless. Building that kind of product requires a strong foundation behind the scenes. Zilliz Cloud has helped us create that foundation as we continue to grow and serve hundreds of thousands of clinicians.

Jagath Kumar

Head of Performance Engineering at OpenEvidence

Informazioni su OpenEvidence

OpenEvidence è uno strumento di supporto alle decisioni cliniche basato sull'IA utilizzato da oltre 800.000 clinici verificati in più di 10.000 ospedali e sistemi sanitari. La piattaforma fornisce risposte basate sull'evidenza dalle principali fonti mediche, tra cui il New England Journal of Medicine, JAMA, PubMed, la FDA e i CDC, nel momento esatto in cui un medico ne ha bisogno.

Solo nel marzo 2026, OpenEvidence ha supportato 25 milioni di consultazioni cliniche, e il numero continua a crescere rapidamente. È all'incirca una ogni 0,103 secondi, 24 ore su 24. A questa scala, il livello di recupero non è solo infrastruttura. È parte dell'assistenza ai pazienti.

< 10ms4.000 QPS800.000+25M+99%+
Latenza di ricerca con richiamo elevatoTraffico di ricerca vettoriale al carico di piccoClinici verificati serviti con risposte di qualitàConsultazioni ogni meseRichiamo di ricerca garantito

La sfida

In quanto piattaforma di IA clinica, OpenEvidence opera in base a requisiti che vanno ben oltre quelli di una tipica applicazione consumer. Il sistema deve fornire risposte accurate e a bassa latenza da corpora medici eterogenei, gestire un'elevata concorrenza durante i picchi di utilizzo e mantenere una rigorosa conformità HIPAA per l'archiviazione e la trasmissione di dati medici sensibili.

Prima di Zilliz Cloud, OpenEvidence utilizzava un leader affermato nella ricerca vettoriale, ma poi è passata a Zilliz Cloud con l'aumentare dei suoi requisiti di scalabilità, prestazioni e flessibilità operativa.

LatenzaLa latenza delle query non riusciva a soddisfare in modo affidabile il requisito inferiore a 10ms per un prodotto in tempo reale rivolto ai medici.
ScalabilitàIl traffico ha raggiunto migliaia di QPS e il sistema esistente non poteva scalare senza degradazione delle prestazioni.
Qualità della ricercaNon era possibile mantenere un richiamo elevato su larga scala senza significativi compromessi sulla latenza, il che è rischioso in contesti clinici.
Conformità e operazioniErano richieste la conformità HIPAA e un'ingestione stabile senza interruzioni dovute alla ricostruzione degli indici, aspetti che il sistema precedente faticava a supportare.

Perché Zilliz Cloud

Dopo aver valutato le alternative, OpenEvidence ha scelto Zilliz Cloud - il servizio di database vettoriale completamente gestito basato su Milvus. Cinque fattori hanno guidato la decisione:

  1. Scalabile orizzontalmente per carichi di lavoro ad alto QPS: Zilliz Cloud gestisce il carico di lavoro mission-critical di OpenEvidence a 4.000 QPS, servendo oltre 800.000 clinici verificati in più di 10.000 ospedali.
  2. Latenza ultra-bassa: I benchmark testa a testa hanno mostrato che Zilliz Cloud può servire 4.000 QPS con latenza di 10ms @P50 e 50ms @P99, offrendo prestazioni significativamente migliori rispetto al loro attuale database vettoriale.
  3. Qualità della ricerca su larga scala: Zilliz Cloud mantiene un'elevata accuratezza del richiamo senza sacrificare la velocità. OpenEvidence si impegna a fornire un recupero clinicamente affidabile in cui una corrispondenza di evidenza mancata non è solo un fallimento del prodotto, è un rischio per la sicurezza del paziente. Con una quantizzazione sofisticata e una strategia raffinata, Zilliz Cloud raggiunge il 99% di richiamo con un indice compresso in modo aggressivo per servire carichi di lavoro ad alto QPS e bassa latenza, a differenza dei concorrenti che scambiano accuratezza per velocità.
  4. Pronto per HIPAA fin da subito: Zilliz Cloud è pronto per HIPAA. Utilizzando GCP Private Service Connect, OpenEvidence ha stabilito un percorso dati completamente privato verso Zilliz Cloud e ha mantenuto la conformità HIPAA.
  5. Operazioni completamente gestite ed esperienza sviluppatore imbattibile: La scalabilità dell'infrastruttura, l'alta disponibilità e la manutenzione sono completamente gestite da Zilliz Cloud. Un team reperibile 24/7 garantisce l'affidabilità della produzione 24 ore su 24. Nel piano Business Critical, OpenEvidence riceve supporto ingegneristico dedicato per l'ottimizzazione delle prestazioni, la progettazione dello schema e le best practice di produzione.

Risultati e vantaggi

Latenza inferiore a 10 ms con richiamo superiore al 99%

Zilliz Cloud offre costantemente una latenza inferiore a 10 ms con un richiamo superiore al 99%. Ogni query utente attiva più ricerche vettoriali, ma le risposte arrivano abbastanza rapidamente da rendere la latenza non percepibile ai clinici.

Scalabilità per carichi di lavoro clinici in produzione

Il sistema supporta circa 4.000 QPS e serve oltre 800.000 clinici. Questo livello di scalabilità è necessario per gestire milioni di consultazioni al mese senza degrado.

Deployment conforme a HIPAA

Utilizzando GCP Private Service Connect, OpenEvidence mantiene un percorso dati completamente privato tra i livelli applicativo e database, soddisfacendo i requisiti HIPAA per i dati medici sensibili.

Riduzione dell’onere operativo

Con Zilliz Cloud che gestisce completamente scalabilità, disponibilità e manutenzione, il team di ingegneria può concentrarsi sullo sviluppo del prodotto invece che sull’infrastruttura.

Risorse Correlate