OpenEvidence treibt medizinische KI mit Zilliz Cloud an
< 10 ms
Suchlatenz bei hohem Recall
4.000 QPS
Vektorsuch-Traffic bei Spitzenlast
800.000+
Verifizierte Kliniker mit hochwertigen Antworten versorgt
25 Mio.+
Beratungsgespräche jeden Monat
We believe AI is becoming a meaningful support layer for physicians, but the experience has to feel trustworthy, reliable, and seamless. Building that kind of product requires a strong foundation behind the scenes. Zilliz Cloud has helped us create that foundation as we continue to grow and serve hundreds of thousands of clinicians.
Jagath Kumar
Über OpenEvidence
OpenEvidence ist ein KI-gestütztes klinisches Entscheidungstool, das von mehr als 800.000 verifizierten Klinikern in über 10.000 Krankenhäusern und Gesundheitssystemen genutzt wird. Die Plattform liefert evidenzbasierte Antworten aus führenden medizinischen Quellen, darunter das New England Journal of Medicine, JAMA, PubMed, die FDA und die CDC, genau in dem Moment, in dem ein Arzt sie benötigt.
Allein im März 2026 unterstützte OpenEvidence 25 Millionen klinische Konsultationen, und die Zahl wächst weiterhin rasant. Das entspricht ungefähr einer alle 0,103 Sekunden, rund um die Uhr. In diesem Umfang ist die Retrieval-Schicht nicht nur Infrastruktur. Sie ist Teil der Patientenversorgung.
| < 10ms | 4.000 QPS | 800.000+ | 25M+ | 99%+ |
|---|---|---|---|---|
| Suchlatenz mit hohem Recall | Vektorsuch-Traffic bei Spitzenlast | Verifizierte Kliniker, die mit hochwertigen Antworten versorgt werden | Konsultationen pro Monat | Garantierter Such-Recall |
Die Herausforderung
Als klinische KI-Plattform arbeitet OpenEvidence unter Anforderungen, die weit über die einer typischen Verbraucheranwendung hinausgehen. Das System muss genaue Antworten mit niedriger Latenz aus heterogenen medizinischen Korpora liefern, hohe Parallelität während Spitzenzeiten bewältigen und strikte HIPAA-Compliance für die Speicherung und Übertragung sensibler medizinischer Daten aufrechterhalten.
Vor Zilliz Cloud nutzte OpenEvidence einen etablierten Marktführer im Bereich Vektorsuche, wechselte dann jedoch zu Zilliz Cloud, als die Anforderungen an Skalierung, Leistung und operative Flexibilität stiegen.
| Latenz | Die Abfragelatenz konnte die Sub-10-ms-Anforderung für ein Echtzeitprodukt für Ärzte nicht zuverlässig erfüllen. |
|---|---|
| Skalierung | Der Traffic erreichte Tausende von QPS, und das bestehende System konnte nicht ohne Leistungseinbußen skalieren. |
| Suchqualität | Hoher Recall konnte in großem Maßstab nicht ohne erhebliche Latenzkompromisse aufrechterhalten werden, was in klinischen Umgebungen riskant ist. |
| Compliance & Betrieb | Erforderlich waren HIPAA-Compliance und stabile Ingestion ohne Unterbrechungen durch Index-Neuaufbauten, beides Bereiche, in denen das vorherige System Schwierigkeiten hatte. |
Warum Zilliz Cloud
Nach der Bewertung von Alternativen entschied sich OpenEvidence für Zilliz Cloud - den vollständig verwalteten Vektordatenbank-Service, der auf Milvus basiert. Fünf Faktoren gaben den Ausschlag:
- Horizontal skalierbar für High-QPS-Workloads: Zilliz Cloud bewältigt den geschäftskritischen Workload von OpenEvidence mit 4.000 QPS und versorgt mehr als 800.000 verifizierte Kliniker in über 10.000 Krankenhäusern.
- Ultraniedrige Latenz: Direkte Benchmarks zeigten, dass Zilliz Cloud 4.000 QPS bei 10ms @P50-Latenz und 50ms @P99 bedienen kann und damit eine deutlich bessere Leistung liefert als die bisherige Vektordatenbank.
- Suchqualität in großem Maßstab: Zilliz Cloud hält eine hohe Recall-Genauigkeit aufrecht, ohne Geschwindigkeit zu opfern. OpenEvidence strebt danach, klinisch zuverlässiges Retrieval zu liefern, bei dem eine verpasste Evidenzübereinstimmung nicht nur ein Produktfehler ist, sondern ein Risiko für die Patientensicherheit. Mit ausgefeilter Quantisierung und verfeinerter Strategie erreicht Zilliz Cloud 99% Recall mit einem aggressiv komprimierten Index, um High-QPS-Workloads mit niedriger Latenz zu bedienen, im Gegensatz zu Wettbewerbern, die Genauigkeit gegen Geschwindigkeit eintauschen.
- HIPAA-ready Out of the Box: Zilliz Cloud ist HIPAA-ready. Mithilfe von GCP Private Service Connect richtete OpenEvidence einen vollständig privaten Datenpfad zu Zilliz Cloud ein und wahrte die HIPAA-Compliance.
- Vollständig verwalteter Betrieb und unschlagbare Developer Experience: Infrastrukturskalierung, Hochverfügbarkeit und Wartung werden vollständig von Zilliz Cloud verwaltet. Ein 24/7-Bereitschaftsteam stellt die Produktionszuverlässigkeit rund um die Uhr sicher. Im Business Critical plan erhält OpenEvidence dedizierte technische Unterstützung für Performance-Tuning, Schemadesign und Best Practices für den Produktionsbetrieb.
Ergebnisse & Vorteile
Latenz von unter 10 ms bei über 99 % Recall
Zilliz Cloud liefert konstant Latenzen von unter 10 ms bei über 99 % Recall. Jede Nutzeranfrage löst mehrere Vektorsuchen aus, dennoch werden die Antworten schnell genug zurückgegeben, sodass die Latenz für Kliniker nicht sichtbar ist.
Skalierbar für klinische Produktions-Workloads
Das System unterstützt rund 4.000 QPS und versorgt mehr als 800.000 Kliniker. Dieses Skalierungsniveau ist erforderlich, um Millionen von Konsultationen pro Monat ohne Leistungseinbußen zu bewältigen.
HIPAA-konforme Bereitstellung
Mit GCP Private Service Connect hält OpenEvidence einen vollständig privaten Datenpfad zwischen Anwendungs- und Datenbankschichten aufrecht und erfüllt damit die HIPAA-Anforderungen für sensible medizinische Daten.
Reduzierter Betriebsaufwand
Da Zilliz Cloud Skalierung, Verfügbarkeit und Wartung vollständig verwaltet, kann sich das Engineering-Team auf die Produktentwicklung statt auf die Infrastruktur konzentrieren.