OpenEvidence treibt medizinische KI mit Zilliz Cloud an

OpenEvidence
  • < 10 ms

    Suchlatenz bei hohem Recall

  • 4.000 QPS

    Vektorsuch-Traffic bei Spitzenlast

  • 800.000+

    Verifizierte Kliniker mit hochwertigen Antworten versorgt

  • 25 Mio.+

    Beratungsgespräche jeden Monat

“

We believe AI is becoming a meaningful support layer for physicians, but the experience has to feel trustworthy, reliable, and seamless. Building that kind of product requires a strong foundation behind the scenes. Zilliz Cloud has helped us create that foundation as we continue to grow and serve hundreds of thousands of clinicians.

Jagath Kumar

Head of Performance Engineering at OpenEvidence

Über OpenEvidence

OpenEvidence ist ein KI-gestütztes klinisches Entscheidungstool, das von mehr als 800.000 verifizierten Klinikern in über 10.000 Krankenhäusern und Gesundheitssystemen genutzt wird. Die Plattform liefert evidenzbasierte Antworten aus führenden medizinischen Quellen, darunter das New England Journal of Medicine, JAMA, PubMed, die FDA und die CDC, genau in dem Moment, in dem ein Arzt sie benötigt.

Allein im März 2026 unterstützte OpenEvidence 25 Millionen klinische Konsultationen, und die Zahl wächst weiterhin rasant. Das entspricht ungefähr einer alle 0,103 Sekunden, rund um die Uhr. In diesem Umfang ist die Retrieval-Schicht nicht nur Infrastruktur. Sie ist Teil der Patientenversorgung.

< 10ms4.000 QPS800.000+25M+99%+
Suchlatenz mit hohem RecallVektorsuch-Traffic bei SpitzenlastVerifizierte Kliniker, die mit hochwertigen Antworten versorgt werdenKonsultationen pro MonatGarantierter Such-Recall

Die Herausforderung

Als klinische KI-Plattform arbeitet OpenEvidence unter Anforderungen, die weit über die einer typischen Verbraucheranwendung hinausgehen. Das System muss genaue Antworten mit niedriger Latenz aus heterogenen medizinischen Korpora liefern, hohe Parallelität während Spitzenzeiten bewältigen und strikte HIPAA-Compliance für die Speicherung und Übertragung sensibler medizinischer Daten aufrechterhalten.

Vor Zilliz Cloud nutzte OpenEvidence einen etablierten Marktführer im Bereich Vektorsuche, wechselte dann jedoch zu Zilliz Cloud, als die Anforderungen an Skalierung, Leistung und operative Flexibilität stiegen.

LatenzDie Abfragelatenz konnte die Sub-10-ms-Anforderung für ein Echtzeitprodukt für Ärzte nicht zuverlässig erfüllen.
SkalierungDer Traffic erreichte Tausende von QPS, und das bestehende System konnte nicht ohne Leistungseinbußen skalieren.
SuchqualitätHoher Recall konnte in großem Maßstab nicht ohne erhebliche Latenzkompromisse aufrechterhalten werden, was in klinischen Umgebungen riskant ist.
Compliance & BetriebErforderlich waren HIPAA-Compliance und stabile Ingestion ohne Unterbrechungen durch Index-Neuaufbauten, beides Bereiche, in denen das vorherige System Schwierigkeiten hatte.

Warum Zilliz Cloud

Nach der Bewertung von Alternativen entschied sich OpenEvidence für Zilliz Cloud - den vollständig verwalteten Vektordatenbank-Service, der auf Milvus basiert. Fünf Faktoren gaben den Ausschlag:

  1. Horizontal skalierbar für High-QPS-Workloads: Zilliz Cloud bewältigt den geschäftskritischen Workload von OpenEvidence mit 4.000 QPS und versorgt mehr als 800.000 verifizierte Kliniker in über 10.000 Krankenhäusern.
  2. Ultraniedrige Latenz: Direkte Benchmarks zeigten, dass Zilliz Cloud 4.000 QPS bei 10ms @P50-Latenz und 50ms @P99 bedienen kann und damit eine deutlich bessere Leistung liefert als die bisherige Vektordatenbank.
  3. Suchqualität in großem Maßstab: Zilliz Cloud hält eine hohe Recall-Genauigkeit aufrecht, ohne Geschwindigkeit zu opfern. OpenEvidence strebt danach, klinisch zuverlässiges Retrieval zu liefern, bei dem eine verpasste Evidenzübereinstimmung nicht nur ein Produktfehler ist, sondern ein Risiko für die Patientensicherheit. Mit ausgefeilter Quantisierung und verfeinerter Strategie erreicht Zilliz Cloud 99% Recall mit einem aggressiv komprimierten Index, um High-QPS-Workloads mit niedriger Latenz zu bedienen, im Gegensatz zu Wettbewerbern, die Genauigkeit gegen Geschwindigkeit eintauschen.
  4. HIPAA-ready Out of the Box: Zilliz Cloud ist HIPAA-ready. Mithilfe von GCP Private Service Connect richtete OpenEvidence einen vollständig privaten Datenpfad zu Zilliz Cloud ein und wahrte die HIPAA-Compliance.
  5. Vollständig verwalteter Betrieb und unschlagbare Developer Experience: Infrastrukturskalierung, Hochverfügbarkeit und Wartung werden vollständig von Zilliz Cloud verwaltet. Ein 24/7-Bereitschaftsteam stellt die Produktionszuverlässigkeit rund um die Uhr sicher. Im Business Critical plan erhält OpenEvidence dedizierte technische Unterstützung für Performance-Tuning, Schemadesign und Best Practices für den Produktionsbetrieb.

Ergebnisse & Vorteile

Latenz von unter 10 ms bei über 99 % Recall

Zilliz Cloud liefert konstant Latenzen von unter 10 ms bei über 99 % Recall. Jede Nutzeranfrage löst mehrere Vektorsuchen aus, dennoch werden die Antworten schnell genug zurückgegeben, sodass die Latenz für Kliniker nicht sichtbar ist.

Skalierbar für klinische Produktions-Workloads

Das System unterstützt rund 4.000 QPS und versorgt mehr als 800.000 Kliniker. Dieses Skalierungsniveau ist erforderlich, um Millionen von Konsultationen pro Monat ohne Leistungseinbußen zu bewältigen.

HIPAA-konforme Bereitstellung

Mit GCP Private Service Connect hält OpenEvidence einen vollständig privaten Datenpfad zwischen Anwendungs- und Datenbankschichten aufrecht und erfüllt damit die HIPAA-Anforderungen für sensible medizinische Daten.

Reduzierter Betriebsaufwand

Da Zilliz Cloud Skalierung, Verfügbarkeit und Wartung vollständig verwaltet, kann sich das Engineering-Team auf die Produktentwicklung statt auf die Infrastruktur konzentrieren.

Verwandte Ressourcen