OpenEvidence propulse l’IA médicale avec Zilliz Cloud
< 10 ms
Latence de recherche avec un rappel élevé
4 000 QPS
Trafic de recherche vectorielle à la charge maximale
800 000+
Cliniciens vérifiés bénéficiant de réponses de qualité
25 M+
Consultations chaque mois
We believe AI is becoming a meaningful support layer for physicians, but the experience has to feel trustworthy, reliable, and seamless. Building that kind of product requires a strong foundation behind the scenes. Zilliz Cloud has helped us create that foundation as we continue to grow and serve hundreds of thousands of clinicians.
Jagath Kumar
À propos d’OpenEvidence
OpenEvidence est un outil d’aide à la décision clinique alimenté par l’IA, utilisé par plus de 800 000 cliniciens vérifiés dans plus de 10 000 hôpitaux et systèmes de santé. La plateforme fournit des réponses fondées sur des preuves issues de sources médicales de premier plan, notamment le New England Journal of Medicine, JAMA, PubMed, la FDA et le CDC, au moment précis où un médecin en a besoin.
Rien qu’en mars 2026, OpenEvidence a pris en charge 25 millions de consultations cliniques, et ce nombre continue de croître rapidement. Cela représente environ une consultation toutes les 0,103 seconde, 24 heures sur 24. À cette échelle, la couche de récupération n’est pas seulement une infrastructure. Elle fait partie des soins aux patients.
| < 10ms | 4 000 QPS | 800 000+ | 25M+ | 99%+ |
|---|---|---|---|---|
| Latence de recherche avec rappel élevé | Trafic de recherche vectorielle à la charge maximale | Cliniciens vérifiés servis avec des réponses de qualité | Consultations chaque mois | Rappel de recherche garanti |
Le défi
En tant que plateforme d’IA clinique, OpenEvidence fonctionne selon des exigences qui vont bien au-delà de celles d’une application grand public typique. Le système doit fournir des réponses précises et à faible latence à partir de corpus médicaux hétérogènes, gérer une forte concurrence lors des pics d’utilisation et maintenir une conformité HIPAA stricte pour le stockage et la transmission de données médicales sensibles.
Avant Zilliz Cloud, OpenEvidence utilisait un leader établi de la recherche vectorielle, puis est passé à Zilliz Cloud lorsque ses exigences en matière d’échelle, de performance et de flexibilité opérationnelle ont augmenté.
| Latence | La latence des requêtes ne pouvait pas répondre de manière fiable à l’exigence de moins de 10 ms pour un produit en temps réel destiné aux médecins. |
|---|---|
| Échelle | Le trafic a atteint des milliers de QPS, et le système existant ne pouvait pas évoluer sans dégradation des performances. |
| Qualité de recherche | Un rappel élevé ne pouvait pas être maintenu à grande échelle sans compromis significatifs sur la latence, ce qui est risqué dans les contextes cliniques. |
| Conformité et opérations | Nécessitait la conformité HIPAA et une ingestion stable sans perturbations liées à la reconstruction d’index, deux aspects que le système précédent avait du mal à prendre en charge. |
Pourquoi Zilliz Cloud
Après avoir évalué les alternatives, OpenEvidence a choisi Zilliz Cloud - le service de base de données vectorielle entièrement géré basé sur Milvus. Cinq facteurs ont motivé cette décision :
- Évolutivité horizontale pour les charges de travail à QPS élevé : Zilliz Cloud prend en charge la charge de travail critique d’OpenEvidence à 4 000 QPS, servant plus de 800 000 cliniciens vérifiés dans plus de 10 000 hôpitaux.
- Latence ultra-faible : Les tests comparatifs directs ont montré que Zilliz Cloud peut servir 4 000 QPS avec une latence de 10 ms @P50 et de 50 ms @P99, offrant des performances nettement supérieures à celles de leur base de données vectorielle actuelle.
- Qualité de recherche à grande échelle : Zilliz Cloud maintient une précision de rappel élevée sans sacrifier la vitesse. OpenEvidence s’efforce de fournir une récupération cliniquement fiable, où une correspondance de preuve manquée n’est pas seulement un échec produit, c’est un risque pour la sécurité des patients. Grâce à une quantification sophistiquée et à une stratégie affinée, Zilliz Cloud atteint un rappel de 99 % avec un index compressé de manière agressive pour servir une charge de travail à QPS élevé et faible latence, contrairement aux concurrents qui échangent la précision contre la vitesse.
- Prêt pour HIPAA dès le départ : Zilliz Cloud est prêt pour HIPAA. En utilisant GCP Private Service Connect, OpenEvidence a établi un chemin de données entièrement privé vers Zilliz Cloud et a maintenu la conformité HIPAA.
- Opérations entièrement gérées et expérience développeur imbattable : La mise à l’échelle de l’infrastructure, la haute disponibilité et la maintenance sont entièrement gérées par Zilliz Cloud. Une équipe d’astreinte 24/7 garantit la fiabilité de la production en continu. Avec le plan Business Critical, OpenEvidence bénéficie d’un support d’ingénierie dédié pour l’optimisation des performances, la conception de schémas et les meilleures pratiques de production.
Résultats et avantages
Latence inférieure à 10 ms avec un rappel de 99 %+
Zilliz Cloud offre systématiquement une latence inférieure à 10 ms avec un rappel de 99 %+. Chaque requête utilisateur déclenche plusieurs recherches vectorielles, mais les réponses reviennent suffisamment vite pour que la latence ne soit pas perceptible par les cliniciens.
Passage à l’échelle pour les charges de travail cliniques en production
Le système prend en charge environ 4 000 QPS et sert plus de 800 000 cliniciens. Ce niveau d’échelle est nécessaire pour traiter des millions de consultations par mois sans dégradation.
Déploiement conforme à HIPAA
Grâce à GCP Private Service Connect, OpenEvidence maintient un chemin de données entièrement privé entre les couches application et base de données, répondant aux exigences HIPAA pour les données médicales sensibles.
Réduction de la charge opérationnelle
Zilliz Cloud prenant entièrement en charge la mise à l’échelle, la disponibilité et la maintenance, l’équipe d’ingénierie peut se concentrer sur le développement produit plutôt que sur l’infrastructure.