OpenEvidence impulsa la IA médica con Zilliz Cloud

OpenEvidence
  • < 10ms

    Latencia de búsqueda con alta exhaustividad

  • 4,000 consultas por segundo

    Tráfico de búsqueda vectorial con carga máxima

  • 800.000+

    Profesionales clínicos verificados atendidos con respuestas de calidad

  • 25 M+

    Consultas cada mes

“

We believe AI is becoming a meaningful support layer for physicians, but the experience has to feel trustworthy, reliable, and seamless. Building that kind of product requires a strong foundation behind the scenes. Zilliz Cloud has helped us create that foundation as we continue to grow and serve hundreds of thousands of clinicians.

Jagath Kumar

Head of Performance Engineering at OpenEvidence

Acerca de OpenEvidence

OpenEvidence es una herramienta de decisión clínica impulsada por IA utilizada por más de 800,000 médicos verificados en más de 10,000 hospitales y sistemas de salud. La plataforma ofrece respuestas basadas en evidencia de fuentes médicas líderes, incluido el New England Journal of Medicine, JAMA, PubMed, la FDA y los CDC, en el momento exacto en que un médico las necesita.

Solo en marzo de 2026, OpenEvidence respaldó 25 millones de consultas clínicas, y la cifra sigue creciendo rápidamente. Eso equivale aproximadamente a una cada 0.103 segundos, las 24 horas. A esa escala, la capa de recuperación no es solo infraestructura. Es parte de la atención al paciente.

< 10ms4,000 QPS800,000+25M+99%+
Latencia de búsqueda con alta recuperaciónTráfico de búsqueda vectorial en carga máximaMédicos verificados atendidos con respuestas de calidadConsultas cada mesRecuperación de búsqueda garantizada

El desafío

Como plataforma de IA clínica, OpenEvidence opera bajo requisitos que van mucho más allá de los de una aplicación típica para consumidores. El sistema debe ofrecer respuestas precisas y de baja latencia a partir de corpus médicos heterogéneos, gestionar una alta concurrencia durante los picos de uso y mantener un estricto cumplimiento de HIPAA para el almacenamiento y la transmisión de datos médicos sensibles.

Antes de Zilliz Cloud, OpenEvidence utilizaba un líder consolidado en búsqueda vectorial, pero luego migró a Zilliz Cloud a medida que aumentaban sus requisitos de escala, rendimiento y flexibilidad operativa.

LatenciaLa latencia de las consultas no podía cumplir de forma fiable el requisito de menos de 10ms para un producto en tiempo real orientado a médicos.
EscalaEl tráfico alcanzó miles de QPS, y el sistema existente no podía escalar sin degradación del rendimiento.
Calidad de búsquedaNo se podía mantener una alta recuperación a escala sin concesiones significativas en latencia, lo que es riesgoso en entornos clínicos.
Cumplimiento y operacionesRequería cumplimiento de HIPAA e ingesta estable sin interrupciones por reconstrucción de índices, ambos aspectos que el sistema anterior tenía dificultades para admitir.

Por qué Zilliz Cloud

Tras evaluar alternativas, OpenEvidence eligió Zilliz Cloud - el servicio de base de datos vectorial totalmente gestionado creado sobre Milvus. Cinco factores impulsaron la decisión:

  1. Escalable horizontalmente para cargas de trabajo de alto QPS: Zilliz Cloud gestiona la carga de trabajo de misión crítica de OpenEvidence a 4,000 QPS, atendiendo a más de 800,000 médicos verificados en más de 10,000 hospitales.
  2. Latencia ultrabaja: Las pruebas comparativas directas mostraron que Zilliz Cloud puede servir 4,000 QPS con una latencia de 10ms @P50 y 50ms @P99, ofreciendo un rendimiento significativamente mejor que su base de datos vectorial actual.
  3. Calidad de búsqueda a escala: Zilliz Cloud mantiene una alta precisión de recuperación sin sacrificar velocidad. OpenEvidence se esfuerza por ofrecer una recuperación clínicamente confiable donde una coincidencia de evidencia omitida no es solo un fallo del producto, sino un riesgo para la seguridad del paciente. Con cuantización sofisticada y una estrategia refinada, Zilliz Cloud logra un 99% de recuperación con un índice agresivamente comprimido para atender cargas de trabajo de alto QPS y baja latencia, a diferencia de competidores que sacrifican precisión por velocidad.
  4. Preparado para HIPAA desde el primer momento: Zilliz Cloud está preparado para HIPAA. Usando GCP Private Service Connect, OpenEvidence estableció una ruta de datos completamente privada hacia Zilliz Cloud y mantuvo el cumplimiento de HIPAA.
  5. Operaciones totalmente gestionadas y experiencia para desarrolladores inigualable: El escalado de infraestructura, la alta disponibilidad y el mantenimiento son gestionados completamente por Zilliz Cloud. Un equipo de guardia 24/7 garantiza la fiabilidad de producción las 24 horas. En el plan Business Critical, OpenEvidence recibe soporte de ingeniería dedicado para optimización del rendimiento, diseño de esquemas y mejores prácticas de producción.

Resultados y beneficios

Latencia inferior a 10 ms con más del 99 % de recuperación

Zilliz Cloud ofrece de forma constante una latencia inferior a 10 ms con más del 99 % de recuperación. Cada consulta de usuario activa múltiples búsquedas vectoriales, pero las respuestas regresan lo suficientemente rápido como para que la latencia no sea visible para los médicos clínicos.

Escala a cargas de trabajo clínicas de producción

El sistema admite aproximadamente 4,000 QPS y presta servicio a más de 800,000 médicos clínicos. Este nivel de escala es necesario para gestionar millones de consultas al mes sin degradación.

Implementación compatible con HIPAA

Mediante GCP Private Service Connect, OpenEvidence mantiene una ruta de datos completamente privada entre las capas de aplicación y base de datos, cumpliendo con los requisitos de HIPAA para datos médicos sensibles.

Reducción de la carga operativa

Con Zilliz Cloud gestionando por completo el escalado, la disponibilidad y el mantenimiento, el equipo de ingeniería puede centrarse en el desarrollo del producto en lugar de en la infraestructura.

Recursos relacionados