46.6kЗаказать демоВойтиНачать бесплатно

OpenEvidence усиливает медицинский ИИ с помощью Zilliz Cloud

OpenEvidence
  • < 10 мс

    Задержка поиска при высоком показателе полноты

  • 4 000 QPS

    Трафик векторного поиска при пиковой нагрузке

  • 800 000+

    Проверенные клиницисты получили качественные ответы

  • 25 млн+

    Консультации каждый месяц

“

We believe AI is becoming a meaningful support layer for physicians, but the experience has to feel trustworthy, reliable, and seamless. Building that kind of product requires a strong foundation behind the scenes. Zilliz Cloud has helped us create that foundation as we continue to grow and serve hundreds of thousands of clinicians.

Jagath Kumar

Head of Performance Engineering at OpenEvidence

Об OpenEvidence

OpenEvidence — это инструмент поддержки клинических решений на базе ИИ, которым пользуются более 800 000 проверенных клиницистов в более чем 10 000 больницах и системах здравоохранения. Платформа предоставляет ответы, основанные на доказательной базе, из ведущих медицинских источников, включая New England Journal of Medicine, JAMA, PubMed, FDA и CDC, именно в тот момент, когда они нужны врачу.

Только в марте 2026 года OpenEvidence поддержала 25 миллионов клинических консультаций, и это число продолжает быстро расти. Это примерно одна консультация каждые 0,103 секунды, круглосуточно. При таком масштабе уровень извлечения данных — это не просто инфраструктура. Это часть заботы о пациентах.

< 10 мс4 000 QPS800 000+25 млн+99%+
Задержка поиска при высокой полнотеТрафик векторного поиска при пиковой нагрузкеПроверенные клиницисты, получающие качественные ответыКонсультаций каждый месяцГарантированная полнота поиска

Задача

Как клиническая ИИ-платформа, OpenEvidence работает в условиях требований, которые выходят далеко за рамки типичного потребительского приложения. Система должна предоставлять точные ответы с низкой задержкой из разнородных медицинских корпусов, обрабатывать высокую параллельность во время пикового использования и обеспечивать строгое соответствие HIPAA при хранении и передаче конфиденциальных медицинских данных.

До Zilliz Cloud OpenEvidence использовала признанного лидера в области векторного поиска, но затем перешла на Zilliz Cloud, поскольку ее требования к масштабу, производительности и операционной гибкости возросли.

ЗадержкаЗадержка запросов не могла надежно соответствовать требованию менее 10 мс для продукта реального времени, ориентированного на врачей.
МасштабТрафик достигал тысяч QPS, и существующая система не могла масштабироваться без снижения производительности.
Качество поискаВысокую полноту невозможно было поддерживать в масштабе без значительных компромиссов по задержке, что рискованно в клинических условиях.
Соответствие требованиям и эксплуатацияТребовались соответствие HIPAA и стабильная загрузка данных без сбоев из-за перестроения индексов, с поддержкой чего предыдущая система испытывала трудности.

Почему Zilliz Cloud

После оценки альтернатив OpenEvidence выбрала Zilliz Cloud — полностью управляемый сервис векторной базы данных, построенный на Milvus. Решение было обусловлено пятью факторами:

  1. Горизонтально масштабируема для рабочих нагрузок с высоким QPS: Zilliz Cloud обрабатывает критически важную рабочую нагрузку OpenEvidence на уровне 4 000 QPS, обслуживая более 800 000 проверенных клиницистов в более чем 10 000 больницах.
  2. Сверхнизкая задержка: Прямое сравнительное тестирование показало, что Zilliz Cloud может обслуживать 4 000 QPS при задержке 10 мс @P50 и 50 мс @P99, обеспечивая значительно лучшую производительность, чем их текущая векторная база данных.
  3. Качество поиска в масштабе: Zilliz Cloud поддерживает высокую точность полноты без ущерба для скорости. OpenEvidence стремится обеспечивать клинически надежное извлечение данных, где пропущенное совпадение с доказательством — это не просто сбой продукта, а риск для безопасности пациента. Благодаря сложной квантизации и продуманной стратегии Zilliz Cloud достигает полноты 99% с агрессивно сжатым индексом для обслуживания рабочих нагрузок с высоким QPS и низкой задержкой, в отличие от конкурентов, которые жертвуют точностью ради скорости.
  4. Готовность к HIPAA из коробки: Zilliz Cloud готова к HIPAA. Используя GCP Private Service Connect, OpenEvidence создала полностью приватный путь передачи данных к Zilliz Cloud и обеспечила соответствие HIPAA.
  5. Полностью управляемая эксплуатация и непревзойденный опыт разработчика: Масштабирование инфраструктуры, высокая доступность и обслуживание полностью управляются Zilliz Cloud. Дежурная команда 24/7 обеспечивает надежность производства круглосуточно. На плане Business Critical OpenEvidence получает выделенную инженерную поддержку для настройки производительности, проектирования схем и лучших практик эксплуатации.

Результаты и преимущества

Задержка менее 10 мс при полноте 99%+

Zilliz Cloud стабильно обеспечивает задержку менее 10 мс при полноте 99%+. Каждый пользовательский запрос запускает несколько векторных поисков, однако ответы возвращаются достаточно быстро, так что задержка незаметна для клиницистов.

Масштабируется для производственных клинических нагрузок

Система поддерживает примерно 4 000 QPS и обслуживает более 800 000 клиницистов. Такой уровень масштабирования необходим для обработки миллионов консультаций в месяц без деградации.

Развертывание, соответствующее HIPAA

Используя GCP Private Service Connect, OpenEvidence поддерживает полностью приватный путь данных между уровнями приложения и базы данных, соблюдая требования HIPAA к чувствительным медицинским данным.

Снижение операционной нагрузки

Поскольку Zilliz Cloud полностью управляет масштабированием, доступностью и обслуживанием, инженерная команда может сосредоточиться на разработке продукта, а не на инфраструктуре.

Связанные ресурсы