BentoML
Choose models hosted on BentoML to generate vector embedding that you can store and retrieve from Zilliz Cloud
Используйте эту интеграцию бесплатноЧто такое BentoML
BentoML - это платформа AI Inference с открытым исходным кодом для обслуживания и развертывания моделей машинного обучения. Она призвана преодолеть разрыв между наукой о данных и DevOps, упрощая развертывание моделей машинного обучения в производственных средах.
Ключевые особенности Упаковка моделей: BentoML позволяет упаковывать модели машинного обучения, их зависимости и логику выводов в стандартизированные блоки, называемые "Bentos". Обслуживание: Предоставляет высокопроизводительный API-сервер для обслуживания ваших моделей, поддерживающий различные протоколы, включая HTTP, gRPC и CLI. Развертывание: BentoML предлагает инструменты для развертывания моделей в различных средах, включая контейнеры Docker, Kubernetes и облачные платформы. Адаптивность: Поддерживает множество ML-фреймворков, таких как sci-kit-learn, PyTorch, TensorFlow и другие. Масштабируемость: BentoML разработан для работы с высокопроизводительными сценариями обслуживания моделей и может масштабироваться в зависимости от спроса. Мониторинг: Включает в себя функции мониторинга производительности моделей и работоспособности системы в производстве.
Примеры использования Упрощение перехода от разработки модели к ее развертыванию на производстве Стандартизация обслуживания моделей в различных ML-фреймворках Обеспечение простой интеграции моделей ML в существующие программные системы Облегчение версионирования моделей и A/B-тестирования в производственных средах
BentoML особенно полезен для специалистов по исследованию данных и инженеров ML, которые хотят упростить процесс развертывания моделей и обеспечить согласованность между средами разработки и производства.
Как BentoML работает с Zilliz Cloud
У BentoML есть управляемый сервис BentoCloud. Он предоставляет множество современных моделей ИИ с открытым исходным кодом, таких как Llama 3, Stable Diffusion, CLIP и Sentence Transformers. Эти модели уже построены и могут быть развернуты одним щелчком мыши на платформе вывода. Вы можете использовать BentoCloud, чтобы найти модель для преобразования неструктурированных данных в векторные вкрапления, которые затем можно хранить и извлекать в Zilliz Cloud. В качестве альтернативы вы можете самостоятельно разместить тот же сервис встраивания, используя версию для сообщества.
Почему стоит использовать BentoML с Zilliz Cloud?
- Простота использования*: Такие готовые модели, как Llama 3, Stable Diffusion, CLIP и Sentence Transformers, можно развернуть одним щелчком мыши, что значительно сокращает сложность и время развертывания модели.
- Доступ к современным моделям: Пользователи получают немедленный доступ к передовым моделям ИИ без необходимости обучать или настраивать их с нуля.
- Уменьшение затрат на управление инфраструктурой: Аспект управляемых услуг означает сокращение времени на настройку и обслуживание инфраструктуры, что позволяет командам больше сосредоточиться на основных приложениях ИИ.
- Гибкость: Возможность самостоятельного размещения того же сервиса встраивания в версии для сообщества обеспечивает гибкость для организаций с особыми требованиями к хостингу или ограничениями.
- Интеграция с векторными базами данных: Возможность легко преобразовывать неструктурированные данные в векторные вкрапления, которые можно хранить в Zilliz Cloud, упрощает процесс создания векторных баз данных с возможностью поиска.
- Стандартизация: Использование такой платформы, как BentoCloud, помогает стандартизировать процессы развертывания моделей в организации.
Узнать
Лучше всего начать с практического руководства. В этом [учебном пособии] (https://milvus.io/docs/integrate_with_bentoml.md) вы узнаете, как создать решение для поиска с расширенным генерированием с помощью BentoML и Zilliz Cloud.
А вот еще несколько ресурсов