BentoML
Choose models hosted on BentoML to generate vector embedding that you can store and retrieve from Zilliz Cloud
Utilice esta integración de forma gratuitaQué es BentoML
BentoML es una plataforma de inferencia de IA de código abierto para servir y desplegar modelos de aprendizaje automático. Está diseñada para salvar la brecha entre la ciencia de datos y DevOps, facilitando el despliegue de modelos de aprendizaje automático en entornos de producción.
Características principales Empaquetado de modelos: BentoML le permite empaquetar modelos de aprendizaje automático, sus dependencias y lógica de inferencia en unidades estandarizadas llamadas "Bentos". Servicio: Proporciona un servidor API de alto rendimiento para servir sus modelos, compatible con varios protocolos, incluidos HTTP, gRPC y CLI. Despliegue: BentoML ofrece herramientas para desplegar modelos en diferentes entornos, incluidos contenedores Docker, Kubernetes y plataformas en la nube. Adaptabilidad: Es compatible con múltiples marcos de ML como sci-kit-learn, PyTorch, TensorFlow y más. Escalabilidad: BentoML está diseñado para manejar escenarios de servicio de modelos de alto rendimiento y puede escalar para satisfacer la demanda. Supervisión: Incluye funciones para supervisar el rendimiento de los modelos y el estado del sistema en producción.
Casos prácticos Simplificación de la transición del desarrollo de modelos al despliegue en producción Estandarización del servicio de modelos en diferentes marcos de ML Facilitar la integración de los modelos de ML en los sistemas de software existentes Facilitar el versionado de modelos y las pruebas A/B en entornos de producción
BentoML es especialmente útil para científicos de datos e ingenieros de ML que deseen agilizar su proceso de despliegue de modelos y garantizar la coherencia entre los entornos de desarrollo y producción.
Cómo funciona BentoML con Zilliz Cloud
BentoML cuenta con un servicio gestionado llamado BentoCloud. Proporciona una variedad de modelos de IA de código abierto de última generación, como Llama 3, Stable Diffusion, CLIP y Sentence Transformers. Estos modelos están prediseñados y pueden desplegarse con un solo clic en la plataforma de inferencia. Puede utilizar BentoCloud para que le ayude a encontrar un modelo que convierta sus datos no estructurados en incrustaciones vectoriales que luego podrá almacenar y recuperar en Zilliz Cloud. También puedes alojar tú mismo el mismo servicio de incrustación con la versión comunitaria.
¿Por qué utilizar BentoML con Zilliz Cloud?
- Facilidad de uso: Los modelos preconstruidos como Llama 3, Stable Diffusion, CLIP y Sentence Transformers pueden desplegarse con un solo clic, lo que reduce significativamente la complejidad y el tiempo que conlleva el despliegue de modelos.
- Acceso a modelos de última generación*: Los usuarios obtienen acceso inmediato a modelos de IA de última generación sin necesidad de entrenarlos o ponerlos a punto desde cero.
- Reducción de la gestión de infraestructuras*: El aspecto de servicio gestionado implica menos tiempo dedicado a la configuración y el mantenimiento de la infraestructura, lo que permite a los equipos centrarse más en sus aplicaciones principales de IA.
- Flexibilidad: La opción de autoalojar el mismo servicio de incrustación con la versión comunitaria proporciona flexibilidad a las organizaciones con requisitos o limitaciones de alojamiento específicos.
- Integración con bases de datos vectoriales*: La capacidad de convertir fácilmente datos no estructurados en incrustaciones vectoriales que se pueden almacenar en Zilliz Cloud agiliza el proceso de creación de bases de datos vectoriales con capacidad de búsqueda.
- Estandarización: El uso de una plataforma como BentoCloud puede ayudar a estandarizar los procesos de despliegue de modelos en toda una organización.
Aprenda
La mejor manera de empezar es con un tutorial práctico. Este tutorial le guiará a través de cómo construir una solución de generación aumentada de recuperación con BentoML y Zilliz Cloud.
Y aquí tienes algunos recursos más