BentoML
Choose models hosted on BentoML to generate vector embedding that you can store and retrieve from Zilliz Cloud
Utilizzate questa integrazione gratuitamenteChe cos'è BentoML
BentoML è una piattaforma di inferenza AI open-source per il servizio e la distribuzione di modelli di apprendimento automatico. È stata progettata per colmare il divario tra scienza dei dati e DevOps, rendendo più semplice la distribuzione dei modelli di apprendimento automatico negli ambienti di produzione.
Caratteristiche principali Imballaggio dei modelli: BentoML consente di impacchettare i modelli di apprendimento automatico, le loro dipendenze e la logica di inferenza in unità standardizzate chiamate "Bentos". Servizio: Fornisce un server API ad alte prestazioni per servire i modelli, supportando vari protocolli, tra cui HTTP, gRPC e CLI. Distribuzione: BentoML offre strumenti per distribuire i modelli in diversi ambienti, tra cui container Docker, Kubernetes e piattaforme cloud. Adattabilità: Supporta diversi framework di ML come sci-kit-learn, PyTorch, TensorFlow e altri. Scalabilità: BentoML è progettato per gestire scenari di servizio di modelli ad alto rendimento e può scalare per soddisfare la domanda. Monitoraggio: Include funzioni per il monitoraggio delle prestazioni dei modelli e della salute del sistema in produzione.
Casi d'uso Semplificare la transizione dallo sviluppo del modello alla distribuzione in produzione Standardizzazione del servizio dei modelli tra diversi framework di ML Consentire una facile integrazione dei modelli di ML nei sistemi software esistenti. Facilitare il versioning dei modelli e i test A/B negli ambienti di produzione.
BentoML è particolarmente utile per i data scientist e gli ingegneri di ML che desiderano semplificare il processo di distribuzione dei modelli e garantire la coerenza tra gli ambienti di sviluppo e di produzione.
Come funziona BentoML con Zilliz Cloud
BentoML ha un servizio gestito chiamato BentoCloud. Fornisce una serie di modelli di intelligenza artificiale open-source all'avanguardia, come Llama 3, Stable Diffusion, CLIP e Sentence Transformers. Questi modelli sono precostituiti e possono essere distribuiti con un solo clic sulla piattaforma di inferenza. È possibile utilizzare BentoCloud per trovare un modello che converta i dati non strutturati in embedding vettoriali da archiviare e recuperare in Zilliz Cloud. In alternativa, è possibile ospitare autonomamente lo stesso servizio di embedding con la versione comunitaria.
Perché utilizzare BentoML con Zilliz Cloud?
- Facilità d'uso*: Modelli precostituiti come Llama 3, Stable Diffusion, CLIP e Sentence Transformers possono essere distribuiti con un solo clic, riducendo in modo significativo la complessità e il tempo necessari per la distribuzione dei modelli.
- Accesso a modelli all'avanguardia*: Gli utenti hanno accesso immediato a modelli di intelligenza artificiale all'avanguardia senza doverli addestrare o mettere a punto da zero.
- Riduzione della gestione dell'infrastruttura*: L'aspetto del servizio gestito comporta una riduzione del tempo dedicato alla configurazione e alla manutenzione dell'infrastruttura, consentendo ai team di concentrarsi maggiormente sulle applicazioni AI principali.
- Flessibilità*: L'opzione di auto-ospitare lo stesso servizio di embedding con la versione comunitaria offre flessibilità alle organizzazioni con requisiti o vincoli di hosting specifici.
- Integrazione con i database vettoriali*: La possibilità di convertire facilmente i dati non strutturati in embedding vettoriali che possono essere archiviati in Zilliz Cloud semplifica il processo di creazione di database vettoriali ricercabili.
- Standardizzazione*: L'uso di una piattaforma come BentoCloud può aiutare a standardizzare i processi di distribuzione dei modelli in tutta l'organizzazione.
Imparare
Il modo migliore per iniziare è un'esercitazione pratica. Questo tutorial vi guiderà attraverso la costruzione di una soluzione di generazione aumentata del reperimento con BentoML e Zilliz Cloud.
Ed ecco altre risorse