BentoML
Choose models hosted on BentoML to generate vector embedding that you can store and retrieve from Zilliz Cloud
Utilize esta integração gratuitamenteO que é o BentoML
O BentoML é uma plataforma de inferência de IA de código aberto para servir e implementar modelos de aprendizagem automática. Foi concebida para colmatar a lacuna entre a ciência de dados e o DevOps, facilitando a implementação de modelos de aprendizagem automática em ambientes de produção.
Principais caraterísticas Empacotamento de modelos: O BentoML permite-lhe empacotar modelos de aprendizagem automática, as suas dependências e a lógica de inferência em unidades padronizadas chamadas "Bentos". Servir: Fornece um servidor API de alto desempenho para servir os seus modelos, suportando vários protocolos, incluindo HTTP, gRPC e CLI. Implementação: O BentoML oferece ferramentas para implementar modelos em diferentes ambientes, incluindo contentores Docker, Kubernetes e plataformas cloud. Adaptabilidade: Suporta várias estruturas de ML, como sci-kit-learn, PyTorch, TensorFlow, entre outras. Escalabilidade: O BentoML foi concebido para lidar com cenários de fornecimento de modelos de alto rendimento e pode ser dimensionado para satisfazer a procura. Monitorização: Inclui funcionalidades para monitorizar o desempenho do modelo e a saúde do sistema em produção.
Casos de utilização Simplificar a transição do desenvolvimento de modelos para a implementação em produção Normalização do serviço de modelos em diferentes estruturas de ML Permitir a fácil integração de modelos de ML em sistemas de software existentes Facilitar o versionamento de modelos e testes A/B em ambientes de produção
O BentoML é particularmente útil para cientistas de dados e engenheiros de ML que pretendem simplificar o seu processo de implementação de modelos e garantir a consistência entre os ambientes de desenvolvimento e produção.
Como funciona o BentoML com o Zilliz Cloud
O BentoML tem um serviço gerido chamado BentoCloud. Fornece uma variedade de modelos de IA de código aberto de última geração, como o Llama 3, Stable Diffusion, CLIP e [Sentence Transformers] (https://zilliz.com/learn/transforming-text-the-rise-of-sentence-transformers-in-nlp). Estes modelos são pré-construídos e podem ser implementados com um simples clique na plataforma de inferência. Pode utilizar o BentoCloud para ajudar a encontrar um modelo que converta os seus dados não estruturados em vectores de incorporação que pode depois armazenar e recuperar no Zilliz Cloud. Em alternativa, pode auto-hospedar o mesmo serviço de incorporação com a versão comunitária.
Porquê utilizar o BentoML com o Zilliz Cloud?
- Facilidade de uso*: Modelos pré-construídos como Llama 3, Stable Diffusion, CLIP e Sentence Transformers podem ser implementados com um único clique, reduzindo significativamente a complexidade e o tempo envolvidos na implementação de modelos.
- Acesso a modelos de última geração*: Os utilizadores obtêm acesso imediato a modelos de IA de ponta sem terem de os treinar ou afinar de raiz.
- Gestão reduzida da infraestrutura*: O aspeto de serviço gerido significa menos tempo gasto na configuração e manutenção da infraestrutura, permitindo que as equipas se concentrem mais nas suas principais aplicações de IA.
- Flexibilidade*: A opção de auto-hospedar o mesmo serviço de incorporação com a versão comunitária oferece flexibilidade para organizações com requisitos ou restrições de hospedagem específicos.
- Integração com bancos de dados vetoriais*: A capacidade de converter facilmente dados não estruturados em embeddings vectoriais que podem ser armazenados no Zilliz Cloud simplifica o processo de criação de bases de dados vectoriais pesquisáveis.
- Padronização*: A utilização de uma plataforma como o BentoCloud pode ajudar a normalizar os processos de implementação de modelos numa organização.
Aprender
A melhor maneira de começar é com um tutorial prático. Este [tutorial] (https://milvus.io/docs/integrate_with_bentoml.md) irá guiá-lo através da construção de uma solução de recuperação Augmented Generation com BentoML e Zilliz Cloud
E aqui estão mais alguns recursos