BentoML
Choose models hosted on BentoML to generate vector embedding that you can store and retrieve from Zilliz Cloud
이 통합 기능을 무료로 사용하세요.BentoML이란?
BentoML은 머신 러닝 모델을 제공하고 배포하기 위한 오픈 소스 AI 추론 플랫폼입니다. 데이터 과학과 데브옵스 간의 격차를 해소하여 머신 러닝 모델을 프로덕션 환경에 더 쉽게 배포할 수 있도록 설계되었습니다.
주요 기능 모델 패키징: BentoML을 사용하면 머신 러닝 모델, 종속성, 추론 로직을 "벤토"라는 표준화된 단위로 패키징할 수 있습니다. 서빙: 모델을 서비스하기 위한 고성능 API 서버를 제공하며, HTTP, gRPC, CLI 등 다양한 프로토콜을 지원합니다. 배포: BentoML은 Docker 컨테이너, Kubernetes, 클라우드 플랫폼 등 다양한 환경에 모델을 배포할 수 있는 도구를 제공합니다. 적응성: sci-kit-learn, PyTorch, TensorFlow 등과 같은 여러 ML 프레임워크를 지원합니다. 확장성: BentoML은 처리량이 많은 모델 제공 시나리오를 처리하도록 설계되었으며 수요에 따라 확장할 수 있습니다. 모니터링: 프로덕션 환경에서 모델 성능 및 시스템 상태를 모니터링하는 기능이 포함되어 있습니다.
사용 사례 모델 개발에서 프로덕션 배포로의 전환 간소화 다양한 ML 프레임워크에서 모델 서비스 표준화 ML 모델을 기존 소프트웨어 시스템에 쉽게 통합할 수 있도록 지원 프로덕션 환경에서 모델 버전 관리 및 A/B 테스트 촉진
BentoML은 모델 배포 프로세스를 간소화하고 개발 환경과 프로덕션 환경 간의 일관성을 보장하려는 데이터 과학자 및 ML 엔지니어에게 특히 유용합니다.
BentoML과 질리즈 클라우드의 작동 방식
벤토ML은 벤토클라우드라는 매니지드 서비스를 제공합니다. Llama 3, Stable Diffusion, CLIP, Sentence Transformers 등 다양한 최신 오픈 소스 AI 모델을 제공합니다. 이러한 모델은 사전 구축되어 있으며 추론 플랫폼에서 클릭 한 번으로 배포할 수 있습니다. 벤토클라우드를 사용하여 비정형 데이터를 벡터 임베딩으로 변환하는 모델을 찾은 다음 Zilliz Cloud에 저장하고 검색할 수 있습니다. 또는 커뮤니티 버전으로 동일한 임베딩 서비스를 직접 호스팅할 수도 있습니다.
왜 질리즈 클라우드에서 BentoML을 사용해야 하나요?
- 사용 편의성: 한 번의 클릭으로 Llama 3, Stable Diffusion, CLIP, Sentence Transformers와 같은 사전 구축된 모델을 배포할 수 있어 모델 배포와 관련된 복잡성과 시간을 크게 줄일 수 있습니다.
- 최첨단 모델에 액세스: 사용자는 처음부터 모델을 학습하거나 미세 조정할 필요 없이 최첨단 AI 모델에 즉시 액세스할 수 있습니다.
- 인프라 관리 감소: 관리형 서비스 측면에서는 인프라 설정 및 유지 관리에 소요되는 시간이 줄어들어 팀이 핵심 AI 애플리케이션에 더 집중할 수 있습니다.
- 유연성: 커뮤니티 버전과 동일한 임베딩 서비스를 자체 호스팅하는 옵션은 특정 호스팅 요구 사항이나 제약이 있는 조직에 유연성을 제공합니다.
- 벡터 데이터베이스와의 통합*: 비정형 데이터를 벡터 임베딩으로 쉽게 변환하여 Zilliz Cloud에 저장할 수 있는 기능으로 검색 가능한 벡터 데이터베이스를 생성하는 프로세스를 간소화할 수 있습니다.
- 표준화: 벤토클라우드와 같은 플랫폼을 사용하면 조직 전체에서 모델 배포 프로세스를 표준화할 수 있습니다.
학습
가장 좋은 시작 방법은 실습 튜토리얼입니다. 이 튜토리얼에서는 BentoML과 Zilliz Cloud를 사용하여 검색 증강 생성 솔루션을 구축하는 방법을 안내합니다.
다음은 몇 가지 추가 리소스입니다.