BentoML

BentoMLは、機械学習モデルの提供とデプロイのためのオープンソースのAI推論プラットフォームです。データサイエンスとDevOpsのギャップを埋めるように設計されており、本番環境への機械学習モデルのデプロイを容易にします。

主な特徴 モデルのパッケージ化：BentoML では、機械学習モデル、その依存関係、推論ロジックを、"Bentos" と呼ばれる標準化されたユニットにパッケージ化できます。 サービング：HTTP、gRPC、CLI など、さまざまなプロトコルをサポートします。 デプロイメント：BentoML は、Docker コンテナ、Kubernetes、クラウドプラットフォームなど、さまざまな環境にモデルをデプロイするためのツールを提供します。 適応性：sci-kit-learn や PyTorch、TensorFlow など、複数の ML フレームワークをサポートしています。 スケーラビリティ：BentoML は、高スループットのモデル提供シナリオに対応するように設計されており、需要に応じて拡張できます。 モニタリング：BentoML には、実運用におけるモデルのパフォーマンスとシステムの健全性を監視する機能が含まれています。

使用例 モデル開発から実運用への移行の簡素化 異なるMLフレームワーク間でのモデルサービングの標準化 既存のソフトウェアシステムへのMLモデルの容易な統合を可能にする 本番環境でのモデルのバージョニングとA/Bテストの促進

BentoML は、モデルのデプロイプロセスを合理化し、開発環境と実運用環境間の一貫性を確保したいと考えるデータサイエンティストや ML エンジニアにとって、特に有用です。

BentoMLにはBentoCloudというマネージドサービスがある。Llama 3、Stable Diffusion、CLIP、Sentence Transformersなど、様々な最先端のオープンソースAIモデルを提供しています。これらのモデルはあらかじめ構築されており、推論プラットフォーム上でワンクリックするだけでデプロイできる。BentoCloud を使って、非構造化データをベクトル埋め込みに変換するモデルを見つけ、Zilliz Cloud に保存して取り出すことができます。また、コミュニティ版で同じ埋め込みサービスをセルフホストすることもできます。

• 使いやすさLlama 3、Stable Diffusion、CLIP、Sentence Transformersのような事前構築されたモデルは、ワンクリックでデプロイすることができ、モデルデプロイに伴う複雑さと時間を大幅に削減します。
• 最先端のモデル*へのアクセス：ユーザーは、ゼロからトレーニングや微調整を行うことなく、最先端のAIモデルにすぐにアクセスできます。
• インフラ管理の軽減*：マネージド・サービスのため、インフラストラクチャのセットアップやメンテナンスに費やす時間が短縮され、チームはコアとなるAIアプリケーションにより集中することができます。
• 柔軟性*：コミュニティ・バージョンと同じエンベッディング・サービスをセルフ・ホストするオプションは、特定のホスティング要件や制約がある組織に柔軟性を提供します。
• ベクターデータベースとの統合*：非構造化データをZilliz Cloudに保存可能なベクトル埋め込みデータに簡単に変換できるため、検索可能なベクトルデータベースの作成プロセスが効率化されます。
• 標準化*：BentoCloud のようなプラットフォームを使用することで、組織全体のモデル展開プロセスを標準化できます。

チュートリアルから始めるのが一番です。このチュートリアルでは、BentoMLとZilliz Cloudを使って検索拡張世代ソリューションを構築する方法を説明します。

さらにいくつかのリソースがあります。

• ブログ｜カスタムAIモデルでRAGを拡張する際のインフラの課題
• ビデオ｜BentoMLによるサービスとしてのRAG
• ブログ｜OpenAIなしのRAG：BentoML、OctoAI、Milvus