トレーニング
オープンソースのMilvus、LlamaIndex、vLLMを使用したマルチモーダルRAGシステムのデプロイ
Zillizウェビナー | Zoom
Join the Webinar
Loading...
このウェビナーについて:
テキストベースのRAGシステムはこの1年半で至るところに広まりましたが、テキストデータ以外にも非常に多くのデータがあります。画像、音声、ドキュメントは、有意義な洞察を提供するためにまとめて処理する必要があることが多い一方で、ほとんどのRAG実装はテキストのみに焦点を当てています。製造ログと生産ラインの画像を理解する自動外観検査システムや、センサーデータと視覚的フィードバックを関連付けるロボティクスシステムを考えてみてください。こうしたマルチモーダルなシナリオでは、テキストのみの処理を超えるRAGシステムが求められます。
この講演では、この問題の解決に役立つマルチモーダルRAGシステムの構築方法を順を追って説明します。そのようなシステムを実行可能にするアーキテクチャを探り、Milvus、LlamaIndex、vLLMを使用して、オープンソースLLMを自社インフラ上にデプロイする方法を実演します。
ライブデモを通じて、画像とテキストクエリの両方を処理する実世界のアプリケーションを紹介します。APIコストの削減、データプライバシーの維持、AIインフラに対するより大きな制御の獲得のいずれを目指している場合でも、このセッションでは、組織でマルチモーダルRAGを実装するための実践的な洞察を提供します。
扱うトピック:
- vLLMとLLMのセルフホスティング
- マルチモーダルRAGデモ: 画像とテキストクエリの両方を処理する実世界のアプリケーション
Meet the Speaker
Join the session for live Q&A with the speaker
Stephen Batifol
Developer Advocate
Stephen Batifol is a Developer Advocate at Zilliz. He previously worked as a Machine Learning Engineer at Wolt, where he was working on the ML Platform and as a Data Scientist at Brevo. Stephen studied Computer Science and Artificial Intelligence. He enjoys dancing and surfing.