vLLM
Zilliz Cloud and vLLM enable efficient RAG systems with vector search and LLM inference.
この統合を無料で利用するvLLMについて
vLLMは、UC Berkeley SkyLabで開発された大規模言語モデル(LLM)の推論とサービングのためのオープンソースライブラリです。vLLMのPagedAttentionテクノロジーは、従来の手法と比較してGPUメモリ使用量を半分に削減しながら、LLMサービングのパフォーマンスを最大24倍向上させます。
なぜZilliz CloudとvLLMなのか？
Zilliz CloudとvLLMを組み合わせることで、高性能なRetrieval Augmented Generation (RAG)システムを構築するための強力なソリューションが誕生する。MilvusベクトルデータベースをベースとするZilliz Cloudは、RAGアプリケーションに不可欠な効率的なベクトルストレージと検索機能を提供します。vLLMは、最適化されたLLM推論とサービングを提供することで、これを補完します。
この統合により、開発者はZilliz Cloudに保存された大規模データセットから関連情報を効率的に取得し、vLLMの最適化されたLLMサービングを使用して高品質な応答を生成できるRAGシステムを構築できる。この組み合わせは、LLM応答を正確な取得情報に基づかせることで、AI幻覚のようなAIアプリケーションにおける一般的な課題に対処します。
ZillizクラウドとvLLMの仕組み
Zilliz Cloud](https://zilliz.com/cloud)とvLLMの統合は、RAGシステムにおいて両技術の長所を活用することで機能する。まず、テキストデータはZilliz Cloudにベクトル埋め込みとして埋め込まれ、保存される。ユーザからのクエリを受信すると、Zilliz Cloudは効率的なベクトル類似検索を実行し、知識ベースから最も関連性の高いテキストチャンクを検索する。
これらの検索されたテキストチャンクはvLLMに渡され、vLLMはそれらを使用してLLM（MetaのLlama 3.1など）のコンテキストを補強する。効率的なメモリ管理のためのPagedAttentionを含むvLLMの最適化されたサービングテクノロジーは、高速でリソース効率の高いLLM推論を可能にする。LLMは、ユーザーのクエリと取得したコンテキストの両方に基づいてレスポンスを生成し、より正確でコンテキストに関連した回答をもたらします。
学ぶ
チュートリアルから始めるのが一番です。このチュートリアルでは、vLLMとZilliz Cloudを使って大規模な言語モデル・アプリケーションを構築する方法を説明します。
チュートリアルMilvusとvLLMによるRAG検索の構築と実行
さらにいくつかのリソースがあります：
- ブログMilvus、vLLM、Llama 3.1によるRAGの構築
- vLLM GitHub Repository ](https://github.com/vllm-project/vllm and model page)
- ページングされた注意に関する2023 vLLM論文](https://arxiv.org/pdf/2309.06180)
- Ray Summit での 2023 vLLM プレゼンテーション](https://www.youtube.com/watch?v=80bIUggRJf4)
- vLLM blog: vLLM: PagedAttentionを使った簡単、高速、安価なLLM Serving](https://blog.vllm.ai/2023/06/20/vllm.html)
- vLLMサーバーの運用に役立つブログ：vLLM のデプロイ：ステップ・バイ・ステップ・ガイド
- The Llama 3 Herd of Models ](https://ai.meta.com/research/publications/the-llama-3-herd-of-models/)｜研究 - AI at Meta