学習
ミルバス入門

北極雪片とMilvus上のトランスフォーマーでRAGを作る

May 14, 20240 分で読めます

この記事では、スノーフレーク・アークティックとMilvusの統合について探った。

シリーズ全体を読む

Retrieval Augmented Generation（RAG）モデルは、大規模言語モデル（LLMの長所を情報検索と融合させた、極めて重要なイノベーションとして登場した。RAGアプリケーションは図1に示すような形式をとる。この記事では、Snowflake Arcticの埋め込みモデル、Hugging Face Transformersライブラリ、オープンソースの人気ベクトルデータベースであるMilvusを統合することで、RAGアプリケーションを構築する方法を説明します。

図1.標準的なRAGアプリケーションのフローチャート](https://assets.zilliz.com/Fig_1_Flowchart_of_a_standard_RAG_application_8773ed09c9.png)

SnowflakeのArctic-embed-lモデルは、様々なサイズプロファイルにおいて最適な検索品質を実現するために設計された、最先端のテキスト埋め込みツール群です。2024年4月16日にリリースされたこれらのモデルは、MTEB/BEIRリーダーボードで上位にランクされていることからもわかるように、検索性能の新しい基準を瞬く間に打ち立てました。超コンパクトな'xs'バリアントから拡張的な'l'モデルまで、Arctic-embedファミリーは、bert-base-uncasedのようなオープンソースのテキスト表現モデルの基盤の上に構築されている。これらのモデルは、x-smallの2,200万というコンパクトなものからlargeの3億3,500万という大規模なものまで、様々なパラメータに対応する柔軟なアーキテクチャで設計されており、様々な検索タスクにおけるスケーラビリティと精度を保証している。x-smallからlargeまでのサイズをラインナップしており、それぞれリソースに制約のある環境での高速検索から、データ集約的な環境での深く包括的な埋め込みといった特定のアプリケーションに最適化されている。さらに、Hugging Faceのようなプラットフォーム上での利用が可能なため、アクセスが広がり、コミュニティのコラボレーションが促進されます。これらのモデルは、これから簡単に紹介するように、Zilliz Cloudのような実世界のアプリケーションに最先端のエンベッディングソリューションを実装しようとしている開発者にとって、実用的な選択肢となっています。

Transformersライブラリは、機械学習のための最先端の事前学習済みモデルを利用するプロセスを合理化するように設計されたAPIとツールのスイートを提供する。このアクセシビリティは、時間を節約し、計算コストと環境への影響の両方を削減するだけでなく、モデルを一から構築する必要性を排除する。異なるモダリティにわたる様々なタスクをサポートするこのライブラリには、以下のものが含まれます：

自然言語処理](https://zilliz.com/learn/A-Beginner-Guide-to-Natural-Language-Processing) (NLP)：テキスト分類、質問応答、要約などのタスク。
コンピュータビジョン：画像分類や物体検出などの機能。
オーディオ：自動音声認識、音声分類など。
マルチモーダル：光学式文字認識やビデオ分類などの複雑なタスクをサポート。

さらに、Transformersは、PyTorch、TensorFlow、JAXのような主要なフレームワーク間の相互運用性を促進することで、柔軟性を促進します。この機能により、開発者はあるフレームワークでモデルを学習し、別のフレームワークでデプロイすることができるようになり、異なる開発段階間でのモデルの適応性が高まります。

Milvusは、Snowflake Arcticモデルによって生成されたような大規模な埋め込みを管理するために設計された、人気のあるオープンソースのベクトルデータベースです。Milvusは、ベクトルデータの格納、インデックス付け、検索に優れており、図2に示すように、リアルタイムアプリケーションに不可欠な効率的で高速な検索機能を実現しています。Milvusは、フラット、IVF、およびHNSWを含む複数のインデックス作成方法をサポートしており、クエリのパフォーマンスと数十億のベクトルを扱うスケーラビリティを最適化します。Milvusの堅牢なアーキテクチャは、高いスループットを保証し、水平スケーラビリティとハイブリッド検索機能を提供し、一般的な機械学習フレームワークとシームレスに統合します。このためMilvusは、アプリケーションで高度なベクトル検索を活用しようとする開発者にとって不可欠なツールとなり、検索タスクの精度と速度の両方を向上させます。

図2 Milvusベクトルデータベース](https://assets.zilliz.com/Fig_2_Milvus_vector_database_936f5b58ca.png)

(画像ソース: https://milvus.io/docs/overview.md)

Snowflake Arctic、Transformers、Milvusを使用してRAGアプリケーションを構築してみましょう。

このcolab notebookでは、Snowflake Arcticの埋め込みモデルと、Milvusを利用したZilliz Cloudを組み合わせて、ベクトル埋め込みを効果的に管理・利用する方法を探ります。我々は、Snowflake Arcticモデルを使用して、Kaggleから取得した書籍タイトルのデータセットを埋め込み、テキスト情報を高次元ベクトル空間に変換する。埋め込み後、これらのベクトルはZilliz Cloudに保存され、Milvusの堅牢なベクトルデータベース機能を活用して大規模な埋め込みを処理します。このセットアップにより、RAGアプリケーションにとって重要な要素である効率的なベクトル類似性検索が可能になる。類似検索を実行することで、ベクトルの近接性に基づいて最も関連性の高い書籍のタイトルを特定し、検索することができ、埋め込みベクトルが実世界のアプリケーションで高度な検索および検索タスクをどのように支援できるかを実証しています。図3のフローチャートは、Snowflake ArcticモデルとMilvusを使用したRAGパイプラインのセットアップとデプロイのガイドを示しています。

図3. コラボ・ノートブック実装のフローチャート](https://assets.zilliz.com/Fig_3_Flowchart_of_the_colab_notebook_implementation_394340eba0.png)

ユースケースとアプリケーション

Snowflake ArcticとMilvusをRAGシステムに統合することで、様々な業界における多数のアプリケーションを解放することができる。例えば、Forbesの記事によると、RAGテクノロジーは、情報検索の精度と関連性を高めることで、ヘルスケア、法律、カスタマーサポート、金融などの分野に革命をもたらしている。

ヘルスケアでは、RAGは最新の研究、患者の病歴、治療ガイドラインを素早く検索することによって医療専門家を支援し、それによってより多くの情報に基づいた意思決定を支援することができる。
法律専門家は、判例や法令への合理的なアクセスを得ることでRAGの恩恵を受け、法的研究や議論の効率を向上させることができます。
顧客サービスでは、RAGを搭載したチャットボットは、リアルタイムのデータに基づいてパーソナライズされた応答を提供し、顧客との対話と満足度を大幅に向上させることができます。
金融アナリストは、RAGを使用してライブの市場データと包括的なレポートを取得し、より迅速で正確な市場分析と投資戦略を実現しています。

これらのアプリケーションはそれぞれ、独自のインターネットベースの知識を活用し、様々な分野に特化したタイムリーなソリューションを提供するRAGの変革の可能性を示しています。

結論

本稿では、Snowflake ArcticとMilvusの統合について説明した。この統合は、高度なRAGアプリケーションの構築において大きな飛躍を意味します。この強力な組み合わせは、Snowflake Arcticの高性能エンベッディング機能とMilvusの堅牢なベクトル管理機能を活用し、ダイナミックで効率的なAIシステムを構築します。これらのシステムは、情報検索を強化することが可能であり、その結果、正確で文脈に関連した応答を提供することで、様々な業界におけるユーザー体験を豊かにします。

テクノロジーが進化し続けるにつれて、このセットアップのカスタマイズや適応の可能性は大きくなる。組織や開発者は、特定の、あるいはより複雑なニーズを満たすために、このフレームワークを実験し、適応させることが奨励される。モデルの精度を向上させるにせよ、より広範な検索のためにデータベースを拡張するにせよ、追加のAIツールを統合するにせよ、RAGアプリケーションの機能を革新し強化する機会は十分にある。この順応性の高い最先端技術を採用することで、ユーザーは当面の要件に対処できるだけでなく、各分野におけるAI開発の最前線に立つことができる。Milvus](https://discord.com/invite/8uyFbECzPX)のディスコードチャンネルに参加したり、他のオープンソースプラットフォームのディスカッションをフォローしたりして、最新の情報を入手してください。

リソース

Snowflake Launches Practical Text-Embedding Model for Retrieval use Cases](https://www.snowflake.com/blog/introducing-snowflake-arctic-embed-snowflakes-state-of-the-art-text-embedding-family-of-models/)
Snowflake Arctic: The Best LLM for Enterprise AI - 効率的なインテリジェンス、真のオープン](https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/)
MTEBリーダーボード - mtebによるハグ顔スペース](https://huggingface.co/spaces/mteb/leaderboard)
Snowflake/snowflake-arctic-embed-l - Hugging Face](https://huggingface.co/Snowflake/snowflake-arctic-embed-l)
Zillizクラウド、Milvus®上に構築されたマネージドベクターデータベース](https://zilliz.com/cloud)
インメモリインデックス Milvus ドキュメント](https://milvus.io/docs/index.md)
Milvusクラスタのスケール](https://milvus.io/docs/scaleout.md)
https://www.forbes.com/sites/forbesbusinesscouncil/2024/04/24/the-rag-effect-how-ai-is-becoming-more-relevant-and-accurate/?sh=320b173d1f94