LLMの前進：ネイティブ、アドバンス、モジュラーRAGアプローチの探求
何年も前に書かれた教科書に頼って、今日の差し迫った疑問に答えることを想像してみてほしい。確立された概念や歴史的な出来事を説明することはできても、最近の発展に関する正確な情報を提供することは難しいだろう。この課題は、すぐに古くなる静的な学習データに依存する大規模言語モデル（LLM）の限界と類似している。論文Retrieval-Augmented Generation for Large Language Models: A Surveyで検討されたRetrieval-Augmented Generation (RAG)は、外部の知識ソースを生成プロセスに統合することで、これらの限界に対処します。
ニューラル・ネットワークのパラメータにエンコードされた知識のみに依存する従来のLLMとは異なり、RAGシステムは、応答を強化するために関連情報を動的に取得する。この機能により、RAGは、法律研究、医療診断、リアルタイムの技術サポートなど、知識集約的なタスクに有用である。
本稿では、RAGの主要な構成要素、その進化、技術的実装、ベクトルデータベースとの統合、評価方法、および実世界への応用の可能性を探る。
RAG のアーキテクチャとプロセス
RAG（検索拡張生成）は、応答生成中に外部の知識を検索して取り込むことで、LLMの能力を向上させるプロセスを導入している。このプロセスは、下図に示すように、索引付け、検索、生成の3つの主要な段階に分けることができる：
図：質問応答へのRAGプロセスの代表例](https://assets.zilliz.com/Figure_Representative_instance_of_the_RAG_process_applied_to_question_answering_0af2ceaab4.png)
図：RAGプロセスを質問回答に適用した代表的な例_。
RAGの各主要段階で何が起こっているのかを探ってみよう。
RAGの主な段階
1.索引付け段階：ドキュメントは管理可能なチャンクにセグメント化され、その意味的な意味をとらえた数値ベクトルにエンコードされる。これらのベクトルは、効率的な類似検索のために最適化されたMilvusのようなベクトルデータベースに格納される。
2.検索フェーズ：システムはユーザーのクエリを、データの数値表現であるベクトルに変換し、ベクトルデータベース内で意味的に類似したチャンクを検索することで処理する。これにより、正確な単語が異なる場合でも、最も関連性の高い情報が確実に検索される。
3.生成段階：検索された情報は、文脈を考慮した改良されたクエリを形成するためにクエリと組み合わされ、LLMは首尾一貫した文脈的に正確な応答を生成する。この統合は誤りを減らし、出力の事実上の信頼性を向上させる。
これらの段階を組み込むことで、RAGシステムはLLMが、最近の出来事や専門的な領域に関する質問に答えるなど、従来のモデルが苦手としていた複雑で知識集約的なタスクを処理することを可能にする。これらの段階を理解することは、RAGシステムが様々なパラダイムを通してどのように進化してきたかを探るための基礎となる。
3つのパラダイムによるRAGの進化
RAGの開発は3つのパラダイムを経て進展してきた。それぞれのパラダイムは、以前の進歩をベースにしながら、特定の課題に対処してきた：**ナイーブRAG、アドバンスドRAG、モジュラーRAGです。
図：ナイーブRAG vs アドバンスドRAG vs モジュラーRAG](https://assets.zilliz.com/Figure_Naive_RAG_vs_Advanced_RAG_vs_Modular_RAG_95b4e63ebb.png)
図： ナイーブRAGとアドバンスドRAGとモジュラーRAG__の比較
ナイーブRAG：基礎的な始まり
Naive RAGは、文書検索と言語モデル生成を組み合わせることで、検索支援システムの基礎を確立した。このパラダイムは単純なパイプラインに従っている：文書がインデックス化され、チャンクにセグメント化され、関連するチャンクがベクトルデータベース内の類似性スコアに基づいて検索され、検索された情報がLLMのためのユーザークエリと合成され、答えが生成される。このアプローチはRetrieve-Readフレームワークの基礎となるもので、当時は画期的であったが、いくつかの限界があった。
ナイーブRAGにおける重要な課題は、検索の精度にある。システムはしばしば無関係なチャンクを検索したり、重要なコンテキストを捕捉できなかったりする。さらに、生成段階では、hallucinationsに悩まされることがある。これは、検索されたコンテンツによってサポートされていない情報をモデルが捏造することである。さらに、検索された文書に冗長性があると、応答の関連性が薄れる可能性がある。これらの問題にもかかわらず、Naive RAGは、検索と生成を組み合わせることの利点を示すことによって、より高度なパラダイムの基礎を築いた。
アドバンストRAG：ギャップを埋める
Advanced RAGは、検索前と検索後の両方の段階で最適化を導入することにより、Naive RAGのいくつかの制限に対処している。検索前段階では、検索精度を向上させるために、クエリの拡張や書き換えなどのクエリ最適化技術が使用される。例えば、"量子コンピューティングの最新動向は？"のようなユーザクエリは、関連する技術用語や同義語を含むように拡張され、検索がより広範な関連文書を捕捉することを保証する。
検索後の段階では、Advanced RAGは再ランク付けアルゴリズムを組み込んで、検索された文書の集合を改良する。これらのアルゴリズムは、各チャンクの意味的類似性、文書の権威、関連性を評価し、最も有用な情報に優先順位をつける。例えば、医学的なクエリに答える場合、システムは査読のある最近の研究を、古いものや権威の低い情報源よりも上位にランク付けすることがある。この洗練プロセスは、検索されたコンテキストの質を大幅に向上させ、生成フェーズでより正確で首尾一貫した応答を生成することを可能にする。
高度なRAGはまた、検索されたコンテンツをより高度に統合することによっても利益を得ることができる。検索と生成の関係を戦略的に管理することで、幻覚の可能性を減らし、生成された回答が検索された証拠にしっかりと基づいていることを保証します。
モジュール型RAG：柔軟で適応性のあるフレームワーク
最新の進化であるモジュール型RAGは、幅広いタスクとコンテキストを扱うように設計された柔軟なフレームワークを導入している。前任者の固定的なパイプラインアプローチとは異なり、Modular RAGはクエリの要求に基づいて動的に再構成できる特殊なモジュールを採用している。これらのモジュールには以下が含まれる：
検索モジュールナレッジグラフ、構造化データベース、従来の検索エンジンなどの多様なデータソースに検索機能を拡張します。例えば、企業の財務情報を照会する場合、システムは財務諸表、規制当局の提出書類、ニュース記事からデータを取得することができる。
メモリー・モジュール**：マルチターンのインタラクションを通じて、文脈的知識のプールを保持し、管理します。このモジュールは、システムが以前のクエリを基に構築し、インタラクション全体で一貫したコンテキストを維持することを保証します。
ルーティング・モジュール意思決定レイヤーとして機能し、クエリが検索、要約、またはアプローチの組み合わせを必要とするかどうかを動的に決定する。
Fusionモジュール:** Fusionモジュールは、マルチクエリ技術を採用することで、従来の検索ストラテジーの限界に対処する。並列ベクトル検索とインテリジェントな再ランク付けを使用して、ユーザーのクエリを多様な視点に拡張し、より広範な知識を発見します。例えば、気候変動に関するクエリでは、科学的研究、政策議論、実社会への影響を網羅する文書を検索し、それらを統合して統一的な回答を得ることができる。
Predictモジュール:**検索結果の冗長性とノイズを減らすために設計されたPredictモジュールは、LLMを使って直接コンテキストを生成する。これにより、関連情報のみが回答に含まれるようになり、検索プロセスが効率化され、生成される回答の全体的な品質が向上します。
Demonstrateモジュール： **Demonstrateモジュールは、例やステップバイステップの説明を取り入れることで、回答を洗練させる上で重要な役割を果たします。これは、ユーザーがプロセスやコンセプトの詳細なデモンストレーションから恩恵を受ける、教育または技術サポートの状況で特に価値があります。
Modular RAGの重要な革新の一つは、高度な検索補強テクニックのサポートである。これには反復検索、再帰検索、適応検索が含まれる。
図：高度な検索補強プロセスの種類：反復検索、再帰検索、適応検索](https://assets.zilliz.com/Figure_Types_of_advanced_retrieval_augmentation_processes_Iterative_recursive_and_adaptive_retrieval_4168810813.png)
図：高度な検索補強プロセスの種類：反復的検索、再帰的検索、適応的検索。
反復検索：反復検索：検索と生成のラウンドを複数回行うことができ、反復するたびにコンテキストを絞り込むことができる。例えば、気候変動の影響に関する複雑なクエリは、一般的な概要から始まり、特定の地域や緩和策に対処する、より的を絞った検索が続くかもしれない。
再帰的検索**：これは、多面的なクエリをより小さく、管理しやすい構成要素に分解します。歴史的出来事の経済的影響に関する質問に答える場合、システムはまず出来事そのものに関する情報を検索し、次にその経済的影響に焦点を当てた検索を行う。
適応検索**：検索プロセスの動的制御を導入する。システムはクエリの複雑さと要件を評価し、いつ、どのように追加情報を検索するかを決定する。この柔軟性により、応答品質を維持しながら、計算リソースの効率的な利用が保証される。
このパラダイムのモジュール設計は、同じクエリ内で検索と要約を組み合わせたり、タスク要件に基づいて起動するコンポーネントを選択的に選択するなどのハイブリッドアプローチもサポートする。この適応性により、モジュラーRAGは複雑で知識集約的なアプリケーションに特に適している。
実装と技術的フレームワーク
RAGの実装には、実用的なシナリオにおける有効性と拡張性を保証する一連の技術的コンポーネントが含まれています。
ドキュメント処理と埋め込み
RAGの最初のステップは、文書を処理してベクトル表現にエンコードすることである。これらのベクトルはテキストの意味的な意味を捉え、効率的な検索のためにデータベースに格納される。最近のシステムでは、意味的な関係を捕捉するための密な埋め込みと、語彙的な精度を高めるための疎な埋め込みを組み合わせたハイブリッドアプローチを使うことが多い。
以下は文書処理パイプラインの例である：
```
class DocumentProcessor：
def __init__(self)：
self.chunker = SemanticChunker(
chunk_size=512、
overlap=50、
respect_boundaries=True
)
self.embedder = DualEmbedder(
dense_model='sentence-transformers/all-mpnet-base-v2'、
sparse_model='bm25'
)
def process_document(self, document)：
チャンク = self.chunker.split_document(document)
embeddings = self.embedder.encode_chunks(chunks)
return chunks, embeddings
```
この処理により、各文書はベクトルデータベースに格納できるベクトル形式にエンコードされ、効率的な検索が可能になる。意味的特徴と語彙的特徴の組み合わせは、文脈に関連した情報を理解し、検索するシステムの能力を向上させる。
検索と生成
検索段階では、近似最近傍(ANN)探索アルゴリズムを使用して、関連するチャンクを効率的に特定する。生成フェーズでは、言語モデルの応答を導くために、構造化されたプロンプトを使用して、検索されたコンテンツをクエリと組み合わせる。例えば
def create_generation_prompt(query, contexts)：
prompt = f""
質問です：{クエリ｝
取得した情報：
{format_contexts(コンテキスト)}。
回答:""
リターンプロンプト
この構造化された入力は、言語モデルが有益な応答を生成するために必要なすべてのコンテキストを持つことを保証します。
評価フレームワークと品質指標
RAGシステムの評価は、検索と生成の両方の要素を考慮した多次元的なアプローチを必要とする。包括的な評価フレームワークは、これらのシステムが正確な情報を提供するだけでなく、効率的で信頼できることを保証する。以下は、RAGシステムの評価に使用される中核的なメトリクスである：
1.コンテキストの関連性：このメトリクスは、検索された文書がユーザーのクエリとどの程度一致しているかを測定する。高い関連性は、システムが質問やタスクに直接該当する情報をうまく検索したことを示す。例えば、ユーザーが "再生可能エネルギーにおける最近の進歩は何か？"とクエリした場合、コンテキスト関連性は、無関係な環境トピックではなく、太陽光、風力、またはバッテリー技術における革新を特に取り上げた文書を確実に検索する。
2.回答の忠実度：生成された回答が、検索された内容を正確に反映しているかどうかを評価する。システムは、検索された情報を首尾一貫した回答に合成する際に、不正確な情報や裏付けのない主張を持ち込まないようにしなければならない。たとえば、検索された文書に、ソーラーパネルの効率は2024年に20%改善すると記載されている場合、生成される回答は、この改善をすべての再生可能エネルギー技術に一般化すべきではありません。
3.効率と待ち時間：これらの指標は、計算効率を維持しながら、迅速に回答を提供するシステムの能力を評価します。チャットボットやカスタマーサポートシステムなど、ユーザーと接するアプリケーションでは、低遅延が重要です。最新のRAGシステムは、最適化されたベクトル検索とハードウェアアクセラレーションに依存して、高速な検索と応答時間を実現しています。
4.スケーラビリティ：スケーラビリティとは、大規模なデータを扱う際にパフォーマンスを維持するシステムの能力を測るものである。これには、正確な検索と効率的なクエリ処理を保証しながら、何十億もの文書埋め込みを管理する能力が含まれる。
これらの指標に加えて、多様な次元にわたってRAGシステムを評価するための構造化された方法を提供する、特別な評価フレームワークがある：
検索生成ベンチマーク（RGB）：検索生成ベンチマーク（RGB）：検索生成ベンチマーク（RGB）：検索生成ベンチマーク（RGB）：RGB
Retrieval Generation Benchmark (RGB)は、RAGシステムの検索と生成の両方を評価する。このベンチマークでは、検索されたデータに曖昧さや矛盾が含まれている場合でも、システムが効果的に動作することを保証するノイズロバスト性を重視しています。また、否定的拒絶、つまり信頼できる情報が得られない場合にシステムが答えを生成しないようにする能力も測定する。その他の基準には、反事実的な頑健性や、検索された情報を首尾一貫した回答に統合することなどが含まれる。RGBは、コサイン類似度や正規化割引累積利得（NDCG）などのベンチマークを使用して、検索精度と出力品質を評価する。
RECALL (再出現率評価)：
RECALLは、生成された応答における検索された知識の忠実度に焦点を当てる。R-Rateメトリクスは、検索されたドキュメントから重要な情報が最終出力に正確に再表示される頻度を測定します。このフレームワークは、検索フェーズが生成プロセスを効果的にサポートしているかどうかを強調する。例えば、質問応答タスクでは、RECALLはRAGシステムが検索された文書からすべての関連点を生成された回答に正確に取り込むことを保証する。
創造的生成、頑健性、理解、およびドメイン固有タスク）***CRUD
CRUD フレームワークは、評価をより広範な能力に拡張する。CRUDは、システムが検索された情報から新しい洞察をいかに効果的に合成するかを評価することで、創造的な生成をテストします。頑健性は、ノイズの多いクエリや不完全なクエリなど、厳しい条件下でのシステムのパフォーマンスを測定します。理解力」は、システムが複雑なクエリを正確に解釈し、対応する能力を評価します。ドメイン固有のタスクは、法律調査や財務分析などの専門分野におけるシステムの有効性を評価し、多様な業界への適用性を確保します。
これらのメトリクスを体系的に評価することで、改善すべき領域を特定し、システム設計を改良し、RAGシステムが実世界のアプリケーションのニーズを満たすようにすることができます。しかし、これらの評価メトリクスの有効性は、ベクターデータベースがスピードと正確性を確保する上で重要な役割を果たす、基礎となる検索インフラストラクチャにかかっていることが多いことに留意してください。
RAG とベクトルデータベース：強力な相乗効果
ベクターデータベースは、LLMに必要な文脈情報の高次元埋め込み情報を格納・検索するために必要なインフラを提供し、RAGシステムの運用において重要な役割を果たしている。これらの埋め込みは、非構造化データの意味的・文脈的な意味を捉え、検索補強世代の有効性を支える正確な類似検索を可能にする。
Milvus**はオープンソースのベクトルデータベースであり、億単位のベクトルデータを超低遅延で扱うことができる。その機能はRAGシステムのニーズと密接に一致しており、RAGシステムを構築する開発者にとって理想的な選択肢となっている。
1.**スケーラビリティMilvusは何十億もの埋め込みデータを管理できるように設計されており、電子商取引の推薦システムやグローバルなカスタマーサポートネットワークのような企業規模のアプリケーションに適しています。
2.高度なインデックス作成：Milvusは、IVFやHNSWを含む10以上のインデックス作成手法をサポートしており、開発者はパフォーマンスやレイテンシの要件に基づいて最適な手法を選択することができます。
3.ハイブリッド検索**：密な埋め込みと疎な埋め込みを組み合わせることにより、Milvusは検索結果が意味的にも語彙的にも正確であることを保証し、システムの応答の全体的な関連性を向上させます。
4.シームレスな統合：Milvusは、LangChainやLlamaIndexのような一般的なフレームワークと簡単に統合でき、複雑なRAGパイプラインの開発を効率化します。
RAG システムの今後の方向性
検索拡張世代（RAG）技術の進化に伴い、いくつかの有望な研究の方向性が浮かび上がってきた。これらの進歩は、検索精度を向上させ、適応性を改善し、多様なアプリケーションのためのRAGシステムの範囲を拡大することを目指している。
高度な文脈適応型検索
将来のRAGシステムは、ユーザーの意図とクエリの複雑さに基づいて動的に調整する高度な検索戦略を採用する。これらのシステムは、リアルタイムで検索の深さと幅を絞り込むことで、複雑で多層的な質問に対する検索を最適化し、技術的なトラブルシューティングや規制遵守のような分野でより正確な結果を可能にする。
反復的フィードバック駆動システム
RAGシステムは、生成出力が後続の検索を導くことを可能にするフィードバックループを統合する。この反復的な改良は、特に多段階のクエリや曖昧なクエリの精度を向上させる。例えば、最初の返答に詳細が欠けている場合、システムは補足情報を検索するためにクエリを調整する。
時間的・文脈的検索
次世代のRAGシステムには、時間的推論が組み込まれ、時間の経過による変化を考慮した応答が可能になる。これは財務分析のようなアプリケーションに不可欠であり、四半期や年単位での傾向を理解することで、単一インスタンスのデータよりも包括的なビューを提供する。
クロスリンガルおよび文化的適応性
将来のRAGシステムは、意味的ニュアンスや文化的差異を反映するコンテキスト駆動型の埋め込みを使用することで、多言語や異文化間のクエリをより効果的に処理する。これらのシステムは、正確さと関連性を維持しながら、言語を超えた知識の検索や合成など、シームレスなグローバルアプリケーションを可能にする。
結論
[検索補強型生成(RAG)】(https://zilliz.com/learn/Retrieval-Augmented-Generation)は、大規模な言語モデルと検索システムの長所を組み合わせ、静的な知識や不正確さといった課題に対処する。検索を生成に統合することで、RAGシステムはより正確で文脈を考慮した出力を提供し、最新の知識や専門的な知識を必要とするアプリケーションに効果的である。
動的検索、フィードバック駆動型改良、クロスリンガル機能などの分野における今後の発展により、その機能はさらに強化されるだろう。効率的なベクトルデータベース統合をサポートするMilvusのようなツールにより、RAGシステムはヘルスケア、カスタマーサポート、教育などの様々な産業でますます実用的になってきている。
研究が進むにつれて、RAGシステムは、信頼性が高く、効率的で、文脈に敏感な知識を提供する能力を向上させ続け、実世界のシナリオでの幅広い利用を可能にするだろう。
参考資料
Milvus、LangChain、OpenAIを使った多言語RAGの作り方 - Zillizブログ](https://zilliz.com/blog/building-multilingual-rag-milvus-langchain-openai)
vLLMとMilvusによるマルチモーダルRAGシステムの展開 - Zillizブログ](https://zilliz.com/blog/deploy-multimodal-rag-using-vllm-and-milvus)
RAGの評価：知っておくべきすべてのこと - Zillizブログ](https://zilliz.com/blog/evaluating-rag-everything-you-should-know)
Milvusベクトルデータベースドキュメント](https://milvus.io/docs)
Denis KuriaDenis is a machine learning engineer who enjoys writing guides to help other developers. He has a bachelor's in computer science and loves hiking and exploring the world.
読み続けて
ColPali + Milvus: Redefining Document Retrieval with Vision-Language Models
When combined with Milvus's powerful vector search capabilities, ColPali becomes a practical solution for real-world document retrieval challenges.
Proactive Monitoring for Vector Database: Zilliz Cloud Integrates with Datadog
we're excited to announce Zilliz Cloud's integration with Datadog, enabling comprehensive monitoring and observability for your vector database deployments with your favorite monitoring tool.
GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense Retrieval
GPL is an unsupervised domain adaptation technique for dense retrieval models that combines a query generator with pseudo-labeling.