学習
AIと機械学習

マルチエージェントシステムの進化：初期のニューラルネットワークから現代の分散学習まで（方法論編）

Oct 14, 20240 分で読めます

この記事では、MASの進化を方法論やアプローチの観点から探っていく。

シリーズ全体を読む

これは2部構成の2番目の記事である。第一回目の記事はこちらhttps://zilliz.com/learn/evolution-of-multi-agent-systems-from-early-neural-networks-to-modern-distributed-learning-algorithmic-part-1。

前回の記事では、初期のニューラルネットワークからより高度なモデルへのマルチエージェントシステム(MAS)の進化について、アルゴリズムの観点から考察した。この記事では、方法論やアプローチに基づく観点からMASの進化を探ります。

具体的には、初期のMASがいかに集中型アプローチに大きく依存していたかを探り、そこでは複数のエージェントの学習プロセスが単一の集中型サーバ上で行われていた。次に、このパラダイムが、スケーラビリティの問題からデータ・プライバシーの懸念に至るまで様々な課題に対処する、より分散化されたアプローチへとどのようにシフトしてきたかを議論する。それでは早速、MASにおける中央集権的アプローチについて見ていこう。

MAS における中央集権

洗練されたマルチエージェントシステムを開発する上で、非定常性の問題もさることながら、スケーラビリティと運用プロセスの集中化が大きな課題となっている。

伝統的なマルチエージェントシステムでは、運用は中央集権的に行われることがほとんどであった。この中央集権化の背景にある重要な考え方は、エージェントを管理するサーバー、アルゴリズム、コーディネータなどの中央エンティティの存在である。この中央エンティティは通常、全エージェントの状態や環境など、システム全体に関するグローバルな情報にアクセスできる。また、エージェント間の調整を行い、エージェントが調和して動作するようにすることで、競合や非効率、冗長なタスクのリスクを低減します。

以下は集中型MASの例である：

1.**交通管理システムスマートシティのアプリケーションでは、集中制御システムが都市内のすべての交通信号を監督することがある。交通信号機（エージェント）は現在の状態を通信し、中央コントローラは都市全体の交通の流れを最適化する。

2.**倉庫ロボット集中型倉庫システムでは、サーバーが各ロボットに商品回収のようなタスクを割り当て、ロボットの動きを調整し、衝突や干渉がないようにする。

3.軍事用ドローン：*中央指令センターはドローンの艦隊を制御し、各ドローンに特定のターゲットや監視エリアを割り当て、ミッションの成功を最大化するためにその行動を調整するかもしれない。

図-分散型アクター、集中型評論家アーキテクチャによるマルチエージェントDDPGアルゴリズム](https://assets.zilliz.com/Figure_Multi_Agent_DDPG_Algorithm_with_decentralized_actor_centralized_critic_architecture_d82b2457a0.png)

図：分散型アクター、集中型批評家アーキテクチャを持つマルチエージェントDDPGアルゴリズム Source._.

集中操作プロセスを適用することにはいくつかの利点があります。主な利点は、中央のエンティティがすべての情報にアクセスできるため、意思決定が最適化されることです。また、エージェント間の調整を簡単かつシンプルに行うことができ、衝突の可能性を減らすことができる。エージェント自身にとっても、中央のエンティティに依存することは、複雑な意思決定能力を必要としないことを意味する。

しかしながら、中央集権的なオペレーションプロセスを使用する主な欠点は、スケーラビリティの問題である。エージェントの数が増えるにつれて、中央のエンティティがすべての情報を処理し、リアルタイムで意思決定を行うことが難しくなり、潜在的なボトルネックにつながる。

さらに、プライバシーの問題から中央エンティティーと共有できない独立したデータで複数のエージェントを同時に訓練したい場合、集中型操作の適用は非現実的になる。そこで、分散型アプローチの出番となる。

分散化の概念

分散化とは、政治学、経済学、コンピュータサイエンス、生物学など、さまざまな分野に由来する概念である。一般的には、権限や制御、意思決定を単一の中央機関に集中させるのではなく、複数の主体やノードに分散させることを指す。

例えば政治学では、多くの国が中央政府と地方政府に権力を分割する連邦制を採用している。この概念は生物学にも大いに関連しており、ある種の動物が分散型の行動をとることが観察されている。アリのような昆虫は分散型コロニーで行動し、単一の組織が集団全体を支配することはない。その代わりに、彼らは餌を見つけるために地域的な相互作用に頼っている。

分散化のコンセプトは、私たちの日常生活でも様々な形で効果を発揮している。このため、テクノロジーにおいても分散化が採用されており、最も有名な例はブロックチェーンと暗号通貨である。

ブロックチェーンの核となる考え方は、分散化の概念に由来する。ブロックチェーンの核となる考え方は、分散化の概念に由来しており、銀行や政府のような信頼できる中央当局を必要とせずに、参加者やノードが独自に取引を検証する分散型台帳を作成する。

ブロックチェーン技術による暗号取引のワークフロー.png](https://assets.zilliz.com/Figure_Crypto_transaction_workflow_with_blockchain_technology_8baf0ff5ca.png)

図：ブロックチェーン技術による暗号トランザクションのワークフロー Source._.

私たちがビットコインを他のユーザーに送信すると、このトランザクションはビットコインネットワークにブロードキャストされ、そこでブロックに含まれるのを待ちます。次に、マイナーと呼ばれる参加者のグループが私たちのトランザクションの有効性をチェックし、それをブロックに含め、そのブロックをブロックチェーンに追加するために暗号パズルを解くことを競う。ブロックが追加されると取引は確認され、不変のブロックチェーン台帳の一部となる。このアプローチの主な利点は、セキュリティ侵害や不正取引に関連するリスクを軽減できることだ。

ブロックチェーン技術における分散型コンセプトの実装の成功に続き、このコンセプトはAI、特にマルチエージェント設定においても適応されている。

現代のマルチエージェントシステムにおける分散化

マルチエージェントシステムの文脈では、分散化とは、すべてのエージェントの行動を管理・指導する中央エンティティーが存在しないことを意味する。分散化されたMASの各エージェントは、そのローカルな知識、環境、他のエージェントとの相互作用に基づいて、独自の意思決定を行う自律性を持っています。

分散型アプローチは、マルチエージェントのトレーニングでよく見られるスケーラビリティの問題を解決します。中央制御装置がないということは、ボトルネックがないということであり、システムにエージェントを増やしても、その複雑さが著しく増すことはない。また、システムは故障に対してより脆弱になる。1つのエージェントが故障しても、他のエージェントはシステム全体に影響を与えることなく動作を続けることができます。

しかし、中央組織がないからといって、エージェント同士が協力できないわけではない。例えば、エージェントは目標を共有することで他のエージェントと協調することができるが、これは中央の命令なしに分散した方法で行われる。この特別なコンセプトは、エッジAIと連合学習の台頭を初期化したものであり、この2つのコンセプトについては次のセクションで説明する。

エッジAIの概念

エッジAI](https://zilliz.com/glossary/edge-computing)について語るとき、私たちは通常、集中型のクラウドサーバーに依存するのではなく、スマートフォン、IoTデバイス、センサー、組み込みシステムなど、ネットワークに接続された小型デバイス上で機械学習モデルを直接実行するプラクティスを指す。

ご存知のように、学習済みの機械学習モデルを推論に使用したい場合、通常、APIにリクエストとデータを送信する必要がある。そして、モデルからの応答を一瞬で受け取る。しかし、分散化アプローチは、中央サーバーにAPI経由でリクエストとデータを送信することなく、エッジデバイス上でローカルに学習済み機械学習モデルを使用する可能性を開く。例えば、画像内の物体を検出するように訓練されたAIを小型カメラに直接組み込むことができ、リアルタイムでデバイス上での処理が可能になる。

図- クラウドAI（中央集権型）とエッジAI（分散型）の違い](https://assets.zilliz.com/Figure_The_difference_between_Cloud_AI_centralized_and_Edge_AI_decentralized_4f09fc58b6.png)

図：クラウドAI（中央集権型）とエッジAI（分散型）の違い Source ._。

このアプローチにはいくつかの利点がある。1つ目はレイテンシーに関するものだ。オンデバイス処理を可能にすることで、エッジAIは瞬時に判断を下すことができる。これは、自律走行や医療機器のように、遅延が重大な故障につながる可能性がある場合に特に重要である。

さらに、何百万台ものIoTデバイス（センサー、カメラ、電話）が稼働しているため、集中型のAIシステムを拡張することは非常にコストがかかり、複雑になる。AI処理をエッジ・デバイスに分散させることで、エッジAIシステムは、中央システムを圧倒することなく、デバイスが増えても容易に拡張できる。

当社のAIはデバイスに直接組み込まれているため、処理のために集中型サーバーやクラウドとローカルデータを共有する必要がないことも意味します。これは、データ漏洩や悪用のリスクを最小限に抑えるために極めて重要です。個人データ、健康記録、位置情報などの機密情報はデバイスから離れる必要がないため、プライバシーが大幅に強化され、GDPRなどの規制へのコンプライアンスも向上します。

フェデレーテッド・ラーニングのコンセプト

前のセクションでは、AIへの分散型アプローチが、特に第三者と共有したくない機密データについて、データ・プライバシーとコンプライアンスを強化するのに役立つという話をした。また、複数のエージェントが、中央のエンティティを介さずに、共有された目標を通じてどのようにコラボレーションできるのかについても簡単に説明した。

この2つの観点を組み合わせることで、フェデレーテッド・ラーニングが導入されることになる。一言で言えば、連合学習は、機械学習モデルをどのように訓練するかに焦点を当てている。このアプローチでは、学習プロセスは異なるデバイス間で共同で行われ、データは分散化されたままデバイス自体に保存される。

すべてのデータを中央のサーバーやクラウドに集めてトレーニングするのではなく、連合学習では、デバイスがローカルでデータを処理し、モデルの一部をトレーニングし、学習したパラメーターなどのモデルの更新だけを中央のサーバーと共有する。

以上が、連合学習によるモデルのトレーニングの完全なステップである：

1.サーバーまたはクラウドは、すべてのデバイスに最初のグローバルモデルを提供する。

2.各デバイスは、ローカルデータでこのモデルをトレーニングする。例えば、スマートフォンに保存されている画像データでモデルをトレーニングする。その後、各デバイスはモデルのパラメータに関するローカルアップデートを作成する。

3.デバイスは、データではなくローカルモデルの更新のみをサーバーに送り返す。

4.サーバーはこれらの更新を集約し、グローバルモデルを改善する。

5.更新されたグローバル・モデルは、さらなるローカル・トレーニングのために各デバイスに送り返され、このサイクルが特定の回数繰り返される。

図- Federated Machine Learningプロセスの1反復](https://assets.zilliz.com/Figure_One_iteration_of_the_Federated_Machine_Learning_process_d995848958.png)

図：Federated機械学習プロセスの1つの反復 Source._.

では、統合された学習は我々にどのようなメリットをもたらすのだろうか？生データがデバイスから離れることがないため、データのプライバシーが大幅に強化される。これは、ヘルスケア、金融、モバイル・アプリなど、個人データや機密データの保護が必要なセンシティブな分野で特に役立つ。

さらに、学習されたモデルは、デバイスのローカルデータで学習されているため、ユースケースにより適合します。例えば、スマートフォンに組み込まれたAIモデルは、ユーザー独自の入力パターンに基づいてテキスト予測モデルを調整することができ、同時にすべてのユーザーに利益をもたらすより広範なグローバル・モデルに貢献することができる。

分散型MASの応用と将来展望

今日のインテリジェントMASは、これまでのセクションで説明した分散型アプローチ、エッジAI、そして連合学習から大きな恩恵を受けている。ここでは、これらの技術が融合したアプリケーションの例をいくつか紹介する：

1.スマート・トランスポーテーションと自律走行車：自律走行車では、個々の車両は、障害物の検出や交通ルールに従うなど、環境に基づいて独自の意思決定を行うエージェントである。各車両は、クラウドサーバーに依存することなく、ローカルのセンサーデータを処理してリアルタイムの意思決定を行う。

2.スマートシティ：* スマートシティでは、信号機、エネルギーセンサー、公共交通車両などのインフラがエージェントとみなすことができる。これらのエージェントは独立して動作し、地域の状況に基づいて意思決定を行う。例えば、スマート信号機はリアルタイムの交通密度に基づいてそのタイミングを調整することができ、スマート・エネルギー・メーターは建物の電力使用量を調整することができる。

3.ヘルスケアシステム:ヘルスケアシステムにおいては、ウェアラブルデバイス、スマートモニタリングシステム、医療診断デバイスなどの医療機器がエージェントと考えることができる。この設定では、エージェントはリアルタイムで患者の健康を追跡したり、ローカルな患者データに基づいて医師に警告を発したりすることができる。

4.**製造業では、センサーや産業用ロボットなどのIoTデバイスをエージェントと考えることができる。これらのデバイスは、ローカルの生産データを分析することで、生産プロセスの最適化、作業負荷の管理、ダウンタイムの防止を行うために通信し、協力することができる。

5.**農業分野では、ドローン、灌漑システム、ロボットなど、さまざまなデバイスをエージェントとして考えることができる。複数の自律的エージェントが共同で農場のさまざまな部分を監視し、データを収集し、土壌の水分に基づいて灌漑を調整したり、害虫の発生場所を農薬で標的にしたりするなど、局所的な決定を下すことができる。

まだ黎明期ではあるが、MASにおける分散型アプローチの将来性は有望であり、特にスケーラブルでプライバシーが保護され、回復力のあるAIシステムに対する需要が高まり続けている。

このアプローチはまた、小規模な組織や新興企業、あるいは個人が最先端のモデルの開発に貢献できる、AIの民主化の可能性も秘めている。もちろん、これは、膨大なデータと計算能力へのアクセス権を持つ技術大手によってコントロールされている現在の中央集権的なAIシステムよりも望ましいだろう。

分散型MASのための埋め込み型ベクトル・データベース

オープンソースのMilvusのような組み込み型 ベクトルデータベースは、分散型マルチエージェントシステムやエッジAIにとって非常に有用である。ベクトルデータベースをエッジデバイスやローカルエージェントに直接組み込むことで、分散型AIシステムを強化することができる。これにより、デバイス上の機械学習モデルからの埋め込みのような高次元データ表現の効率的な保存と検索が可能になる。例えば、スマートシティのシナリオでは、埋め込まれたベクトル・データベースによって、交通管理エージェントは中央サーバーに行くことなく、複雑な交通パターンを素早く検索し、比較することができる。これにより、待ち時間が短縮され、リアルタイムの意思決定が改善され、データをローカルに保つことでエッジAIや連携学習のプライバシー保護の性質に適合する。さらに、分散型フレームワークの中で、各エージェントが独自の最適化されたデータベースを持ち、高速な情報処理や他のエージェントとのコラボレーションを行うことができるため、マルチエージェントシステムでも拡張性があります。

結論

本稿では、方法論の観点からマルチエージェントシステムの進化を探ってきた。集中型アプローチから分散型アプローチへの移行は、マルチエージェント学習プロセスの開発における多くの課題を解決する。中央集権型MASは、その時代には効果的であったが、スケーラビリティとデータ・プライバシーの制限に直面し、スケーラビリティとセキュリティを要求する現代のアプリケーションでは実行不可能となった。

MASの分散化は、これらの課題に対処するだけでなく、エージェント間の自律性の力を活用する。このアプローチにより、中央集権的な制御に伴うボトルネックなしに、より効率的でリアルタイムの意思決定が可能になる。エッジAIや連合学習のような技術は、この分散型アプローチの実用化の2つの例である。これらのテクノロジーは、データ・セキュリティ、待ち時間の短縮、ユーザーのプライバシーを尊重したソリューションという点で大きな利点を提供する。

マルチエージェントシステムのアルゴリズム進化にも興味がある方は、私の最初の記事をご覧ください。

続きを読む

クラウドからエッジへの非構造化データ処理](https://zilliz.com/blog/unstructured-data-processing-from-cloud-to-edge)
半導体製造業がドメイン固有モデルとエージェント型AIを問題解決に活用する方法】(https://zilliz.com/blog/industrial-problem-solving-through-domain-specific-models-and-agentic-ai-in-semiconductor-manufacturing)
Mistral Large、Nemo、Llamaエージェントによるマルチエージェントシステムの最適化](https://zilliz.com/blog/optimize-multi-agent-system-with-mistral-large-mistral-nemo-and-llama-agents)
専門家の混合（MoE）とは何か？その仕組みとユースケース】(https://zilliz.com/learn/what-is-mixture-of-experts)
PagedAttentionによる大規模言語モデルサービングの効率的なメモリ管理](https://zilliz.com/learn/efficient-memory-management-for-llm-serving-pagedattention)
深層残差学習とは何か ](https://zilliz.com/learn/deep-residual-learning-for-image-recognition)
RAGとは ](https://zilliz.com/learn/Retrieval-Augmented-Generation)
ベクトル・データベースとは何か、どのように機能するのか ](https://zilliz.com/learn/what-is-vector-database)
あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)
ジェネレーティブAIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)