読み方：マルチエージェントきょうかがくしゅう

マルチエージェント強化学習【MARL】Multi-Agent Reinforcement Learning

概要

マルチエージェント強化学習とは、強化学習の手法の一つで、共通の環境内に存在する複数の自律的なエージェントが、互いに影響を及ぼし合いながら、それぞれの目的を達成するために学習を進めるもの。

通常の単一エージェントによる強化学習とは異なり、同じ環境にいる周囲の他のエージェントから受ける影響を考慮する必要が生じる。各エージェントから見ると、他のエージェントが学習によって行動を変化させるため、非定常型の環境となり学習の難易度が高まる。

エージェント間の関係性は、大きく分けて「協力型」「競争型」「混合型」の三つに分類される。協力型ではすべてのエージェントが共通の報酬を最大化することを目指し、チームプレイによる効率的なタスク遂行を学習する。競争型では、他者の報酬を減らすことが自身の利益に繋がるような対立的な行動が創発される。混合型は、ある場面では協力し、別の場面では利益を奪い合うといった、現実社会に近いより高度な社会性を学習する。

学習の枠組みとしては、各エージェントが独立して学習を行う「独立学習」と、学習時のみ全エージェントの情報を統合して利用する「中央集権型学習・分散型実行」（CTDE：Centralized Training, Decentralized Execution）が用いられる。後者は、学習を集権的に行うことで他のエージェントの意図や行動を考慮した安定的な学習が可能となり、実行時には各個体が自身の観測のみに基づいて迅速に意思決定を行う。

マルチエージェント強化学習は、同一施設内で働くロボット群の制御、交通信号の制御、電力網の制御など、複数主体が関与するシステムの最適化に適している。エージェント間の協調行動の創発や、相手の戦略変化への適応といった現象を扱う点で、単一エージェントでは捉えにくい問題設定を自然に表現できる。