読み方 ： ざんさきょうかがくしゅう

残差強化学習【residual reinforcement learning】

概要

残差強化学習とは、既存の制御則や方策に対して、強化学習により学習した補正成分を加えることで性能向上を図る手法。従来手法の知識を活用しつつ学習を行うことで安全性や効率性が高まる。
残差強化学習のイメージ画像

ロボット制御などでゼロから強化学習を行うと膨大な試行錯誤の時間が必要となり、学習初期の不安定な挙動が安全上のリスクとなる場合もある。残差強化学習では、あらかじめ設計された既存のコントローラをベースとして利用する。コントローラがタスクの基本的な遂行や安全性の確保を行い、強化学習エージェントは、その出力と望ましい結果の乖離である残差のみを学習する。

残差として学習される成分は、ベース方策では捉えきれない非線形性や外乱、モデル化誤差への対応を担う。強化学習エージェントは環境の物理法則や基本的な動作を一から学ぶ必要がなく、既存の知識からの乖離を埋めることに専念できるため、効率的な学習が可能となる。

既存のコントローラが最低限の動作を保証するため、完全にランダムな行動から始まる通常の強化学習に比べて、初期段階から一定の制御性能が確保され、学習初期の不安定な挙動や危険な探索を抑制できる。物理的な制約や安全性の要請が厳しいハードウェアの制御で特に有用である。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。