読み方 ： しんようわりあてもんだい

概要

例えば、予測や分類を行うニューラルネットワークが出力を行い、正解との誤差が観測されたとする。このとき、各層のノードのどのパラメータがどれだけ寄与したかを特定し、どの程度修正すれば良いかを評価しなければ、出力を正解に近づけることができない。もし、貢献度の低いパラメータに大きく修正してしまうと、学習が非効率になったり、意図しない方向に進んだりする可能性がある。

深い階層を持つニューラルネットワークで効率よく学習するにはこの問題を乗り越えなければならず、研究の停滞を招いたが、「誤差逆伝播法」（バックプロパゲーション）が考案され、この問題の突破口となった。この手法は、微分法の連鎖律を用いて出力層から入力層へと効率的に誤差を分配し、それぞれの重みに対する勾配（修正量）を計算する。各層のノードが最終的な誤差にどれだけ影響を与えたかを定量的に評価できるようになり、これに応じて重みを更新することが可能となった。

一方、強化学習の分野では、エージェント（学習主体）が一連の行動の連鎖を実行した後で、環境から報酬を受け取る。このとき、報酬を得るまでに実行した長い行動系列の中で、どの行動が報酬に最も貢献したのかを特定しなければならない。この時間的な遅延を伴う信用割当問題に対処するため、モンテカルロ法やTD学習といった手法が考案されている。これらの手法は、将来得られる報酬の予測手法（価値関数）を学習しながら、現在の行動が長期的な報酬に与える影響を定量的に評価する。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。