ノイジーネットワーク【noisy network】

概要

ノイジーネットワークとは、ニューラルネットワークの重みやバイアスに確率的なノイズを導入し、学習過程にランダム性を組み込む手法。主に強化学習における探索性向上を目的として用いられる。

従来のニューラルネットワークでは、重みはランダム性のない決定論的なパラメータとして学習されるが、ノイジーネットワークでは重みを確定値とノイズ項の和として表現し、順伝播のたびに異なるノイズが加えられる。同じ状態が入力されても出力が変動し、行動選択に自然な多様性が生じる。

強化学習では、明示的な探索戦略を設計しなくてもネットワーク構造自体が探索を促進する。一般的な強化学習では、ε-greedy法のように方策とは独立した探索ノイズを行動に付加するが、ノイジーネットワークでは方策関数そのものが確率的に変動する。状態に依存した探索が可能となり、価値関数や方策の表現能力を保ったまま探索効率を高めることができる。

DQN（Deep Q-Network）にノイジーネットワークを組み込んだ応用例では、ノイズの強さ自体が学習によって変化する。学習の初期段階では大きなノイズで広範囲を探索し、学習が進んで最適な行動が明確になるに連れて、次第にノイズを小さくするように重みを更新していく。環境や学習状況に応じて探索の度合いを自動的に調整できるため、人間が手動で探索率を減衰させるスケジュールを設計する手間が省ける。