ドロップアウト【dropout】

概要

ニューラルネットワークは多数のパラメータで強力な表現力を獲得するため、学習データに含まれる外れ値やノイズなど偶然的な特徴まで学習してしまい、未知データに対する性能が下がる「過学習」と呼ばれる現象が生じることがある。これを抑えるための手法を「正則化」（regularization）という。

ドロップアウトはこの正則化の手法の一つで、学習時にランダムに選んだ一部のノードを無効化し、入出力を一時的にゼロにする。無効化は訓練の繰り返し単位（イテレーション）ごとに行われ、停止されたノードも他の回では学習に参加する。

ネットワークは毎回異なる構造を持つことになり、特定のノードや重みに過度に依存せず、複数の経路を用いて特徴を抽出するよう促される。特定のノードが特定の入力パターンに過度に適応してしまい、他のノードがサボってしまう「共適応」（co-adaptation）と呼ばれる状態を効果的に予防することができる。

無効化は学習時にのみ行われ、推論時にはすべてのノードを有効にする。学習時に無効化操作が行われていたことを補正するため、重みや出力にスケーリングを行う方法が一般に用いられる。これにより、学習時と推論時の出力分布の整合性が保たれる。複数の異なるモデルを組み合わせて予測精度を高めるアンサンブル学習を一つのネットワーク内で実施するような手法と言える。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。