読み方：ワイドレスネット

Wide ResNet

概要

Wide ResNetとは、画像認識を行う畳み込みニューラルネットワークの一つ。残差ネットワーク（ResNet）を改良し、層を深くする代わりに各層の幅を広げることで表現力と学習効率の向上を図ったモデルである。

元になった「ResNet」は、深いニューラルネットワークでは入力側に近い層に正解からの誤差がほとんど伝達されなくなる「勾配消失問題」を緩和している。数層（2～3層）を束ねた「残差ブロック」と、このブロックを飛ばして先の層に接続された「スキップ結合」を導入し、誤差を効率的に入力側の層に伝達することができる。

ResNetでは層数を増やすと計算コストの重さの割には性能が上がらなくなっていく課題があったが、Wide ResNetではネットワークの深さを抑えつつ、畳み込み層のチャネル数を増やす設計を採用している。一層あたりの表現能力を高め、全体として十分な性能を確保することを目指している。

具体的には、ResNetで用いられる残差ブロックの構造を保ったまま、チャネル数に拡張係数を掛けることで幅を調整する。深さより幅を優先することでGPUによる並列計算の恩恵を受けやすくなり、学習や推論の高速化を図ることができる。また、過学習を抑制するため、残差ブロック内の重要性の低い接続をカットするドロップアウトを導入し、汎化性能を高めている。