読み方：レスネット

ResNet【Residual Network】残差ネットワーク

概要

ResNetとは、極めて深いニューラルネットワークで生じる問題を緩和するために「残差学習」という考え方を採用したネットワーク構造。ある層の出力を何層か先に直接伝達する「スキップ結合」を導入し、数十層や百層を超えるネットワークを構築できるようになった。

ニューラルネットワークでは、出力層から入力層に向けて予測と正解の誤差の微分値（勾配）を一層ずつ順に伝播させるが、層を通過するごとに勾配の値が小さくなり、初期層の学習が停滞する「勾配消失問題」が生じることがある。従来の深層ニューラルネットワーク（DNN）では層を増やすほどこの問題が起きやすく、表現力の向上が頭打ちになる課題があった。

ResNetはこの問題に対処するため、数層（2～3層）を束ねた「残差ブロック」を基本単位に設計される。各ブロックは上層からの入力を受け取って各層を順番に通過する通常の結合の他に、ブロック全体をスキップして出力に直接繋がった「スキップ結合」（残差接続）が用意される。

各残差ブロックの出力は、ブロック内の各層を通過して得られた通常の出力値に、スキップ結合で伝達されたブロック自体への入力を足し合わせて決定される。これにより、各ブロックは入力と出力の差分である残差のみを学習するように設計される。

学習時に出力層から誤差を伝播させる際には、各ブロック内部への通常の逆伝播と共に、スキップ接続を通ってブロックを迂回して直接上層へ勾配が伝達される経路が形成される。これにより、各層による勾配の減衰が緩和され、数十層を超える極めて深いネットワークでも勾配が初期層まで伝わるようになる。

オリジナルのResNetは2015年に提唱され、画像分類タスクで極めて良好は成績を収めて注目を集めた。スキップ結合の考え方は様々なモデルに応用されており、LSTM、Transformer、AlphaGo Zeroなど様々なモデルの基本構造の一つとして組み込まれている。

(2025.12.8更新)