読み方：スキップせつぞく

スキップ接続【skip connection】

概要

スキップ接続とは、ニューラルネットワークで、ある層からの出力を直後の層だけでなく何層か後の層へも流す構造。深いネットワークで誤差逆伝播法を用いると初期層で勾配が消えてしまう勾配消失問題を緩和することができる。

誤差逆伝播法では、モデルの出力層で計算された予測値と正解の差（誤差）が、ノード間の繋がりの重みを更新するために、微分値（勾配）として前の層へと順次逆向きに伝達されていく。伝播の過程で勾配がどんどん小さくなり、初期層近くではほとんどゼロになってしまう「勾配消失問題」が発生することがある。階層の深いネットワークで特に問題となる。

スキップ接続は、ある層の出力を直後の層だけでなく何層かスキップしてより先の層へと直接伝達する構造である。合流先の層では直前の層の出力と、スキップ接続で手前の層から伝わった出力の両方を足し合わせて出力値を計算する。誤差の伝播では、終盤の大きな勾配が途中の層をスキップして初期層へ伝わるため、誤差の消失を緩和する効果がある。

画像解析などに用いられる畳み込みニューラルネットワーク（CNN）では、途中にスキップ接続を挟んで異なる層の出力を統合することで、初期層の捉えた局所的な特徴と、深い層の捉えた大局的、抽象的な特徴の両方の情報を利用してモデル表現力を高めることができる。

(2025.12.8更新)