読み方：シーイーシー

CEC【Constant Error Carousel】

概要

CECとは、リカレントニューラルネットワークの一種であるLSTMに採用されている仕組みの一つで、誤差が時間方向に減衰せず伝播することを保証する機構。学習時に勾配が消失または爆発する問題を解決し、長期的な依存関係を学習可能にする。

時系列のデータを学習することができるリカレントニューラルネットワーク（RNN）では、誤差逆伝播を時間方向に行う際、勾配消失や勾配爆発が生じやすいという課題があった。特に長い系列データを扱う場合、過去の情報に対応する誤差が極端に小さくなり、学習が進まなくなる問題が起きやすい。

CECではセルと呼ばれる内部メモリを通じて、誤差が一定値のまま循環する経路を提供することでこの問題を緩和する。セルは重みが1に固定された線形な自己結合を持ち、時間ステップをまたいでも誤差を減衰させずにそのまま伝播させる。過去の入力に由来する情報が長期間保持され、対応する誤差も安定して逆伝播されるため、系列の初期部分に関する学習信号が後段まで届きやすくなる。

しかし、CEC単体では過去の情報を延々と保持し続けてしまい長時間が経過すると学習の妨げとなるため、周囲に「入力ゲート」「出力ゲート」「忘却ゲート」という三つの制御機構が配置されている。これらのゲートがCECへの情報の流れを動的に調整することで、ネットワークは必要な記憶だけを選択的に長期間保持し、不必要な情報を適切に捨て去る能力を獲得している。