読み方：ゲートきこう

ゲート機構【gating mechanism】

概要

ゲート機構とは、主に系列データを扱うニューラルネットワークに導入される仕組みの一つで、層間の情報の流れを制御するもの。ノード内に組み込まれ、データの入出力を制御して情報の取捨選択を行う。

リカレントニューラルネットワーク（RNN）などのモデルは文章や音声、動画など何らかの系列や順番に従って並んだデータを連続的に扱うことができる。初期のRNNは同じノードを通過する時系列のデータが同じ重みを共有するため、長い文章などを扱うと勾配消失問題や重み衝突といった学習を停滞させる問題が生じやすかった。

ゲート機構はこの問題を解消するために導入された仕組みで、ノードが他の層との間で情報の入力や出力を行う際に水門のように流量を調節する働きをする。出入りするデータにシグモイド関数などで重みを付け、情報をそのまま通過させたり、絞ったり、完全に遮断したりといった制御を行う。この重みは他のパラメータと同じように学習によって調整される。

最初に考案されたゲート機構を持つモデルはLSTM（Long Short Term Memory）で、「入力ゲート」「出力ゲート」「忘却ゲート」の3つのゲート機構を用いる。LSTMを簡略化して学習コストを下げたGRU（Gated Recurrent Unit）では、「更新ゲート」「リセットゲート」の2つのゲート機構を用いる。RNNだけでなくTransformerなど他の種類のネットワークでもゲート機構を組み込んだモデルが提案されている。