tanh関数【hyperbolic tangent function】

概要

双曲線は標準形で $x^2-y^2=1$ として与えられる図形である。単位円における三角関数と同じように正弦、余弦、正接などの関数を定義することができ、双曲線を意味する “hyperbolic” を付けて、それぞれ「sinh」「cosh」「tanh」と表す。

tanh関数は三角関数でいうtanに相当する関数で、あるxにおけるxとyの比（あるいは、$\cosh x$と$\sinh x$の比）を表している。回転対称の単調増加関数で、xが0のときに0となり、xが正の無限大に向かうと1.0に漸近、負の無限大に向かうと-1.0に漸近する。

ニューラルネットワークでの使用

機械学習モデルの一つであるニューラルネットワークでは、各層のノード間で値を伝達する際に非線形変換になるようにするため、入力値に対して「活性化関数」を適用してから出力する。また、出力層では値をあらかじめ決められた形式に整形してから出力する必要がある。

tanh関数はグラフの原点を中心に出力値が-1から1の範囲を取るゼロ中心の点対称の形になっており、出力層で値を整形するのに用いられることがある。また、微分値の値域が0～1で、シグモイド関数の0～0.25よりも広いため、誤差逆伝播法で問題となる勾配消失が起きにくく、活性化関数としても優れている。