ソフトマックス関数【softmax function】

概要

z₁からz_kまでk個の値があるとき、各々の値の指数関数（ネイピア数eの冪乗）e^z₁からe^z_kまでを求める。それらの和Sを求め、各指数値を和で割った値 e^z₁/S, e^z₂/S, …, e^z_k/S を並べたものが出力となる。

元の値が大きいほど、対応する出力値も大きくなるが、元の値は指数として扱われるため、大きさの差が強調され、大きい値はより大きく、小さい値はより小さく評価される。出力値の和は1で、各値は0から1の間の値を取るため、元の値の大きさに応じた確率分布のように解釈することができる。

ニューラルネットワークでは、多クラス分類の最終層で各クラスに属する確率を出力する目的で広く用いられる。例えば、写真に写っている動物が何かを分類する課題について、各動物の確からしさを表す出力値が （猫：3, 犬：2, 狸：1） だった場合、これをソフトマックス関数にかけることで、（猫：0.665, 犬：0.245, 狸：0.090） のように変換される。これは結果が各動物である確率として解釈することができる。