交差エントロピー【cross entropy】

概要

分類問題では、正解ラベルの分布とモデルが予測した分布の間の不一致を定量化する。この値が小さければ小さいほど、モデルの予測が正解に近くなっていることを意味する。数学的には、正解分布の各要素に対して、予測分布の対数確率を掛けた値の負の総和として定義される。

「画像の動物は猫か猫でないか」といった二値分類の場合、「二値交差エントロピー」（BCE：Binary Cross-Entropy）が用いられる。これは、モデルの出力が単一の確率値（正例である確率）である場合に使用され、モデルが正解を間違って予測するほど、誤差が大きく計算される。

一方、「画像に写っている動物は何か」といった多クラス分類の場合、出力層にソフトマックス関数を適用して得られた確率分布に対して交差エントロピーが計算される。多クラスの交差エントロピーは、正解のクラスに割り当てられた予測確率（確信度）が低いほど、大きな誤差を算出する。これにより、モデルは学習の初期段階で大きな誤差を受け取り、効率的に正解の方向へパラメータを修正していくことができる。

交差エントロピー自体は様々な確率分布に適用でき、統計解析の様々な手法で用いられるが、機械学習では正解と予測の誤差として捉え、「交差エントロピー誤差」と呼ぶことがある。また、交差エントロピーを算出する関数を、予測の誤りの大きさを算出する誤差関数として捉え、「交差エントロピー誤差関数」と呼ぶことがある。いずれも概念的には同じである。