KLダイバージェンス【カルバック・ライブラー情報量】Kullback–Leibler divergence

概要

ある分布Pと、Pに近似する分布Qの間で定義され、PがQからどれだけ「離れているか」を測る指標である。具体的には、Pに基づく期待値を用いて、P（x）がQ（x）とどれだけ異なるかを対数比で計算する。この値が0に近いほど、QはPをよく近似していることを意味する。0であれば両者は完全に一致している。

確率分布間の「距離」のような尺度として使われるが、非対称性のある指標であり、Pから見たQのKLダイバージェンスと、Qから見たPのKLダイバージェンスは一致しないことがある。これは、どちらの分布を「真の分布」として扱い、どちらを「近似分布」として扱うかによって、計算される誤差の意味合いが変わるためである。

深層学習においては、生成モデルが学習によって作り出すデータ分布Qを、訓練データが従う真のデータ分布Pにできる限り近づけるために、このKLダイバージェンスを誤差関数として最小化することを目標とする。機械学習だけでなく、ベイズ推定など様々な統計解析手法で用いられる。