相互情報量【mutual information】伝達情報量/transinformation

概要

相互情報量とは、二つの確率変数がどの程度情報を共有しているかを表す情報理論の指標。一方の値を知ることで、他方に関する不確実性がどれだけ減少するかを数値化したものであり、統計解析や機械学習における関連性評価に用いられる。

二つの変数XとYの同時分布 P（X,Y）と、それぞれの周辺分布の積 P（X）P（Y）を比較することで算出される。両者の比の対数を確率で重み付けし、取り得る組み合わせ全体について合計した値が相互情報量である。単位には対数の底が2なら「ビット」（bit）、自然対数なら「ナット」（nat）が用いられる。

二つの変数が完全に独立である場合、同時分布は周辺分布の積と一致するため、相互情報量は0になる。一方が決まれば他方も一意に定まる完全な依存関係にある場合に相互情報量は最大となり、各変数の情報エントロピー（情報量の平均的な不確実性を表す量）に等しくなる。

相互情報量は常に0以上の値を取り、値が大きいほど二つの変数の依存関係が強いことを示す。エントロピーとの関係は式 I（X;Y） = H（X）-H（X|Y）として表され、H（X|Y）はYを知った後のXの条件付きエントロピーである。この式は、相互情報量が知識によって減少した不確実性を表すことを示している。

相関係数は二つの変数の間に直線的な関係がある場合しか検出できないのに対し、相互情報量は曲線的な関係や数値化できないカテゴリデータ間の依存関係も捉えることができる。統計学における他の多くの指標とは異なり、分布そのものの違いに基づいて算出されるため、関係が線形かどうかを問わず依存の強さを評価できる。

統計解析や機械学習では様々な形で応用されている。目的変数との相互情報量が高い項目を優先的に選ぶ「特徴量選択」に用いられるほか、性質の似たデータをまとめる「データクラスタリング」では、データ間の類似性を測る基準として利用される。派生指標である「正規化相互情報量」はクラスタリング結果の評価に用いられることが多い。自然言語処理においても、単語同士の結びつきの強さを判定する「共起分析」などに活用されている。

(2026.7.6更新)