相互情報量【mutual information】伝達情報量/transinformation

概要

二つの変数XとYの同時分布 P（X,Y） と、それぞれの変数の周辺分布の積 P（X）P（Y） を比較することで算出される。同時確率と周辺確率の比の対数に確率を掛けて、全体にわたって積算したものが相互情報量である。

二つの変数が完全に独立であれば、同時分布は周辺分布の積と等しくなり、相互情報量は0となる。逆に、二つの変数が完全に一致している（一方が決まると他方も完全に決まる）場合、相互情報量は最大となり、その値はそれぞれの変数の情報理論におけるエントロピーに等しくなる。

相互情報量は二つの変数の関連性の強さを客観的に評価する指標として用いられる。相関係数のように線形な関係しか捉えられない指標とは異なり、非線形な依存関係も捉えることができる。統計解析や機械学習の分野で広く応用されており、特徴量選択や、クラスタリングにおけるデータ間の類似度測定などに用いられる。

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。