情報エントロピー 【information entropy】 平均情報量 / average information content / シャノンのエントロピー / Shannon entropy

概要

情報エントロピー（information entropy）とは、ある事象の組み合わせで表される系で、各事象の情報量の平均のこと。統計力学における無秩序さの指標であるエントロピーに似た概念であるためこのように呼ばれ、事象の不確かさの程度を表している。

情報理論における情報量は事象の生起確率によって定義され、例えばコインを投げて表が出る確率は1/2（50%）であるため、「コインを投げたら表が出た」という情報の情報量は-log2（1/2）で1ビットとなる。

コイントスの全事象は「表が出る」「裏が出る」の2つで、生起確率はどちらも1/2、情報量は1ビットである。よって、全事象の平均情報量も（1+1）/2で1ビットであり、これがコイントスの情報エントロピーである。

一方、必ず表しか出ないよう細工したコインを投げる場合、表が出る確率は100%、裏が出る確率は0%で、どちらも情報量は0ビットである。エントロピーは（0+0）/2で0ビットとなり、通常のコイントスに比べ事象の不確かさが失われていることがわかる。

(2018.11.15更新)

他の辞典による解説 （外部サイト）

この記事の著者 ： (株)インセプト IT用語辞典 e-Words 編集部
1997年8月より「IT用語辞典 e-Words」を執筆・編集しています。累計公開記事数は1万ページ以上、累計サイト訪問者数は1億人以上です。学術論文や官公庁の資料などへも多数の記事が引用・参照されています。
ホーム画面への追加方法
1.ブラウザの 共有ボタンのアイコン 共有ボタンをタップ
2.メニューの「ホーム画面に追加」をタップ
閉じる