読み方：じょうほうりょう

情報量【information content】

情報量とは？

ある事象が発生したときに得られる情報の大きさを確率に基づいて数値化したもの。日常的な意味での情報の価値や重要性とは異なり、「その事象がどれだけ起こりにくいか」によって決まる、情報理論上の概念である。起こりにくい事象ほど情報量は大きく、確実に起こる事象の情報量はゼロとなる。

ある特定の事象が起こったことを知ったときに受け取る情報量を「自己情報量」（self-entropy）という。発生確率がpの事象の情報量は −log_⁡2p として定義される。対数を用いるのは、独立した複数の事象が同時に起きたとき、それぞれの情報量を足し合わせて全体の情報量を求められるようにするためである。確率の積を対数によって和に変換することで、この性質が成り立つ。

情報量の単位は「ビット」（bit）である。確率が 1/2 の事象、例えばコインを投げて「表が出た」という知らせの情報量は1ビットとなる。確率が 1/4 であれば2ビット、1/8 であれば 3ビットと、確率が半分になる度に情報量は1ビット増える。

一方、複数の事象からなる情報源において、各事象の情報量をその発生確率で重み付けして平均した値を「平均情報量」（average information content）または「情報エントロピー」（information entropy）と呼ぶ。これは情報源全体の不確実性を一つの数値で表すものであり、全事象が均等な確率で起こるときに最大となり、結果が完全に予測できるときにゼロとなる。例えば、偏りのないサイコロは、特定の出目が出やすかったり出にくかったりする偏ったサイコロよりもエントロピーが高い。

これらの概念は、クロード・シャノン（Claude E. Shannon）が1948年に発表した論文で体系化された。それ以前は定性的に捉えられていた「情報」を確率論と結びつけることで、定量的に扱えるようにした。現在では通信工学や符号理論、機械学習など様々な分野の理論的基盤となっている。