情報エントロピー

【information entropy】

読み ：

分野 ：

物理学のエントロピーの概念を、情報量の定義指標として情報理論に導入したもの。情報科学の祖と言われる Claude E. Shannon (クロード・シャノン)氏が1948年に考案した理論の一部で、その後の情報科学の発展に大きく寄与した。

物理学のエントロピーは「乱雑さ」とも訳され、物質やエネルギーの局在(偏り)の度合いを表す。例えば、水の入ったコップにインクをたらすと、最初はインクの分子は水の中のある部分に「もや」のようにかたまっている。これが「エントロピーの低い状態」である。しかし、時間の経過とともにインクはコップ全体に行き渡り、やがで均一な色になる。この状態が「エントロピーの高い状態」である。自然界では、エントロピーは系全体としては減少することなく、時間とともに増加を続ける。これが物理学の「熱力学第2法則」である。

情報科学の分野では、このエントロピーを「事象の不確かさ」として考え、ある情報による不確かさの減少分が、その情報の「情報量」であると考える。情報を受け取る前後の不確かさの相対値を「情報エントロピー」という。

例えば、サイコロを振ったとき、結果を見る前はどの目が出たかまったく分からないので、不確かさ「情報エントロピー」は最大である。「奇数の目が出た」という「情報」を受け取ると、「情報エントロピー」は減少する。「1の目が出た」ことを知れば、結果は一意に確定し、「情報エントロピー」は最小となる。

印刷用ページ | この用語を追加 | 白紙に戻す

関連製品

by　Amazon.co.jp