Aritalab:Lecture/Basic/Entropy

情報学におけるエントロピー

エントロピーという概念は物理学で提案されました。Claude Shannon が平均情報量を、情報のエントロピーとして紹介したために情報学でもよく使われる言葉になりました。（この名前をShannonに提案したのはvon Neumannらしいです。）

シャノン情報量

ある物事が起きる確率を p とするとき、その事象が起きたことによって得られる情報量を - log p と定義します。 確率は 0 から 1 までの値をとるので情報量は正の値になり、起こりにくい (pが小さい) 事象ほど情報量が多くなります。 対数をとる理由は確率の桁数を情報量として（大雑把に）把握するためです。 対数の底は何でもよいのですが通常は 2 で考えます。

ここでは物事が起きる確率を考えているので、他の事象も起きる可能性があることになります。そこで確率分布 P に対する情報量を以下のように定義します。

H(P) = - Σ_i P(i) log P(i)

ただし P(i) は事象 i が起きる確率です。これを平均情報量、または P のエントロピーと呼びます。