情報量 （information）

トランプのカードがあります。
52枚の中から 1 枚を引いたとき、それが "ハート" のカードである確率は 1/4 (0.25) です。
このとき、「ハートだったよ！」 という情報の価値 (情報量) は、 どれだけあるのでしょうか？


下にあるのは 「情報量電卓」 です。

理屈は後にして、 とりあえず試してみましょう。
0.25 または .25 とキーをクリックして を押します。 答えは 2bit です。

"エース" を引く確率は 1/13 です。
1/13 を少数にするのは面倒なので、 をクリックします。
ボタンの表示が になります。 これは 「確率の逆数入力」 モードです。
13 を入力すると、 答えは 3.70043971 bit です。

"ハートのエース" を引く確率は 1/52 です。 この場合の情報量は 5.70043971 bit です。

このように、確率が小さければ小さいほど、情報量は多くなります。

「ふたつにひとつ」、 すなわち確率 0.5 の事柄の情報量は 1 bit で、 「万に一つ」 の場合は 13.28771237 bit です。
確率 1、つまり必ず起こることは、結果が分かりきっているので情報量は 0 bit です。

bit は情報量の単位です。

ところで、 確率 1/256 の事柄があるとします。
この場合の情報量は 8 bit です。
逆に言えば 8 bit の情報は、 256 種類の事柄のうちのどれか、 ということを表すことができます。

8 ビットの情報量は文字を扱うにもちょうどいいサイズですから、 多くのコンピュータシステムでは、 これを 1 バイト としてデータ処理の単位としています。

関連項目：　 平均情報量／エントロピー   ビット

情報処理概論 に戻る  目次 に戻る  戻る 

  
2007.08.08