情報量 （infomation）

下にあるのは 「情報量電卓」 です。

理屈はさておき、とりあえずどんなものか、試してみましょう。

ここにトランプのカードがあります。 52枚の中から 1 枚を引いたとき、それが "ハート" のカードである確率は 1/4、 (0.25) です。 カードを引いて、「ハートだったよ！」 というニュースの価値 (情報量) はいくらか？
これを計算するには、 0.25 または .25 と入力して を押します。 答えは 2 bit です。

"エース" を引く確率は 1/13 です。 少数にするのは面倒なので を押します。ボタンの表示が になりますから、 これで 13 と入力します。 答えは 3.70043971 bit です。

"ハートのエース" を引く確率は 1/52 ですから、52 を入力します。 答えは 5.70043971 bit です。 「(52枚のカードの中から) ハートのエースを引いたよ！」 という情報を伝えるには、 約 5.7 ビットが必要です。

サイコロをふって、「"1" の目が出た」 というときの情報量は何 bit か、などを計算してみてください。

このように、実現する確率が小さいものほど、それが起こったということの情報量は多くなります。
「万に一つ」 のことが起こるとその情報量は 13.28771237 bit ですし、 「ふたつにひとつ」、 確率 0.5 のことがらの場合は 1 bit です。
確率 1、すなわちかならず起こることは、はじめっから分かりきっていますから、情報量は 0 bit です。

bit は情報量の単位です。

ところで、 256 にひとつの確率でおこることがらがあるとします。
この情報量を計算するには、確率は 0.00390625 ですが、面倒ですから にしておいて 256 を入力します。 答えは 8 bit です。
すなわち、 8 ビットの情報は、256 のうちのどれかひとつが起こったということを表すことができます。
256 種類のことがらは何でもかまわないので、 数字なら、たとえば 0 から 255 までの 256 種類の数字を 8 ビットの情報で表すことができます。
8 ビットの情報量は文字を表すにもちょうどいいサイズですから、 多くのコンピュータシステムでは、 これを 1 バイトとしてデータ処理の単位としています。

関連項目：　 用語解説/ビット   講義資料/平均情報量／エントロピー

情報処理概論 に戻る  目次 に戻る  戻る 

2003.02.16