「サイバネティックス」という本の「第３章 時系列、情報および通信」（３）
上位エントリ：サイバネティックス
先行エントリ:「サイバネティックス」という本の「第３章 時系列、情報および通信」（２）
通信を、時系列、すなわち時間の経過に伴い確率的に変化する量、と見なすことを述べたあとには、通信が伝える情報の量をどのように定義したらよいかを検討しています。
情報とは何であろうか、またそれはどのようにして測られるであろうか？
ここでウィーナーは、本質的にはシャノンと同等な情報量の定義を提示しています。ただしウィーナーの場合、アナログな連続量についての確率をもとに情報量を定義しているので、シャノンの離散的な場合より直感的な理解が難しいです。ウィーナーの考えでは、ある量を測定して、その量の値が誤差ゼロで判明する場合には、その測定で得た情報は無限大であるとしています。逆に言えば、誤差がゼロであるような測定はあり得ないとしています。誤差が存在するからこそ、得られる情報量は有限である、と考えています。これはちょっと考えると違うように思えますが、次のように考えれば誤差なしの数値の持つ情報量が無限大であることが分かります。
たとえば、ある文書ファイルを考えます。これはコンピュータ上では０と１の（長い長い）列から成り立っているはずです。そこで、０．のあとにその０と１の列を並べてみると、これは２進法での一つの数値（その数値は０より大きく１より小さい）を表わしています。逆に、その数値を示すことが出来れば、それを２進数で表わして、その０と１の列を文書ファイルに変換することが可能です。ということはその数値はその文書ファイルと同等の情報量を持っていることになります。これはどんなに大きな文書ファイルについても可能なので、誤差なしの数値は無限大の情報量を持つことが分かります。
でも実際には、アナログな数値を測定する場合に必ず誤差が出てくるので、それでこのような無限の情報量は現実にはあり得ないです。あるいは、測定という言葉を通信、誤差という言葉を雑音、と考えることも出来ます。ウィーナーの理論体系では雑音なしの通報というのは非現実的な事象です。雑音は彼の理論の構造においては必須の要素です。
一方、デジタルの場合はそのような誤差が現れないように見えますが、０と１でデータを表わすデジタルの場合、その０は実際の値は０に近いというだけで本当は０．１かもしれないし、１も本当は０．９５かもしれません。実際にはきちんと０や１の値になっていない値を０または１と割り切って処理する、というところに誤差あるいは雑音が存在しています。
以上のことからウィーナーの与える情報量の定義は以下のようななかなか難しい定義になります。
ある数量が、通報の前にと
の間にある確率が
であり、通報の後に
と
の間にある確率が
である場合、この通報で得られた情報の量は以下である、と定義します。
そしてこの定義から、情報量はエントロピーとして定義されている量に負号を付けたものである、と述べています。以下、詳述はしませんが、このような情報量の定義を基礎にしてウィーナーは、このように定義された情報量が次のような、情報量として適切な性質を持っていることを確認しています。
- 独立な情報源からの情報量の全体は、個々の情報源からの情報量の合計である。
- 雑音が大きくなると通信の情報量は低下する。
- 通信信号にどんな操作を加えても情報量は増加しない。（等しいままか、あるいは減少する。）
特に最後の命題については、
これこそまさしく熱力学の第二法則の通信工学への適用である。
と述べています。
その次の話題については、私は式が理解出来ていません。その部分の結論は以下のようなものです。
これは通信工学の中心問題である。これによってわれわれは、振幅変調・周波数変調・位相変調などのようないろいろな方式を、情報を送る効率の上から、評価できることになるのである。・・・・・・電力に関するかぎり、一様に分布した周波数をもつ無作為「雑音」と、ある周波数帯域をもちかつその帯域上に一定の電力をもつ通報とに対して、最も効率のよい情報伝送方法は振幅変調である・・・
情報量についての話題は以上で終わります。
