読了「情報理論」甘利俊一著

• 情報理論 (ちくま学芸文庫)

１月２２日に買って、毎日少しずつ読み進めてきましたが、とうとう昨日読了しました。本当は最後のほうの式の証明が理解出来ていないのですが、「・・・ただし計算はたいへんめんどうである。興味のない読者は結果を信用していただいて、証明は飛ばしてよい。」と書いてあったので３ページちょっと読み飛ばしました。
なかなかおもしろい本で勉強になりました。情報幾何学についてもおぼろげにイメージをつかむことが出来ました。私の理解したところでは、情報幾何学とは、以下のようなものです。

• 連続信号による情報伝達にかかわる。まず、通信系において連続信号の空間を考える。これは連続信号をいくつかの成分にわけてそれらの一次結合として表すもので、フーリエ変換の一般化と考えてよい。それが無限次元にならないように、周波数帯と継続時間に制限を設けて有限の、しかしかなり大きな次元の空間を考える。周波数成分が以下に限られ、継続時間がの時、この空間の次元の数はとなる。そのため継続時間を大きくとればどんどん大きな次元の空間を考えることが出来る。次にこの通信系における雑音を考える。それは連続信号においては雑音を考慮しないと情報量が無限大になってしまうためで、雑音を考慮に含めることは必須である。この雑音をこの次元の空間に表わす。次に、この雑音の大きさがこの空間のどの方向においても距離１になるようにこの空間の距離を定める。一般に雑音の大きさは周波数や時刻によって変わると考えられるので、この距離空間はユークリッド空間ではなくアインシュタインの一般相対論で登場するような曲がった空間、つまりリーマン空間になる。情報幾何学はこの空間で情報を解析する学問である。もう少し付け足すと、空間としては伝達すべき信号が作る信号空間と、通話路で実際に使う信号が作る信号空間の２つを考える。そして、符号化を空間から空間への写像、復号化を空間から空間への写像と考える。ただし復号化の場合は元の信号だけでなくそれに雑音が加わった信号が空間に写像される。このように信号の符号化と復号化が幾何学的な写像として扱うことが出来るのが情報幾何学のメリットである。

と、書いてみても全然こなれていませんね。まだまだ私の理解が低いからだと思います。もっとやさしく説明出来る様になりたいです。この情報幾何学は著者の甘利氏の創始されたもので、私は興味があるのですが、これがどのようにニューラルネットワークに関係することになるのか今のところ全然分かりません。それはこの本の範囲外です。このことについてよい本があったらトライしてみたいと思います。

この本は説明のしかたがうまく、名著だと思います。確かに確率における有名な「大数の法則」を説明の基礎におくことによってエルゴード理論を持ち出さなければならないような面倒な話（「ほとんどいたるところで」という言葉で表わされる事態の説明）はみんな回避出来ています。しかし、私にはこの本は正直、結構、読むのに骨が折れる本でした。この本のカバーには

シャノンのアイディアから情報幾何学の基礎までを、初学者にもわかるように明快に解説

とありますが、少なくとも線形代数学はある程度理解していないと、読むのは苦しいと思います。私は線形代数学をまじめに学ばなかったので苦労しました。その基礎がある読者にとっては、この本は名著だと思います。

関連エントリ

• 情報理論―甘利俊一著
• 甘利俊一著「情報理論」の「雑談」
• 甘利俊一著「情報理論」の「雑談」のつづき
• 甘利俊一氏の「情報理論」へのメモ（１）
• 甘利俊一氏の「情報理論」へのメモ（２）