「情報理論」読了からどこへ向かうか？

先日、甘利俊一氏の「情報理論」を読了しましたが、ここからどこに進むかが私の今の課題（おおげさ？）です。

• 情報理論 (ちくま学芸文庫)

案１

• 同じ出版社から出ているシャノンの記念碑的論文「コミュニケーションの数学的理論」を読む。

  • 通信の数学的理論 (ちくま学芸文庫)

  • 私が勝手に「サイバネティクスの雰囲気に浸れる論文集」というものを日ごろ考えていて、それは以下のものです。
    • アラン・テューリングの「計算可能な数、およびヒルベルトの決定問題への応用について（On Computable Numbers, with an Application to the Entscheidungsproblem）」1936年
    • ウォーレン・マカロック、ウォルター・ピッツ「神経活動に内在する思考の論理計算（A logical calculus of the ideas immanent in nervous activity）」 1943年
    • ノーバート・ウィーナー「サイバネティクス」　1948年
    • クロード・シャノン「コミュニケーションの数学的理論（A Mathematical Theory of Communication）」　1948年
    • フォン・ノイマン「人工頭脳と自己増殖――オートマトンの論理学概論」　1951年
  • なので、上記の本を買って読むことは、私のコレクター的な趣味を満足させます。
  • しかし、デメリットとして、この本を読んでもあまり得るところがないだろうと予測されることです。というのは甘利氏の「情報理論」が同じ内容をより分かりやすい形でカバーしているからです。

案２

• ウィーナーの「サイバネティクス」で数式が難しくて理解できなかった「第３章　時系列、情報および通信」に再挑戦する。
  • 甘利氏の「情報理論」の後半、連続情報に関する議論を読んでいる時に「この議論はどこかで見たことがある。導き方は全然異なるが・・・」という感触が何度も頭によぎりました。おそらくサイバネティクスの「第３章　時系列、情報および通信」は甘利氏の「情報理論」の後半と平行しているのでしょう。
  • この案のメリットは、長年分からなかったことが今度こそ分かるかもしれない、ということです。しかし、やはり分からないかもしれません。
  • もう一つのメリットは案１と合わせワザにすることで、ウィーナー「サイバネティクス」の「第３章　時系列、情報および通信」とシャノンの「コミュニケーションの数学的理論」がどの程度、内容が重複しているか分かる（かもしれない）ということです。
  • しかし、それらは今日から見ると古い学問なような気もします。

案３

• さっさとニューラルネットワークの話に、つまり甘利俊一氏の次の業績の理解に進む。人生短いのだからさっさと次に進んだほうがいいのかもしれません。私はもともと慎重なタイプなのですが・・・
  • この案を採用するとなると、どんな本を読むべきか調べる必要があります。そこで検索してみると

  • 赤池情報量規準AIC―モデリング・予測・知識発見

    • こんな本が出てきました。ニューラルネットとは関係ない（たぶん）のですが、興味のありそうな内容です。仕事にも応用できるかもしれない・・・・。

  • 神経回路網の数理―脳の情報処理様式 (システム・サイエンス・シリーズ)

    • 1978年という古い本ですが、若かった頃、ちらちら見ていて、でも読んでみて全然分からなくて、高嶺の花のような存在でした。なので、これに挑戦したい、という気持ちがあります。でも、古いかなあ・・・・。

  • 神経回路網モデルとコネクショニズム (コレクション認知科学)

    • 新しい本となるとこれかなあ・・・・。

まあ、いつ取り掛かるか分かりませんが、以上はその気になった時のためのメモ書きです。