ボルツマンマシンの勉強中

今日、英語版Wikipediaの「制限ボルツマンマシン」のページの翻訳を終えました。終えましたけれども、内容はよく理解出来ていません。それでも得るところはありました。ひとつは自分のボルツマンマシンの理解がかなり表面的であったことを自覚したことです。私はボルツマンマシンの元になったホップフィールド・ネットワークを勉強していた時、ホップフィールド・ネットワークのエネルギーの定義がいかにも取ってつけたような感じがして、これは別段エネルギーと見なす必要はなくてたとえばエントロピーと見なしてもいいではないか、などと思っていました。しかし、英語版Wikipediaの制限ボルツマンマシンのページに登場した

• 

の式を見た時に、おお、まさしく統計力学の式だ、と感じました。この式に出てくるは統計力学であればエネルギーが出てくる位置にあります。なぜ、こんなにうまくいくのだろう？　なぜ、統計力学との平行関係がこんなにきれいに出てくるのだろう？　と思った時に、もともとホップフィールド・ネットワークの構成が、物理学のスピンの相互作用から来ていることに思い当たりました。ホップフィールド・ネットワークにおけるエネルギーの定義は場当たり的なものではなく、ちゃんと物理的な基礎があったことに今さらながらに思い当たりました。そうするとこのような物理的な背景があるホップフィールド・ネットワークに温度を導入して、統計力学的な挙動を加えたボルツマンマシンはそれほど突飛な考えではなかったのだ、と、うまく納得がいきました。このことから、東京大学の岡田研究室のホームページに書かれていた

脳の統計力学は Hopfield によって始まったといっても過言ではありません.

という言葉を少し理解できたような気がします。ホップフィールド・ネットワークからボルツマンマシンへの発展は必然だったのだと理解しました。

とはいえ、大学の頃から統計力学はあまり得意ではなく（そのくせ、ウィーナーの影響で、統計力学にいつもあこがれを抱いているのですが・・・）、自分の理解はまだまだ浅いのかもしれません。いきなり制限ボルツマンマシンの勉強に進むのではなく、まずは通常のボルツマンマシンについて勉強しようと思います。

もうひとつ理解が進んだことは、まだ、うまく説明することが出来ませんが、ボルツマンマシンの物理的な考察から、シグモイド関数

• 

が自然に導かれることです。私はバックプロパゲーションの時にシグモイド関数を導入したのは、単にシグモイド関数の微分が容易だったからだと理解していたのですが、ちゃんと物理的な背景があったのだと分かりました。この点、理解が進みました。

今回、この記事を書くのに参考にしたページは「静岡理工科大学総合情報学部コンピュータシステム学科・知能インタラクション研究室」の「ボルツマンマシン」のページと、日本語版Wikipediaの「ボルツマンマシン」のページです。