ボルツマンマシンの勉強中（４） - 工場統計力学（建設中！）

シグモイド関数

$\sigma(x)=\frac{1}{1+\exp(-x)}$ ・・・・(24)

は以下のような曲線になります。

このシグモイド関数の表記 $\sigma(x)$ を用いると式(11)

$P(x_i=1)=\frac{1}{1+\exp\left(-\frac{\Delta{E_i}}{T}\right)}$ ・・・・(11)

は

$P(x_i=1)=\sigma\left(\frac{\Delta{E_i}}{T}\right)$ ・・・・(25)

と表すことが出来ます。さらに式(23)

$\Delta{E}_i=2\Bigsum_{j=1}^ns_{ij} x_j$ ・・・・(23)

を(25)に代入すれば

$P(x_i=1)=\sigma\left(\frac{2}{T}\Bigsum_{j=1 }^ns_{ij} x_j\right)$ ・・・・(26)

になります。ここまでのボルツマンマシンの元になったホップフィールド・ネットワークのエネルギー関数の形は（ホップフィールドネットワーク（２））

$E(x)=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j$ ・・・・(14)

で、この時のホップフィールド・ネットワークにおけるニューロン $i$ の出力 $x_i$ の式は

$x_i=1\left(\Bigsum_{j=1}^ns_{ij}x_j\right)$ ・・・・(27)

です（ホップフィールドネットワーク理解に向けての準備体操（１）参照）。ただし $1(\cdot)$ は

$x{\ge}0$ ならば $1(x)=1$
$x<0$ ならば $1(x)=-1$ ・・・・(28)

という関数です。なお、ホップフィールドネットワーク理解に向けての準備体操（１）では最初

$x_i=1\left(\Bigsum_{j=1}^ns_{ij}x_j-h_i\right)$ ・・・・(29)

という形を考えておりましたが（ここで $h_i$ はニューロン $i$ のしきい値）、その後すぐに、しきい値はゼロ、と仮定しました。もし、 $h_i$ の項を残しておくならば、エネルギー関数の形も

$E(x)=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j$ ・・・・(14)

ではなく

$E(x)=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j-\Bigsum_{i=1}^nh_ix_i$ ・・・・(30)

になります。ここでは $h_i=0$ と仮定して話を進めます。
式(26)はボルツマンマシンにおけるニューロン $i$ の出力 $x_i$ を決める式です。一方、式(27)はホップフィールド・ネットワークにおける $x_i$ を決める式です。ここがホップフィールド・ネットワークとボルツマンマシンの差になります。つまりホップフィールド・ネットワークの出力を決める式で $1(\cdot)$ を $\sigma(\cdot)$ で置き換え、その計算結果を出力の値ではなく、 $x_i=1$ になる確率とみなすことでボルツマンマシンになります。逆にホップフィールド・ネットワークは、ボルツマンマシンで温度 $T$ をゼロに限りなく近づけた場合と考えることが出来ます。 $T\rightar{0}$ にすると