ボルツマンマシンの勉強中（３） - 工場統計力学（建設中！）

式(11)

$P(x_i=1)=\frac{1}{1+\exp\left(-\frac{\Delta{E_i}}{T}\right)}$ ・・・・(11)

の意味を考えてみましょう。 $\Delta{E}_i=0$ の時は、式(11)から $P(x_i=1)=1/2$ となります。 $\Delta{E}_i=0$ ということは、 $E_i^+=E_i^-$ ということです。つまり、ニューロン $i$ の出力が+1でも-1でも全体のエネルギーは変わらない、という場合です。この場合は、ニューロン $i$ の出力が+1になる確率は1/2になる、というのは道理に合っていると思います。 $\Delta{E}_i>0$ の場合は式(11)から $P(x_i=1)>1/2$ になります。 $\Delta{E}_i>0$ ということは $E_i^->E_i^+$ ということなので、ボルツマンマシンはエネルギーの小さい $E_i^+$ の状態になり易くなります。つまり、ニューロン $i$ の出力が+1になる確率は1/2より大きくなる、ということをこの式は示しています。 $\Delta{E}_i<0$ の場合は式(11)から $P(x_i=1)<1/2$ になることも同様に理解出来ます。ここで $T=1$ の場合の $\Delta{E}_i$ と $P(x_i=1)$ の関係をグラフに表すと以下のようになります。

次に温度 $T$ の役割について調べてみましょう。 $T=0.2,\,1,\,5$ の３つの場合のグラフを作ると以下のようになります。

温度が低い場合（ $T=0.2$ ）、 $\Delta{E}_i$ がゼロ付近の狭い個所を除いて、確率 $P(x_i=1)$ はほぼ1か0になります。温度が高い場合（ $T=5$ ）、 $\Delta{E}_i$ の変化による $P(x_i=1)$ の変化はよりなだらかになります。ということは、 $\Delta{E}_i>0$ であってもニューロン $i$ の出力 $x_i$ が-1になる確率がより高くなり、逆に、 $\Delta{E}_i<0$ であっても $x_i$ が+1になる確率もより高くなります。一言で言えば、より確率的な変動が大きくなり、秩序がくずれる傾向にあります。そして温度 $T$ を無限大にすると、 $\Delta{E}_i$ の値にかかわらず確率 $P(x_i=1)$ の値は1/2になります。つまり出力 $x_i$ は1/2の確率で+1、1/2の確率で-1になります。つまり、まったく無秩序になります。これらの現象は温度の性質として妥当なものです。ところで、ここまでの議論はエネルギー関数 $E(x)$ の形を不問にして進めてきました。ということは以上の性質は $E(x)$ の形に依存しないことになります。

それでは $E(x)$ の形はどうなるのか、といいますと、これはホップフィールド・ネットワークと同じものを使用します。私が以前ホップフィールド・ネットワークを勉強した際には（ホップフィールドネットワーク（２））

$E(x)=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j$ ・・・・(14)

というものを使いました。これを使うことにします。ただし $n$ はニューロンの数であり、 $s_{ij}$ は、ニューロン $i$ がニューロン $j$ の出力 $x_j$ を入力として受け取る際の、その入力に対応するシナプス係数です。また、ホップフィールド・ネットワークと同様に

$s_{ij}=s_{ji}$ ・・・・(15)
$s_{ii}=0$ ・・・・(16)

という条件を課します。式(14)を用いて $E_i^+$ と $E_i^-$ を計算し、次に $\Delta{E}_i$ を計算しようと思います。しかし式(14)のままでは添字 $i$ がぶつかってしまうので、式(14)を

$E(x)=-\frac{1}{2}\Bigsum_{k=1}^n\Bigsum_{j=1}^ns_{kj}x_kx_j$ ・・・・(17)

と書き直します。式(17)を変形して

$E(x)=-\frac{1}{2}\Bigsum_{k=1}^n\left(\Bigsum_{j=1,j\neq{i}}^ns_{kj}x_kx_j+s_{ki}x_kx_i\right)$
$E(x)=-\frac{1}{2}\left[\Bigsum_{k=1,k\neq{i}}^n\left(\Bigsum_{j=1,j\neq{i}}^ns_{kj}x_kx_j+s_{ki}x_kx_i\right)+ \left(\Bigsum_{j=1,j\neq{i}}^ns_{ij}x_ix_j+s_{ii}x_ix_i\right)\right]$ ・・・・(18)

ここで式(15)(16)を用いると

$E(x)=-\frac{1}{2}\left[\Bigsum_{k=1,k\neq{i}}^n\left(\Bigsum_{j=1,j\neq{i}}^ns_{kj}x_kx_j+s_{ki}x_kx_i\right)+ \Bigsum_{j=1,j\neq{i}}^ns_{ij}x_ix_j \right]$
$E(x)=-\frac{1}{2}\left[\Bigsum_{k=1,k{\neq}i}^n\Bigsum_{j=1,j{\neq}i}^ns_{kj}x_kx_j+\Bigsum_{k=1,k{\neq}i}^ns_{ki}x_kx_i+\Bigsum_{j=1,j{\neq}i}^ns_{ij}x_ix_j\right]$
$E(x)=-\frac{1}{2}\left[\Bigsum_{k=1,k{\neq}i}^n\Bigsum_{j=1,j{\neq}i}^ns_{kj}x_kx_j+2\Bigsum_{j=1,j{\neq}i}^ns_{ij}x_ix_j \right]$
$E(x)=-\frac{1}{2}\Bigsum_{k=1,k{\neq}i}^n\Bigsum_{j=1,j{\neq}i}^ns_{kj}x_kx_j -\Bigsum_{j=1,j{\neq}i}^ns_{ij}x_ix_j$ ・・・・(19)