ホップフィールドネットワーク（２） - 工場統計力学（建設中！）

図１

今後、エネルギー $E$

$E=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j$ ・・・・(4)

（「ホップフィールドネットワーク理解に向けての準備体操（５）」の式(7)参照）を計算していきますが、今回の例では $n=35$ なのでまともに計算すると結構大変なことになります。というのは式(4)での $i$ と $j$ も $1$ から $35$ まで変更するので、右辺の項の数は35×35=1225個もあるからです。これをいちいち計算するのは大変です。それに本当の応用になるとニューロン数が何千にもなります。そこで、エネルギー $E$ を簡単に計算する方法を考えます。ここで考えるのは、

$s_{ij}=\left\{\begin{array}X_iX_j&\;&(i\neq{j})\\0&\;&(i=j)\end{array}$ ・・・・(1)

に限定した場合の方法です。式(4)に(1)を代入すると

$E=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1,i\neq{j}}^nX_iX_jx_ix_j$ ・・・・(5)

となります。この時、 $x_i=X_i$ であるようなニューロンの個数を $m$ としましょう。すると $X_i$ も $x_i$ も−１か１の値しかとらないので、 $m$ 個の $i$ について $X_ix_i=1$ となります。残りの $n-m$ 個の $i$ については $X_ix_i=-1$ になります。

となるようなとの組合せはかつの場合と、かつの場合があります。
- $X_ix_i=1$ かつ $X_jx_j=1$ であるような $i$ と $j$ の組合せの数は $m^2$ 個となりますが、 $i=j$ の時を除外しないといけないので実際には $m^2-m$ 個になります。
- $X_ix_i=-1$ かつ $X_jx_j=-1$ であるような $i$ と $j$ の組合せの数は同様に考えて $(n-m)^2-(n-m)$ 個となります。
- よって $m^2-m+(n-m)^2-(n-m)$ 個の１が式(5)の右辺に存在します。
次に、となるようなとの組合せはかつの場合と、かつの場合があります。
- $X_ix_i=1$ かつ $X_jx_j=-1$ であるような $i$ と $j$ の組合せの数は $m(n-m)$ 個となります。
- $X_ix_i=-1$ かつ $X_jx_j=1$ であるような $i$ と $j$ の組合せの数も $m(n-m)$ 個となります。
- よって $2m(n-m)$ 個の−１が式(5)の右辺に存在します。