ホップフィールドネットワーク再検討（１）

以前、ホップフィールドネットワークを検討した際には、各ニューロンの値は1か−1であるとしていました。これを通常のニューラルネットワークのように1か0の値を取るとしても、ニューロンの状態更新によってエネルギー $E$

が増加しない、ということ言うことが出来るでしょうか？
ただし、ここで $x_k$ は $k$ 番目のニューロンの出力であり、 $s_{ij}$ は $i$ 番目のニューロンにおける、 $j$ 番目のニューロンの出力を入力とした時の重みです。

は成り立つとし、各ニューロンのしきい値をゼロとします。つまり、 $i$ 番目のニューロンの出力 $x_i$ は

で

となります。ここで $1(x)$ は

今、 $k$ 番目のニューロンの出力 $x_k$ を計算して更新したとします。 $x_k$ は0か１の値しかとらないので、 $x_k$ の変化の仕方は次の４通りです。

更新による $xk$ の変化を $\Delta{x}_k$ で表すことにします。すると

となります。次に $\Delta{x}$ を使ってエネルギー $E$ の変化 $\Delta{E}$ を表してみます。式(1)で $x_k$ が現れる項を区別して書くと

$E=-\frac{1}{2}\left[\Bigsum_{i=1,i\neq{k}}^n\Bigsum_{j=1,j\neq{k}}^ns_{ij}x_ix_j+\Bigsum_{i=1}^ns_{ij}x_ix_k+\Bigsum_{j=1}^ns_{kj}x_kx_j\right]$ ・・・・(5)

ここで

でしたので式(5)は

$E=-\frac{1}{2}\left[\Bigsum_{i=1,i\neq{k}}^2\Bigsum_{j=1,j\neq{k}}^ns_{ij}x_ix_j+2\Bigsum_{j=1}^ns_{kj}x_kx_j\right]$
$E=-\frac{1}{2}\left[\Bigsum_{i=1,i\neq{k}}^2\Bigsum_{j=1,j\neq{k}}^ns_{ij}x_ix_j+2x_k\Bigsum_{j=1}^ns_{kj} x_j\right]$

よって

$E=-\frac{1}{2}\left[\Bigsum_{i=1,i\neq{k}}^2\Bigsum_{j=1,j\neq{k}}^ns_{ij}x_ix_j\right]-x_k\Bigsum_{j=1}^ns_{kj} x_j$ ・・・・(6)

となります。ここから

となります。ところで

でしたので式(7)は

となります。この $u_k$ はニューロン $k$ の更新後の値であることに注意して下さい。よって

です。以上のことから上の(a)〜(d)の場合の $\Delta{E}$ の正負を調べてみます。

(a)と(d)の場合は式(8)から $\Delta{E}=0$ です。
(b)の場合、更新後 $x_k=1$ になっているので(9)から $u_k{\ge}0$ 。また $\Delta{x}_k=1$ 。よって式(8)から $\Delta{E}{\le}0$ になります。
(c)の場合、更新後 $x_k=0$ になっているので(9)から $u_k<0$ 。また $\Delta{x}_k=-1$ 。よって式(8)から $\Delta{E}{\le}0$ になります。

以上から、どのような場合でも $\Delta{E}{\le}0$ になります。これで、ニューロンの出力値が0または1の場合でも $E$ が増加しないことが分かりました。