ホップフィールドネットワーク理解に向けての準備体操（５）

ホップフィールドネットワークにエネルギー $E$

が定義されました。これが増加しない理由を探っていきます。

今、 $k$ 番目のニューロンの出力 $x_k$ を計算して更新したとします。 $x_k$ は−１か１の値しかとらないので、 $x_k$ の変化の仕方は次の４通りです。

更新による $x_k$ の変化を $\Delta{x}_k$ で表すことにします。すると

となります。次に $\Delta{x}_i$ を使ってエネルギー $E$ の変化 $\Delta{E}$ を表してみます。式(7)で $x_k$ が現れる項を区別して書くと

$E=-\frac{1}{2}\left[\Bigsum_{i=1,i\neq{k}}^n\Bigsum_{j=1,j\neq{k}}^ns_{ij}x_ix_j+\Bigsum_{i=1}s_{ik}x_ix_k+\Bigsum_{j=1}s_{kj}x_kx_j\right]$ ・・・・(8)

ここで

$E=-\frac{1}{2}\left[\Bigsum_{i=1,i\neq{k}}^n\Bigsum_{j=1,j\neq{k}}^ns_{ij}x_ix_j+2\Bigsum_{j=1}s_{kj}x_kx_j\right]$
$E=-\frac{1}{2}\left[\Bigsum_{i=1,i\neq{k}}^n\Bigsum_{j=1,j\neq{k}}^ns_{ij}x_ix_j+2x_k\Bigsum_{j=1}s_{kj}x_j\right]$

よって

$E=-\frac{1}{2}\left[\Bigsum_{i=1,i\neq{k}}^n\Bigsum_{j=1,j\neq{k}}^ns_{ij}x_ix_j\right]-x_k\Bigsum_{j=1}s_{kj}x_j$ ・・・・(9)

となります。ここから

となります。ところで

となります。この $u_k$ はニューロン $k$ の更新後の値であることに注意して下さい。よって

です。以上のことから上の(a)〜(d)の場合の $\Delta{E}$ の正負を調べてみます。

(a)と(d)の場合は式(10)から $\Delta{E}=0$ です。
(b)の場合、更新後 $x_i=1$ になっているので(12)から $u_k{\ge}0$ 。また $\Delta{x}_i=2$ 。よって式(10)から $\Delta{E}{\le}0$ になります。
(c)の場合、更新後 $x_i=-1$ になっているので(12)から $u_k<0$ 。また $\Delta{x}_i=-2$ 。よって式(10)から $\Delta{E}<0$ になります。

以上から、どのような場合でも $\Delta{E}{\le}0$ になります。つまり、 $E$ が増加することはありません。