制限ホップフィールドネットワーク（２） - 工場統計力学（建設中！）

が
図２

に変わると、式(3)

$E=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j+\Bigsum_{i=1}^nh_ix_i$ ・・・・(3)

はどのように書き換えられるでしょうか？　まず式(3)の $\Bigsum_{i=1}^nh_ix_i$ について考えてみます。見える層のしきい値を $a_i$ 、隠れた層のしきい値を $b_j$ で表します。そして見える層のニューロンの出力を $v_i$ 、隠れた層のニューロンの出力を $h_j$ で表します。 $h_j$ は、今までの表記法ではニューロン $j$ のしきい値を表していましたが、これから採用する表記法では上記の意味になります。文字 $h$ を用いたのは「隠れた(hidden)」の頭文字だからのようです。また、 $v$ のほうは「見える(visible)」の頭文字のようです。
さて、このように表記法を変えると、 $\Bigsum_{i=1}^nh_ix_i$ は $\Bigsum_{i=1}^{n(v)}a_iv_i+\Bigsum_{j=1}^{n(h)}b_jh_j$ になります。ここで $n(v)$ は見える層に属するニューロンの数で、 $n(h)$ は隠れた層に属するニューロンの数です。上の図の例に当てはめると、 $n=7$ 、 $n(v)=3$ 、 $n(h)=4$ です。
次に $\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j$ について検討します。これから採用する表記法では $i$ は見える層のニューロンを、 $j$ は隠れた層のニューロンを指すことになるので、上の図１での $s_{12}$ は、これからの表記法では図２を参照して $w_{11}$ のように書き表されることになります。 $w_{ij}$ では必ず、１番目の添字が見える層のニューロンを、２番目の添字が隠れた層のニューロンを、指すことになります。今までの表記法のように $s_{12}=s_{21}$ とするわけにはいきません。そうすると $s_{21}$ も $w_{11}$ で表されなければならなくなります。つまり、今までの表記法での $s_{12}x_1x_2+s_{21}x_2x_1$ を、今回の表記法では $w_{11}v_1h_1+w_{11}h_1v_1$ 、つまり $2w_{11}v_1h_1$ と表すことになります。よって $\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j$ は、 $s_{ii}=0$ であることに注意すれば、今回の表記法では $2\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}w_{ij}v_ih_j$ と表されることになります。なお、 $s_{ij}$ が正方行列であるのに対して $w_{ij}$ が必ずしも正方行列とは限らない点に注意して下さい。上の図の例で言えば $s_{ij}$ は７×７の行列ですが、 $w_{ij}$ は３×４の行列です。

以上から式(3)は、以下のように書き換えられます。

$E=-\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}w_{ij}v_ih_j+\Bigsum_{i=1}^{n(v)}a_iv_i+\Bigsum_{j=1}^{n(h)}b_jh_j$ ・・・・(4)

では、次に特定のパターンの時にエネルギー $E$ が最低になるように $w_{ij}$ と $a_i$ と $b_j$ を調整することを考えます。これはホップフィールドネットワーク再検討（２）と同様に考えればよいです。よって、 $v_i=V_i$ 、 $h_j=H_j$ であるような特定のパターンの時にエネルギー $E$ が最小になるためには

$E=-\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right) \left(H_j-\frac{1}{2}\right) \left(v_i-\frac{1}{2}\right) \left(h_j-\frac{1}{2}\right)$ ・・・・(5)

と置けばよいことが分かります。式(5)を変形して

$E=-\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right) \left(H_j-\frac{1}{2}\right)v_ih_j+\frac{1}{2}\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right) \left(H_j-\frac{1}{2}\right)v_i+\frac{1}{2}\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right) \left(H_j-\frac{1}{2}\right)h_j-\frac{1}{4}\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right) \left(H_j-\frac{1}{2}\right)$
$E=-\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right) \left(H_j-\frac{1}{2}\right)v_ih_j+\frac{1}{2}\Bigsum_{i=1}^{n(v)}v_i \left[\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right)\left(H_j-\frac{1}{2}\right)\right]+\frac{1}{2}\Bigsum_{j=1}^{n(h)}h_j \left[\Bigsum_{i=1}^{n(v)}\left(V_i-\frac{1}{2}\right)\left(H_j-\frac{1}{2}\right)\right]-\frac{1}{4}\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right) \left(H_j-\frac{1}{2}\right)$

ここで定数項を無視すれば

$E=-\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right) \left(H_j-\frac{1}{2}\right)v_ih_j+\frac{1}{2}\Bigsum_{i=1}^{n(v)}v_i \left[\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right)\left(H_j-\frac{1}{2}\right)\right]+\frac{1}{2}\Bigsum_{j=1}^{n(h)}h_j \left[\Bigsum_{i=1}^{n(v)}\left(V_i-\frac{1}{2}\right)\left(H_j-\frac{1}{2}\right)\right]$ ・・・・(6)

式(6)を(4)と比較すると、

$w_{ij}=\left(V_i-\frac{1}{2}\right) \left(H_j-\frac{1}{2}\right)$ ・・・・(7)
$a_i=\frac{1}{2}\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right)\left(H_j-\frac{1}{2}\right)$ ・・・・(8)
$b_j=\frac{1}{2}\Bigsum_{i=1}^{n(v)}\left(V_i-\frac{1}{2}\right)\left(H_j-\frac{1}{2}\right)$ ・・・・(9)

とすればよいことが分かります。