ホップフィールドネットワーク理解に向けての準備体操（７）

ホップフィールドネットワークのエネルギー $E$ が減少傾向にあるということは分かりましたが、シナプス係数 $s_{ij}$ がどのように安定状態を決定しているのか分かりません。今の私にはこの問題は難しすぎるのですが、逆にある状態 $\{X_i\}$ が与えられた時にその状態を安定状態にするようなシナプス係数 $s_{ij}$ をどのように決めればよいかについてはネットに出ていました。ここで $X_i$ は安定状態にしたい状態の $i$ 番目のニューロンの出力を表すことにします。一方、一般の状態の $i$ 番目のニューロンの出力は $x_i$ で表すことにします。さて、シナプス係数 $s_{ij}$ は

$s_{ij}=\left\{\begin{array}X_iX_j&\;&(i\neq{j})\\0&\;&(i=j)\end{array}$ ・・・・(13)

と決めればよいです。この理由は次のようなものです。式(7)

$E=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j$ ・・・・(7)

に式(13)を代入すると

$E=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1,i\neq{j}}^nX_iX_jx_ix_j$ ・・・・(14)

ここで二重の $\Bigsum$ の中の項 $X_iX_jx_ix_j$ は、 $X_i$ , $X_j$ , $x_i$ , $x_j$ 　がいずれも−1か１の値しかとらないので、 $X_iX_jx_ix_j$ も−１か１の値です。よって $E$ を最低の値にするためには全ての $X_iX_jx_ix_j$ を１にすることです。これが実現出来るのは全ての $i$ について

$X_i=x_i$

とするか

$X_i=-x_i$

とするかの、この２つの仕方しかありません。ここから $\{X_i\}$ と $\{-X_i\}$ が安定状態になることが分かります。

本当にとするかとするかしかないことを確かめておきましょう。特定のについて考えます。の中のは−１か１のどちらかの値しか取ることが出来ません。
- そこで $X_ix_i=1$ と仮定してみます。すると $X_jx_j=1$ でないと $X_iX_jx_ix_j=1$ になりません。しかも全ての $j\neq{i}$ について $X_iX_jx_ix_j=1$ にしようとすれば、全ての $j\neq{i}$ について $X_j=x_j$ でなければなりません。一方、 $X_ix_i=1$ でしたので $X_i=x_i$ となり、結局全ての $i$ について $X_i=x_i$ になります。
- 反対に、 $X_ix_i=-1$ と仮定した場合、 $X_jx_j=-1$ でないと $X_iX_jx_ix_j=1$ になりません。しかも全ての $j\neq{i}$ について $X_iX_jx_ix_j=1$ にしようとすれば、全ての $j\neq{i}$ について $X_j=-x_j$ でなければなりません。一方、 $X_ix_i=1$ でしたので $X_i=-x_i$ となり、結局全ての $i$ について $X_i=-x_i$ になります。

これに関連して「ホップフィールドネットワーク理解に向けての準備体操（３）」で述べた

ある安定状態の個々のニューロンの出力で「１」と「−１」を入れ替えたものも安定状態になることが推測されます。この推測を確かめるのはのちに行います。

という宿題をここで果たしておきたいと思います。式(7)で全ての $i$ について $x_i$ を $-x_i$ で置きかえても $E$ の値が変わらないことは容易に分かると思います。よって $x_i=X_i$ が安定状態であれば $E$ は最小値ですから、 $x_i=-X_i$ でも $E$ は最小値になります。このことから、ある安定状態の個々のニューロンの出力で「１」と「−１」を入れ替えたものも安定状態になる、ことが言えます。

もう１つ宿題が残っていました。「ホップフィールドネットワーク理解に向けての準備体操（２）」で

ホップフィールドネットワークでは

$s_{ij}=s_{ji}$ ・・・・(6)

でなければならない、としています。なぜこの条件が必要なのかはのちに説明します。

と書いていました。式(6)の必要性をここで述べます。「[:title=ホップフィールドネットワーク理解に向けての準備体操（５）]」で $E$ が絶対増加しないことを証明する際に式(6)を使っています。もし式(6)が成り立たないと式(8)以降が成り立たず、 $E$ が絶対増加しないということが言えなくなります。すると安定状態の存在も言えなくなります。安定状態の存在を確保するためには式(6)の条件が必要になります。