ホップフィールドネットワーク（５） - 工場統計力学（建設中！）

そこで思いついたのは、Ｘ軸には図２

図２
t

のパターンと一致するニューロンの数を採用するが、その場合になるべく図５

図５

と一致するようなパターンを採用するというものです。

表１

どういうことかと言いますと、たとえば図２と完全に一致するパターンでは図５とは１５個のニューロンが一致します。次に図２と１個だけ一致しない（つまり３４個が一致する）パターンでは、完全に（つまり３５個）一致するパターンに比べて１個のニューロンだけが出力が異なるわけですから、そのようなパターンは３５パターンあることになります。その中でなるべく図５との一致が多くなるようなパターンを選びます。図２と完全に一致するパターンでは図５とは１５個のニューロンが一致していました。これから１個のニューロンの出力が変わるわけですから一致する数は１個増える（一致していないニューロンが一致するようになる）かまたは１個減る（一致しているニューロンが一致しなくなる）かのどちらかです。そこで一致する数が１個増えるようなパターンを選ぶことにします。すると、この場合１６個のニューロンが図５と一致することになります。以下同様に考察すると、図２のパターンに一致する数と図５のパターンに一致する数の間には左の関係が成り立つことが分かります。

表２

表１に示すように図５に完全に（３５個）一致するパターンでは図２には１５個だけ一致します。では図２に一致する数をさらに少なくした場合はどうなるでしょうか？　図５と図２で出力が一致するマス目が１５個あるわけですから、図２に一致する数を１５より少なくするためにはこの１５個のマス目について出力を変えていかなければなりません。よって図５に一致するニューロンの数も１ずつ減っていくことになります。よって、表１は左のように書き足されます。

Ｘ軸をこのように考えてシナプス係数を式(9)

$s_{ij}=\left\{\begin{array}X_i(3)X_j(3)+X_i(4)X_j(4)&\;&(i\neq{j})\\0&\;&(i=j)\end{array}$ ・・・・(9)

で定めた時のエネルギー $E$ をＸの値（＝図２のパターンと一致するニューロンの数）をさまざまに変えて求めてみましょう。エネルギー $E$ は

$E=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j$ ・・・・(4)

でしたから、式(4)に(9)を代入して

$E=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1,j\neq{i}}^n\left[X_i(3)X_j(3)+X_i(4)X_j(4)\right]x_ix_j$ ・・・・(10)

になりますが、ここで、図２のパターンに関するエネルギー $E(4)$ を

$E=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1,j\neq{i}}^nX_i(4)X_j(4)x_ix_j$ ・・・・(11)

図５のパターンに関するエネルギー $E(3)$ を

$E=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1,j\neq{i}}^nX_i(3)X_j(3)x_ix_j$ ・・・・(12)

と定義すると

$E=E(3)+E(4)$ ・・・・(13)

が成り立ちます。

グラフ４

$E(4)$ についてはすでに「ホップフィールドネットワーク（３）」でグラフ２として求めたものと同じグラフになります。

グラフ５

$E(3)$ については、図５に一致するニューロンの数を数えて「ホップフィールドネトワーク（２）」の式(7)
$E=-2m^2+2nm-\frac{n(n-1)}{2}$ ・・・・(7)
を用いて計算すれば、左のグラフになります。

よって両者の和である $E$ のグラフは以下のようになります。

グラフ６

このグラフから、図２のパターンと一致するニューロンの数がＯ、１５、３５の時に $E$ が極小値となることが分かります。ホップフィールドネットワークは $E$ の極小値に到達して安定するので、これらの値のどれかに到達して安定します。そして値０は図２のパターンの逆のパターン、１５は図５のパターン、３５は図２のパターンに対応します。このどれに収束するかはホップフィールドネットワークに設定する初期パターンが何かによって決まります。つまり、初期パターンに一番近い記憶されたパターンに収束します。これでホップフィールドネットワークが複数のパターンを記憶出来ることが分かりました。