ホップフィールドネットワーク理解に向けての準備体操（２）

ニューラルネットワーク
  • 図２

今度は図２のようにs_{21}の値を「−１」にしてみます。するとこのネットワークはどう動作するでしょうか？　このネットワークは、まずニューロン１の出力を計算して更新し、次にニューロン２の出力を計算して更新し、それを繰り返す、というふうに動作するとします。まずニューロン１の出力を考えます。

  • 図３

説明の都合で

  • u_i=\Bigsum_{j=1}^2s_{ij}x_j・・・・(5)

とします。ニューロン１への入力は１で、対応するシナプス係数が１なのでu_1=1になります。よってx_1=1（赤色）になります。


次にニューロン２の出力を考えます。

  • 図４

ニューロン２への入力は１で、対応するシナプス係数が−１なのでu_2=-1になります。よってx_2=-1（青色）になります。


再びニューロン１の出力を考えます。

  • 図５

ニューロン１への入力は−１で、対応するシナプス係数が１なのでu_1=-1になります。よってx_1=-1（青色）になります。


再びニューロン２の出力を考えます。

  • 図６

ニューロン２への入力は−１で、対応するシナプス係数が−１なのでu_2=1になります。よってx_2=1（赤色）になります。


以下、この繰り返しになります。ここから分かるようにこのネットワークの状態は安定しておらず振動しています。これはこれでおもしろい現象なのですが、ホップフィールドネットワークの関心事は別にあります。ホップフィールドネットワークでは状態が最終的には安定になるようなネットワークしか扱いません。今回、状態が振動した原因は、s_{12}\neq{s}_{21}であったことにありそうなことは上の様子から推測がつきます。ホップフィールドネットワークでは

  • s_{ij}=s_{ji}・・・・(6)

でなければならない、としています。なぜこの条件が必要なのかはのちに説明します。


では、今度は式(6)を満たすように

  • 図７

のシナプス係数の設定を考えてみます。まずニューロン１の出力を考えます。

  • 図８

ニューロン１への入力は１で、対応するシナプス係数が−１なのでu_1=-1になります。よってx_1=-1（青色）になります。


次にニューロン２の出力を考えます。

  • 図９

ニューロン２への入力は−１で、対応するシナプス係数が−１なのでu_2=1になります。よってx_2=1（赤色）になります。


再びニューロン１の出力を考えます。すると図８と同じことが分かります。つまり、このネットワークは(x_1,x_2)=(-1,1)の状態で安定しています。


ところで、図９を見てみるとシナプス係数の設定は対称なのでニューロン１と２を入れ替えても安定した状態になることが分かります。つまりs_12=s_21=-1のネットワークには

  • 図１０
  • (x_1,x_2)=(-1,1)

と

  • 図１１
  • (x_1,x_2)=(1,-1)

の２つの安定な状態があるということが分かります。