ホップフィールドネットワーク理解に向けての準備体操（４）

もう一つ別の例を考えます。

図２０

シナプス係数は「ホップフィールドネットワーク理解に向けての準備体操（３）」の図１３と同じく全て１（正確に言えば $i\neq{j}$ の時に $s_{ij}=1$ 、もちろん $s_{ii}=0$ ）とします。初期状態を $(x_1,x_2,x_3)=(1,-1,-1)$ とします。

図２１

まずニューロン１の出力を計算します。すると $x_1=-1$ （青色）となります。

これでもう安定状態になりました。以下のニューロン２、３の出力の計算は省略します。今回の安定状態は前回と異なり $(x_1,x_2,x_3)=(-1,-1,-1)$ となりました。

図２２

ただ、ここでちょっと注意することがあります。もし出力を計算するニューロンの順序を変えて、最初にニューロン２、次にニューロン３、次にニューロン１・・・というふうに計算したとすると結果が異なってきます。まずニューロン２の出力を計算すると $u_2=0$ になり、 $1(0)=1$ なので $x_2=1$ （赤色）になります。

図２３

次にニューロン３の出力を計算すると $x_3=1$ （赤色）になり、これで安定状態になりました。今回の安定状態は $(x_1,x_2,x_3)=(1,1,1)$ で図２１とは正反対の状態（１と−１が入れ替わった状態）です。

つまり、どの安定状態に達するかは初期状態とニューロンの計算順序に依存します。しかし、重要なことは、必ずどれかの安定状態に到達する、ということです。これはもっとニューロンの個数が多いホップフィールドネットワークでも変わらないそうです。それはなぜでしょうか？　ここからは説明が天下りになってしまうのですが、ホップフィールドネットワークではニューロンの出力を計算する毎に「ある量」が少なくなるか、あるいは等しいままであり、その量は絶対増えない、という、そんな量があるそうです。それは

$E=-\frac{1}{2}\Bigsum_{i=1}^n\Bigsum_{j=1}^ns_{ij}x_ix_j$ ・・・・(7)

という量で、この量は物理学との類推からエネルギーと呼ばれています。そして安定状態はこのエネルギー $E$ が極小になるような $x_i$ の組合せ（今まで状態という言葉を漠然と使ってきましたが、全てのニューロンの出力の組合せ $\{x_i\}$ を状態と呼ぶことにします。）になっているとのことです。ニューロンの出力を計算して更新するたびにエネルギーが減るか、少なくとも等しいままになりますので、出力の更新を繰り返すとエネルギーは減少していきます。そして最後には、ニューロンの出力をどのように更新しても減少出来ない状態に到達する、ということです。

では、なぜエネルギーは増加しないのか、について次回、検討します。