ホップフィールドネットワーク理解に向けての準備体操（１）

ニューラルネットワークの別の種類であるホップフィールドネットワークについて少し分かってきたので自分なりに理解したことをアップしていこうと思います。まだホップフィールドネットワークの説明というよりホップフィールドネットワークに向けての準備体操の段階です。

ホップフィールドネットワークは、今まで議論してきたパーセプトロンや多階層のネットワークとは異なり、各ニューロンは他の全てのニューロンに信号を出力します。ということは各ニューロンは他の全てのニューロンから信号を受けます。また、信号には今までのように「０」「１」ではなく、「−１」「１」を用います。ニューロンの入力 $x_i$ と出力 $y$ の関係はマカロック＝ピッツの式

$y=1\left(\Bigsum_{i=1}^ns_ix_i-h\right)$ ・・・・(1)

に従います。ただし $1()$ は

$u{\ge}0$ ならば $1(u)=1$
$u<0$ ならば $1(u)=-1$ ・・・・(2)

とします。さて、今、ニューロンは多数ある前提ですので式(1)も各ニューロン毎に区別して書いたほうがよいです。そこでニューロンは $n$ 個あるとします。そしてニューロン $i$ の出力を $x_i$ とします。これは他の全てのニューロンの入力になります。ただし、ニューロン $i$ 自身の入力にはなりません。ニューロン $i$ のしきい値を $h_i$ で表すことにします。さらに、ニューロン $i$ の持つシナプス係数のうちで $x_j$ に対応するものを $s_{ij}$ で表すことにします。ニューロン $i$ の出力 $x_i$ はニューロン $i$ 自身の入力にはならない規則でしたので

$s_{ii}=0$ ・・・・(3)

になります。ニューロン $i$ の入力 $x_j$ と出力 $x_i$ の関係は

$x_i=1\left(\Bigsum_{j=1}^ns_{ij}x_j-h_i\right)$ ・・・・(4)

になります。 $x_j$ の値は「−１」か「１」のいずれかです。ホップフィールドネットワークでは学習をしません。ですのでシナプス係数 $s_{ij}$ の値を変化させません。では「ホップフィールドネットワークでは何がおもしろいか？」という疑問が出ますが、それを今の時点で説明するのは難しいですが、ネットワークが安定になる様子に興味がある、とだけここでは述べておきます。
以下例題を長々と出すつもりでいます。その過程で何か見えてくるのではないかと期待しております。

ニューロン１個ではネットワークにはなり得ないので、最低２個のニューロンを考慮する必要があります。まず、２個のニューロンが相互に結合して信号を送り合っている様子を考えます。

図１

上の図ではニューロンを丸で示しました。ニューロンに番号をつけ、それぞれ「１」と「２」としました。信号の向きを矢印で示しました。信号のところに書いてある数字は信号の入力側のニューロンのシナプス係数を表しています。ここではまず、例として両方とも１としました。ニューロンを示す丸はその色でそのニューロンの出力を表しているとします。赤は「１」、青は「−１」を表すとします。この２つのニューロンのしきい値はともにゼロであるとします。すると、このネットワークの状態は安定しています。これを次のようにして確かめます。

まず、ニューロン１への入力を考えます。ニューロン１へはニューロン２から信号を受けています。ニューロン２は図では赤色ですから、その出力は１です。一方、それを受け取るニューロン１のシナプス係数も１です。しきい値は上に書いたように０でした。式(4)から、ニューロン１の出力 $x_1$ は