１個のニューロンの学習（２） - 工場統計力学（建設中！）

$h{\leftar}h-a(r-y)$ ・・・・(2)
$s_i{\leftar}s_i+a(r-y)x_i$ ・・・・(3)

で学習が実現できるかどうか、例題を使って試してみる。

「パターン認識（４）」で登場したような入力信号が２個の場合を考える。この入力をそれぞれ $x$ と $y$ で表すことにする。ニューロンからの出力を $z$ で表すことにする。（上の式(2)(3)と変数の使い方が異なっているので注意。）　 $x,y,z$ は０か１の値をとるものとする。このニューロンに $(x,y)=(1,1)$ の時だけ $z=1$ を出力し、その他の $(x,y)$ の時は $z=0$ を出力するように学習を行う。つまりこれは、このニューロンをAND素子にしようとするものである。 $(x,y)$ を与えた時の $z$ の正解の値を以下の表で示す。

表１

パターンを $(0,0)$ 、 $(1,0)$ 、 $(0,1)$ 、 $(1,1)$ の順にニューロンに与え、その時の出力 $z$ を観察する。そして、１回出力を得るたびに、その出力と正解の値（これは教師信号によって示される）を用いてシナプス荷重としきい値を式(2)(3)に従って変化させる。この例題と式(2)(3)では変数の使い方が異なっているので、この例題用に式(2)(3)を書き換えておく。その前に、 $x$ のシナプス荷重を $b$ で、 $y$ のシナプス荷重を $c$ で表すことにする。しきい値にはそのまま $h$ を用いることにする。式(2)(3)の定数 $a$ はそのまま用いることにする。また教師信号 $r$ もそのまま用いることにする。するとマカロック・ピッツの式

$y=1\left(\Bigsum_{i=1}^ns_ix_i-h\right)$ ・・・・(1)

は

$z=1\left(bx+cy-h\right)$ ・・・・(4)

と書き換えられ、式(2)は

$h{\leftar}h-a(r-z)$ ・・・・(5)

式(3)は

$b{\leftar}b+a(r-z)x$ ・・・・(6)
$c{\leftar}c+a(r-z)y$ ・・・・(7)

と書き換えられる。

$a$ の値をどう決めるかについて今の時点では根拠がないが、とりあえず $a=0.5$ としてみる。また、 $b$ 、 $c$ 、 $h$ の初期値を、とりあえず $b=1$ 、 $c=-1$ 、 $h=0$ とする。この時、式(4)は

$z=1(x-y)$ ・・・・(8)

となるので、パターン $(0,0)$ 、 $(1,0)$ 、 $(0,1)$ 、 $(1,1)$ を与えた時の出力 $z$ は

表２

のようになる。これは目的とする表１の結果（＝正解）とは大きく異なっている。はたしてこのニューロンは式(5)(6)(7)によるシナプス荷重としきい値の調整によって、表１を学習出来るだろうか？

学習の様子を分かりやすくするために、「パターン認識（４）」の時と同じように $(x,y)$ を座標で表すことにする。

図１

赤い丸で示したのが他のパターンと識別すべきパターン $(1,1)$ である。さて、このあとの説明では座標軸が邪魔になってくるので図を

図２

のように変更して以下の説明を行なうことにする。

まず、最初にパターン $(0,0)$ が与えられた場合の様子を以下の図で示す。

図３

図３の一番上の式 $x-y=0$ は、式(4)の $bx+cy-h$ の値を０とした式である。この式は、 $z$ の値が０になる領域と１になる領域の境界を表している。図３において斜めに書かれた線がこの式が表す直線である。この直線から出ている矢印は、直線のそちら側が $z$ が１であることを示している。なお、境界線上の点は $z=1$ 側に含まれる。次に $(x,y)=(0,0)$ は入力パターンを示している。図ではパターン $(0,0)$ を示す丸を黒線の丸で囲んで、それが現在の入力パターンであることを示している。次の式 $z=1(x-y)=1(0-0)=1(0)=1$ は、式(4)の現在の式である式(8)に $(x,y)=(0,0)$ を代入して $z$ を計算したものである。最後の $r=0$ は教師信号の値を示してる。この例では $z$ と $r$ の値は異なっているので、ニューロンの出力は「不正解」である。よって式(5)(6)(7)によって $h$ 、 $b$ 、 $c$ が書き換えられる。その結果