１個のニューロンの学習（６） - 工場統計力学（建設中！）

ここでさらに、

$\vec{x}(i)\in{I^+}$ であるような $\vec{x}(i)$ については $\vec{v}(i)=\vec{x}(i)$
$\vec{x}(i)\in{I^-}$ であるような $\vec{x}(i)$ については $\vec{v}(i)=-\vec{x}(i)$

というふうに $\vec{v}(i)$ （ $i=1,2,...,m$ ）を定義します。すると全ての $i$ について

$\vec{S}\cdot\vec{v}(i)>0$ ・・・・(14)

となります。この時、標準デルタ則

$s_i{\leftar}s_i+a(r-y)x_i$ ・・・・(3)
（ただし、 $i=1,2,....,n,n+1$ ）

は

ならば
- $s_i{\leftar}s_i$ ・・・・(15)
ならば
- $s_i{\leftar}s_i+av_i$ ・・・・(16)

と書き換えることが出来ます。ただし $v_i$ はベクトル $\vec{v}$ の $i$ 番目の成分です。さて、式(15)は明らかなので式(16)について確かめます。まず $r=1$ 、 $y=0$ の場合はまず $r=1$ から $\vec{x}=(x_1,x_2,...,x_n,x_{n+1})$ は $\vec{x}\in{I^+}$ 。よって $\vec{v}=\vec{x}$ 。よって式(3)から

$s_i{\leftar}s_i+a(r-y)v_i$

ここで $r=1$ 、 $y=0$ を代入すれば式(16)になります。次に $r=0$ 、 $y=1$ の場合は $r=0$ から $\vec{x}\in{I^-}$ 。よって $\vec{v}=-\vec{x}$ 。よって式(3)から

$s_i{\leftar}s_i-a(r-y)v_i$

ここで $r=0$ 、 $y=1$ を代入すればやはり式(16)になります。式(16)はベクトルを用いて

ならば
- $\vec{s}{\leftar}\vec{s}+a\vec{v}$ ・・・・(17)

と書き直すことが出来ます。ここまでで証明の準備が整いました。

$\vec{s}$ の最初の値を $\vec{s}_1$ で表します。ニューロンがこの $\vec{s_1}$ で表される設定である時にパターン $\vec{x}(i)$ をニューロンに与えていきます。パターン $\vec{x}(i)$ をニューロンに与える順序は任意です。このようにしてニューロンにパターンを与えていく間にどれかのパターン $\vec{x}(i)$ でニューロンの出力が不正解、すなわち $r{\neq}y$ になります（ならないとすれば、すでにニューロンの学習が完了していることになります）。この時のパターンを $\vec{P}(1)$ で表し、それに対応する $\vec{v}$ を $\vec{Q}(1)$ で表すことにします。するとニューロンは式(17)に従って $\vec{s}_1$ を $\vec{s}_2$ に変更するとします。すると式(17)から

$\vec{s}_2=\vec{s}_1+a\vec{Q}(1)$ ・・・・(18)

今度はニューロンの設定が $\vec{s}_2$ になった状態でパターンを受け付けます。そしてどれかのパターン $\vec{x}(i)$ でニューロンの出力が不正解になります。この時のパターンを $\vec{P}(2)$ で表し、それに対応する $\vec{v}$ を $\vec{Q}(2)$ で表すことにします。 $\vec{s}_2$ は $\vec{s}_3$ に変化し、両者の関係は

$\vec{s}_3=\vec{s}_2+a\vec{Q}(2)$ ・・・・(19)

となります。同様にして $k$ 番目に不正解になったパターンを $\vec{P}(k)$ 、それに対応する $\vec{v}$ を $\vec{Q}(k)$ で表します。その時は

$\vec{s}_{k+1}=\vec{s}_k+a\vec{Q}(k)$ ・・・・(20)

が成り立ちます。ここで $\vec{P}(k)$ は $\vec{x}(i)$ 　 $(i=1,...,m)$ のいずれかであることに注意して下さい。また、 $\vec{P}(1)$ 、 $\vec{P}(2)$ ・・・・・、 $\vec{P}(k)$ の中には同じパターンがある可能性もあることに注意して下さい。例えば「１個のニューロンの学習（３）」に示した例でいえば、