2014-09-11

$\vec{s}_k\cdot\vec{P}(k)$ について考えます。 $\vec{P}(k)$ は $\vec{s}_k$ の時に不正解であったパターンなので、もし $r=1$ であれば $y=0$ 。よって「１個のニューロンの学習（５）」の式(13)

$y=1\left(\vec{s}\cdot\vec{x}\right)$ ・・・・(13)

から

$1\left(\vec{s}_k\cdot\vec{P}(k)\right)=0$

よって

$\vec{s}_k\cdot\vec{P}(k)<0$

ここで $r=1$ なので $\vec{P}\in{I^+}$ 。よって $\vec{Q}(k)=\vec{P}(k)$ 。よって

$\vec{s}_k\cdot\vec{Q}(k)<0$

となります。逆に $r=0$ であれば $y=1$ 。よって式(13)から

$\vec{s}_k\cdot\vec{P}(k){\ge}0$

ここで $r=0$ なので $\vec{P}\in{I^-}$ 。よって $\vec{Q}(k)=-\vec{P}(k)$ 。よって

$\vec{s}_k\cdot\vec{Q}(k){\le}0$

となります。よって $r$ の値に関わらず

$\vec{s}_k\cdot\vec{Q}(k){\le}0$ ・・・・(21)

となります。

ここで

$\left(\vec{s}_{k+1}-A\vec{S}\right)^2$

を計算します。ただしベクトル $\vec{s}_{k+1}-A\vec{S}$ の２乗は、自分自身との内積

$\left(\vec{s}_{k+1}-A\vec{S}\right)\cdot\left(\vec{s}_{k+1}-A\vec{S}\right)$

つまり $\vec{s}_{k+1}-A\vec{S}$ の長さを意味するものとします。また $A$ は任意の定数とします。「１個のニューロンの学習（６）」の式(20)

$\vec{s}_{k+1}=\vec{s}_k+a\vec{Q}(k)$ ・・・・(20)

を用いると

- $=\left(\vec{s}_k+a\vec{Q}(k)-A\vec{S}\right)^2$
- $=\left(\vec{s}_k-A\vec{S}\right)^2+2a\left(\vec{s}_k-A\vec{S}\right)\cdot\vec{Q}(k)+a^2\vec{Q}(k)^2$
- $=\left(\vec{s}_k-A\vec{S}\right)^2+2a\vec{s}_k\cdot\vec{Q}(k)-2aA\vec{S}\cdot\vec{Q}(k)+a^2\vec{Q}(k)^2$

よって

- $=\left(\vec{s}_k-A\vec{S}\right)^2+2a\vec{s}_k\cdot\vec{Q}(k)-2aA\vec{S}\cdot\vec{Q}(k)+a^2\vec{Q}(k)^2$ ・・・・(22)

式(21)(22)と $a>0$ から

$\left(\vec{s}_{k+1}-A\vec{S}\right)^2{\le}\left(\vec{s}_k-A\vec{S}\right)^2-2aA\vec{S}\cdot\vec{Q}(k)+a^2\vec{Q}(k)^2$ ・・・・(23)

式(23)の左辺は $\vec{s}_{k+1}$ と $A\vec{S}$ の差の長さの２乗であり、右辺の第１項は $\vec{s}_k$ と $A\vec{S}$ の差の長さの２乗です。 $\vec{s}_{k+1}$ と $A\vec{S}$ の差の長さの２乗のほうが $A\vec{S}$ の差の長さの２乗より小さいことを示すことが出来れば、ニューロンが $\vec{s}$ を変化させるたびに $\vec{s}$ が $A\vec{S}$ に近づくことが言え、最終的に学習が完了出来ることの証明に一歩近づきます。そのためには