工場統計力学（建設中！）

１個のニューロンの学習（５）

ニューラルネットワーク

では、これから、線形分離可能なパターン群の識別の学習にパーセプトロンが必ず成功することを証明します。このことはパーセプトロンの収束定理と呼ばれています。

まず、数学的な取り扱いを楽にするためにいくつかの変形を行います。「１個のニューロンの学習（１）」の式(1)

$y=1\left(\Bigsum_{i=1}^ns_ix_i-h\right)$ ・・・・(1)

に関連して

$s_{n+1}=-h$ ・・・・(9)
$x_{n+1}=1$ ・・・・(10)

と定義する。そして、２つのベクトル

$\vec{s}=(s_1,s_2,...,s_n,s_{n+1})$ ・・・・(11)
$\vec{x}=(x_1,x_2,...,x_n,x_{n+1})$ ・・・・(12)

を定義する。すると式(1)は

$y=1\left(\vec{s}\cdot\vec{x}\right)$ ・・・・(13)

と書くことが出来ます。なお、 $\vec{s}\cdot\vec{x}$ は $\vec{s}$ と $\vec{x}$ の内積を意味します。この記述法では、１つのパターンはベクトル $\vec{x}$ で表されることになります。このようにベクトルを導入すると標準デルタ則

$h{\leftar}h-a(r-y)$ ・・・・(2)
$s_i{\leftar}s_i+a(r-y)x_i$ ・・・・(3)

は(2)も(3)に含まれた形

$s_i{\leftar}s_i+a(r-y)x_i$ ・・・・(3)
（ただし、 $i=1,2,....,n,n+1$ ）

で表すことが出来ます。

パターンの数が $m$ 個あるとし、それらのパターンを $\vec{x}(1)$ 、 $\vec{x}(2)$ 、・・・・、 $\vec{x}(m)$ で表すことにします。これらのパターンは集合 $I^+$ と $I^-$ のいずれかに属するものとします。 $I^+$ と $I^-$ は共通の要素を持たないとします。また、 $I^+$ と $I^-$ は線形分離可能であるとします。線形分離可能なので、

$\vec{x}(i)\in{I^+}$ であるような $\vec{x}(i)$ について $\vec{S}\cdot\vec{x}(i)>0$
$\vec{x}(i)\in{I^-}$ であるような $\vec{x}(i)$ について $\vec{S}\cdot\vec{x}(i}<0$

であるような $\vec{S}$ が存在します。

さて、ニューロンを

$\vec{x}(i)\in{I^+}$ であるような $\vec{x}(i)$ については $y=1$
$\vec{x}(i)\in{I^-}$ であるような $\vec{x}(i)$ については $y=0$

を出力するように学習することを目指すことにします。