工場統計力学（建設中！）

パターン認識（４）

ニューラルネットワーク

「パターン認識（２）」で示した単独ニューロンのパターン認識の限界について、それがどのようなものであるかを調べるために、問題を簡略化して、横２マス×縦１マスの格子を考える。

図１１

この格子の場合、あり得るパターンは以下の４つである。

パターン１
パターン２
パターン３
パターン４

このうちパターン２と４の時のみ１を出力するようにニューロンを構成することは出来る。しかし、パターン２と３の時のみ１を出力するようにニューロンを構成することは出来ない。その理由を以下に示す。
左側のマスの値を $x$ 軸に、右側のマスの値を $y$ 軸に示すようにこれらの４つのパターンを図示すると

図１２

のようになる。ただし丸の中の数字はパターンの番号である。ニューロンはこの２マス格子の出力を入力とするので、このニューロンの出力を $z$ とすると、マカロック・ピッツの式

$z=1\left(\Bigsum_{i=1}^ns_ix_i-h\right)$ ・・・・(9)
ただし、は階段関数で、
- $1(x)=0$ 　　　 $(x<0)$
- $1(x)=1$ 　　　 $(x{\ge}0$

から

$z=1(ax+by-h)$ ・・・・(10)

と書ける。ただし $a$ は入力 $x$ の、 $b$ は入力 $y$ のシナプス荷重である。この式から $z=1$ になるのは

$ax+by{\ge}h$ ・・・・(11)

の場合であり、また、 $z=0$ になるのは

[tex:ax+by

の場合であり、その境界は

$ax+by=h$ ・・・・(13)

であることが分かる。これは図１１でいうと直線になる。さて、パターン２と４の時のみ１を出力するにはパターンを直線で

図１３

のように分ければよいので、これは可能である。しかし、パターン２と３の時のみ１を出力することは、１本の直線でパターン２、３とパターン１，４に分けることが出来ない。

図１４

よってパターン２と３のの時のみ１を出力するようにニューロンを構成することは出来ない。

以上は２マス、つまり２入力、の場合の話であるが、入力の数がもっと増えても考え方は同じである。入力が $N$ 個あれば、マカロック・ピッツの式(9)から、ニューロンの出力が１になるパターンのグループと出力が０になるパターンのグループの間には、シナプス荷重 $s_i$ としきい値 $h$ がいかなる値であっても $N-1$ 次元の超平面

$\Bigsum_{i=1}^ns_ix_i=h$ ・・・・(14)

を置くことが出来ることが分かる。

ところで２つのパターンのグループ間に超平面を引くことが出来る場合、このパターンのグループは線形分離可能と言う。逆に、出来ない場合を線形分離不可能と言う。この言葉を用いれば、１個のマカロック・ピッツのモデルのニューロンが持つパターン認識の限界とは、線形分離不可能なパターン認識が出来ないことである、と言うことが出来る。