ローゼンブラットのパーセプトロン（１）

今まで１個のニューロンで、学習規則として標準デルタ則

• ・・・・(1)
• ・・・・(2)
• ただし
  • はしきい値、は定数、は教師信号、はニューロンの出力信号、は番目のシナプス係数、は番目の入力信号を持つものをパーセプトロンと呼んできましたが、歴史的に言えばローゼンブラットが最初に提案しパーセプトロンと名付けたニューラルネットワークは下図
• 図１
• 

のような構成をしています。一番左に入力部があり、真ん中に個のニューロンからなる層があり、右に個のニューロンからなる層があります。つまり２層のニューラルネットワークです。このニューラルネットワークでは、右側の層に属するニューロンについてはデルタ則に従ってしきい値やシナプス係数を変化させます。しかし、真ん中の層に属するニューロンについてはしきい値とシナプス係数を変化させません。このことをもう少し明確に表しましょう。

図１を少し変形して下図

• 図２
• 

のようにします。この図では真ん中の層に属するニューロンを、右側の層に属するニューロンをの形に番号を付けて区別しています。ニューロンのしきい値を、そのニューロンの番目の入力信号に対応するシナプス係数をで表すことにします。は1か2の値です。

まずとの値は変化させません。
次にニューロンの出力信号をで表します。これがニューロンの入力になります。各々のニューロンの標準デルタ則は以下のように表すことが出来ます。

• ・・・・(3)
• ・・・・(4)

右側の層に属する個のニューロンは各々、真ん中の層に属する個のニューロンの全てから入力を受け取るものとします。

このパーセプトロンのとについては、学習によって値が変化するので初期値はあまり重要でありませんが、とについては変化させませんので、これをどう定めるのか気になります。しかし、私が調べた範囲では、これらの変数をどう定めるのかについての言及はありませんでした。

さて、このパーセプトロンの学習能力はどの程度のものでしょうか？ ここで、左側の個の入力信号をベクトルで表すことにします。同様に真ん中の層のニューロンの出力をベクトルで表すことにします。このように考えると真ん中の層はベクトルをに変換する関数と考えることが出来ます。しかも、との値は変化しないので、の変換結果はいつも同じになります。次に右の層を考えると、これはを入力とする「１個のニューロンの学習（９）」で考えたニューラルネットワークと同等です。そうすると、このネットワークにも「１個のニューロンの学習（９）」でのネットワークと同様の学習能力の限界があることになります。そこで最初私は、図１のパーセプトロンも「１個のニューロンの学習（９）」と同様の学習能力の限界があると考えていました。しかし、検討するにつれて、どうもそうではないと思うようになりました。