ローゼンブラットのパーセプトロン（４） - 工場統計力学（建設中！）

私が以前読んでいた概説書やネットではよく「ミンスキーとパパートが『パーセプトロン』という本でパーセプトロンの学習能力の限界を示したためにニューラルネットワークの研究は冬の時代を迎えた」というような記事を見かけたのですが、「ローゼンブラットのパーセプトロン（３）」までの私の考察ではローゼンブラットの２層構造のパーセプトロンはそのような限界がないという結論になりました。この不一致はどういうことなのかよく分かりませんが、一つにはパーセプトロンという言葉が複数の意味を持っている（２層構造のニューラルネットワークと単一のニューロン）ことが混乱の原因だろうと思います。ミンスキーとパパートの「パーセプトロン」という本については英語版のWikipediaに記述があるので、あとで訳してみようと思います。

図１：ローゼンブラットのパーセプトロン

図３：単一のニューロンとしてのパーセプトロン

さて、私の述べた方法でパーセプトロンがいかなるパターン群をも識別出来るように学習が出来るといっても、それが実用的でないことも言っておかないといけないと思います。たとえば、今まで考えてきたように横５マス縦７マスの格子上のパターン（たとえば図４のような）

図４

からなるパターン群を学習させる場合、入力信号 $x_i$ の数は５×７＝３５になります。ここに全てのパターン $\vec{x}(k)$ を与えて、それがあるパターン群に属するか否かを学習させるとすれば、全部のパターンの数は $2^{35}=34,359,738,368$ にもなります。私が述べた方法では真ん中の層のニューロンの数 $p$ が34,359,738,368個も必要になります。これではとても実用的ではありません。とはいえ、それほど大量の個数ではなくても $p$ の数を増やせば学習の限界が少なくなるというのは予想がつくことです。どの程度の数ならばどこまで学習能力が高まるのかというのは興味ある問題だと思います。