神経回路網の自己組織と神経場のパターン力学　甘利俊一著（８）

「神経回路網の自己組織と神経場のパターン力学　甘利俊一著（７）」で述べた私の解釈、つまり

- $\tau\under{\dot{s}}=-\under{s}+cr\under{x}$ ・・・・(7)
の解である（シナプス荷重ベクトル）はを定めた時の関数の値が確率的にしか決まらない関数*1であり、平均学習方程式(8)
- [tex:\tau\under{\dot{s}}=-\under{s}+c\left]・・・・ (8)
は $\under{s}(t)$ の集合平均 $\left<\under{s}_i(t)\right>$ を近似的に求めることが出来る方程式である。

という解釈が正しいのかどうか自信がありません。しかしこの問題はひとまず置いておいて、次に進みます。

2.3 教師あり学習の例

いま、情報源 $I$ は有限個の信号 $\under{x}_1,\under{x}_2,\cdots, \under{x}_N$ を含むものとし、 $I$ の信号は“良い信号” $I_+$ と“悪い信号” $I_-$ とに分類されているものとしよう。 $I_+$ に属する良い信号には教師信号として $y=1$ が付随し、 $I_-$ に属する悪い信号には教師信号 $y=-1$ が付随するものとする。したがって、情報源 $I$ は $(\under{x}_{\alpha},y_{\alpha})$ $\alpha=1,\cdots,N$ を確率 $p_{\alpha}$ で発生する

$I=\left\{(\under{x}_{\alpha},y_{\alpha}),p_{\alpha}\right\}$

（ $\under{x}_{\alpha}$ が $I_+$ に属するとき $y_{\alpha}=1$ 、 $I_-$ に属するとき $y_{\alpha}=-1$ ）。この情報源に従って学習し、シナプス荷重 $\under{s}$ を(7)に従って変えてゆき、ついには教師信号 $y$ の指示がなくても $I_+$ の信号を受けたときには素子が興奮して $z=1$ の出力をだし、 $I_-$ の信号を受けたときには興奮せず $z=0$ を出力するようにできるであろうか。信号をこのように分類識別する学習は、パーセプトロンという学習神経細胞モデルで知られている。

「神経回路網の自己組織と神経場のパターン力学――甘利俊一著――生物物理　Vol. 21 No.4 (1981)」より

これは、私が「１個のニューロンの学習（１）」の初めでぎこちなく問題定義しようとしたことをきれいに定式化したものだと思います。

学習信号 $r$ として、教師信号 $y$ と細胞の出力 $z=1(u)$ の差をとり、

$r(\under{s},\under{x},y)=y-z$

とすれば、ある条件のもとで、学習が完全に成功すること、すなわち $I_+$ に属する信号が入力すると興奮し、 $I_-$ に属する信号が入力しても興奮しないようになることが知られている（パーセプトロンの学習）。

「神経回路網の自己組織と神経場のパターン力学――甘利俊一著――生物物理　Vol. 21 No.4 (1981)」より

パーセプトロンの学習が収束することの証明は「１個のニューロンの学習（５）」〜「（８）」に示しました。しかしここでは平均学習方程式(8)

[tex:\tau\under{\dot{s}}=-\under{s}+c\left]・・・・ (8)

からパーセプトロンの学習の収束を証明出来るのでしょうか？　それ以前にそもそも、

$r(\under{s},\under{x},y)=y-z$ ・・・・(a13)

とすることがパーセプトロンになるのでしょうか？　以前の議論でパーセプトロンで使用した標準デルタ則は以下のようなものでした。

$\Delta{h}=-a(y-z)$ ・・・・(a14)
$\Delta\under{s}=a(y-z)\under{x}$ ・・・・(a15)

でした（「１個のニューロンの学習（２）」の式(2)(3)参照）。ここで $a$ は任意の正の定数です。一方、式(7)に式(a13)を代入すると

$\tau\under{\dot{s}}=-\under{s}+c(y-z)\under{x}$ ・・・・(a16)

となります。式(a14)(a15)と式(a16)を比べてみると、似た点もありますが異なる点もあります。まず(a14)はしきい値 $h$ の変化に関する式ですが、(a16)ではしきい値が変化しません。次に、学習が完了して常に $y$ と $z$ が一致するようになった時、(a14)(a15)ではしきい値 $h$ やシナプス荷重ベクトル $\under{s}$ はもはや変化しなくなるのですが、(a16)のほうは

$\tau\under{\dot{s}}=-\under{s}$ ・・・・(a17)

となって最終的にはゼロベクトル $\under{0}$ に収束してしまいます。しかし、それでは学習したことにはなりません。そうすると式(a16)に従ってパーセプトロンの動作を導くことが出来るのかあやしくなってきます。これをどう考えたらよいのでしょうか？　今の私には分かりません。

*1:こういう関数をなんと呼ぶのだろうか？　確率過程だろうか・・・