神経回路網の自己組織と神経場のパターン力学　甘利俊一著（９）

式(a16)

$\tau\under{\dot{s}}=-\under{s}+c(y-z)\under{x}$ ・・・・(a16)

を救おうとしてひとつ思いついたのが、 $s_i$ に比べて $\tau$ と $c$ が非常に大きい、とすれば式(a16)は近似的に

$\tau\under{\dot{s}}=c(y-z)\under{x}$ ・・・・(a18)

とみなすことが出来て、以前検討していた標準デルタ則

$\Delta\under{s}=a(y-z)\under{x}$ ・・・・(a15)

に近くなるのではないか、というものです。

しかし、これもうまくいかないような気がします。というのは学習が進めば $y=z$ になる確率が大きくなります。するといくら $c$ が大きくても $c(y-z)\under{x}$ の値がゼロになる確率が大きくなりますので(a16)の $-\under{s}$ を無視することが出来なくなる確率が大きくなります。こう考えると

$\tau\under{\dot{s}}=-\under{s}+cr\under{x}$ ・・・・(7)

という枠組みでパーセプトロンを考えること自体が困難なような気がします。

この件が解決しないので「神経回路網の自己組織と神経場のパターン力学」の読解を先に進めることが出来ません。少し時間をとって、別の方向に進んでいこうと思います。ただ、この論文のこのセクション「2.3 教師あり学習の例」の残りの部分だけは以下に示しておこうと思います。

また、信号 $\under{x}_{\alpha}$ に対する教師信号 $\under{y}_{\alpha}$ が一般のアナログ信号であるときに、 $\under{x}_{\alpha}$ を受けて出来るだけ $\under{y}_{\alpha}$ に近い信号を出力するように $\under{s}$ を調整する学習がある。これについても、平均学習方程式を用いると、種々の結論が得られる。すなわち、学習信号 $r$ を教師信号に等しく $r=y$ とおくといわゆる相関学習が実現でき、また

$r=y-u$

とおくと、最小二乗の意味、すなわち、 $\under{x}_{\alpha}$ を入力したときの細胞の実際の出力 $z_{\alpha}$ と教師信号の指示する出力 $y_{\alpha}$ との差 $z_{\alpha}-y_{\alpha}$ の二乗平均 $\Bigsum_{\alpha}p_{\alpha}(z_{\alpha}-y_{\alpha})^2$ を最小にするという意味で、一番良い $\under{s}$ を得る学習が実現できる。このことを利用して、神経素子を用いた連想記憶システムを作り、その能力を調べることができる。

「神経回路網の自己組織と神経場のパターン力学――甘利俊一著――生物物理　Vol. 21 No.4 (1981)」より

魅力的な記述が続くのですが、今の私には理解出来ません。いつか再チャレンジです。