「神経回路網の自己組織と神経場のパターン力学 甘利俊一著（７）」で述べた私の解釈、つまり ・・・・(7) の解である（シナプス荷重ベクトル）はを定めた時の関数の値が確率的にしか決まらない関数*1であり、平均学習方程式(8) [tex:\tau\under{\dot{s}}=-\…

では ・・・・(7) についていろいろ考えてみたいと思います。私は時間による微分をドットで表す方法は好きではないので*1、以下のように書き表します。 ・・・・(a8) この式でベクトルの１つの成分だけ取り出して考えます。 ・・・・(a9) さらには確率1/2で…

2.2 学習情報源と平均学習方程式 入力信号は学習期間中に次から次へと与えられるから、時間の関数 と考えられる（教師信号があれば、これもで与えられる）。このとき、学習信号もに依存し、シナプス荷重が時間と共にどう変化していくかは(6)を解いて求まる。…

この法則を一般化して、シナプス荷重は学習時にはゆっくりと減衰すると共に、入力信号と学習信号との積に比例して増大する、という仮説を考えよう。式で書くと、、を定数として ・・・・(6) である。神経細胞が発火した時に学習信号が1、発火しないときに0、…

神経細胞は、外界の情報に適応して自己の動作を変えることができる。これはシナプス荷重を変えることで達成できる。これが、学習や自己組織の基礎と考えられている。Hebbは、興奮している（すなわち出力 が0でない）神経細胞に入った入力信号、すなわちこの…

時間でのこの細胞の発生する出力パルスの頻度はの関数で ・・・・(2) のように書ける。一般に出力関数は図２ 図２ 出力関数 に示すような単調増加関数であり、特に単位階段関数を用いて ・・・・(3) とおいた場合には、出力 は0, 1の二値をとる。 「神経回路…

２．神経細胞の自己組織 2.1 学習神経細胞の数理モデル 脳の構成要素である神経細胞は、図１に示すように、多数の信号を入力として受け取り、それを処理して出力を出す情報処理素子である。 図１ 神経細胞のモデル 今、本の入力を考え、それぞれの入力信号の…

ネット上に甘利俊一氏（現 東京大学名誉教授）の論文 神経回路網の自己組織と神経場のパターン力学――甘利俊一著――生物物理 Vol. 21 No.4 (1981) がありましたので、これを読んでいこうと思います。1981年と古い論文ですが、きっと私にとっては学ぶべきことが…

「バックプロパゲーション（５）」では、ある層とそのひとつ前の層の間のの関係を示した式(52) ・・・・(52) を導き出しましたが、これを見直してみると誤差の中身について何も問題にしていないことに気づきました。このことはをどのように設定しようとも式(…

「三番叟（さんばそう）に出会った。」で書いた３体の人形、それぞれが、伊勢神宮、春日大社、八幡大菩薩、の使者であるという３体の人形について何か分からないかと以前読んだ中沢新一の「精霊の王」をまた図書館から借りてきて調べたところ、関係のありそ…

浦島太郎はどこへ行ったのか作者: 高橋大輔出版社/メーカー: 新潮社発売日: 2005/08/24メディア: 単行本 クリック: 2回この商品を含むブログ (3件) を見るおもしろい本でした。浦島太郎の伝説を実地調査していく、もう真面目に日本中を旅する、それだけでな…

「バックプロパゲーション（１）」の式(22)と(25) ・・・・(22) ・・・・(25) を比較すると、層が異なるのに同じ形の式をしていることが分かります。さらに、との間には ・・・・(24) という関係があります。このことから、３層以上のニューラルネットワーク…

「バックプロパゲーション（３）」で書いた １）１つのパターンについてのみの誤差を用いていて本当に学習が収束するか？ については、肯定的な記述が「第16回 最適化のための勾配法：機械学習 はじめよう：中谷秀洋氏著」にありました。 そのような勾配法で…

「バックプロパゲーション（２）」では勾配法によって１ニューロンのパーセプトロンの標準デルタ則を導くことが出来ました。しかし、このことが「勾配法を用いれば学習が完了する」ということを意味しているわけではないと私は思います。以下、私が現在抱い…

バックプロパゲーションを導く時に最初に用いたのは、誤差を小さくするために誤差をシナプス係数で微分して得た傾きを元にシナプスの変化分を決定しようとする考え方でした。これを勾配法と言います。１ニューロンのパーセプトロンの時に用いた標準デルタ則…

ここからバックプロパゲーションの検討に入ります。まず、以下のような２層のニューラルネットワークを考察します。 図１ 中間層のニューロンは個あり、番目のニューロンをで表します。出力層のニューロンは個あり、番目のニューロンをで表します。ニューロ…

森正弘氏はロボット工学の先駆者であり、ロボコン（ロボットコンテスト）の創始者でもあり、（これはこの本を読むまで知らなかったのですが）「不気味の谷現象」の発見者でもあるという方ですが、一方では仏教教理にも明るい不思議な人です。この本は「ロボ…

図３ 今度は、いよいよバックプロパゲーションに近くなってきます。ここでは上の図のように、２層のニューラルネットワークだが出力の層にはニューロンが１個しかないネットワークを考えます。誤差を ・・・・(5) で定義します。中間層のニューロンは個あり…

図２ 今度考えるネットワークでは、今までとは異なって出力が複数あります。ニューロンの数が個あるとします。出力も個あることになります。番目のニューロンをで表し、その出力をで表すことにします。入力の個数はであって、出力の個数とは一般には等しくあ…

「バックプロパゲーションに向けて（１）」の式(9) ・・・・(9) ではを微分出来なくて立ち往生したのでした。そこで「バックプロパゲーションに向けて（１）」の式(4) ・・・・(4) の代わりに「バックプロパゲーションに向けて（２）」に登場したシグモイド…

「バックプロパゲーションに向けて」の途中ですが、パーセプトロンについてのおもしろい記事を見つけたのでアップしておきます。本来ならば「ミンスキーとパパートの「パーセプトロン」という本：英語版Wikipediaから」の次にアップすべき内容でした。 記憶…

そこでバックプロパゲーションではの代わりにを使います。はシグモイド関数で ・・・・(10) で定義されます。との比較を下のグラフに示します。 グラフ１ このシグモイド関数は階段関数に似た形をしていながら、どこでも微分可能、そして なので、をどう変更…

これからパーセプトロンについての考察をもとにバックプロパゲーション（誤差伝播法）の理解に向けて自分なりのメモを展開していこうと思います。私がバックプロパゲーションについて理解したところによると、まず、ネットワークの出力と教師信号の間の誤差…

以下は、「Perceptrons (book)---Wikipedia」の和訳です。NoteとReferenceは省略しました。 「パーセプトロン：計算幾何学への序論」は1969年にマービン・ミンスキーとシーモア・パパートによって書かれ発行された本である。1970年代初めに手書きの修正と追…

私が以前読んでいた概説書やネットではよく「ミンスキーとパパートが『パーセプトロン』という本でパーセプトロンの学習能力の限界を示したためにニューラルネットワークの研究は冬の時代を迎えた」というような記事を見かけたのですが、「ローゼンブラット…

「ローゼンブラットのパーセプトロン（２）」で示したからへの変換は１：１対応になっていることに注意して下さい。このようにして生成されたを要素として全て含む全体集合がでした。の任意の部分集合をとします。とその補集合が線形分離可能であることを示…

ローゼンブラットのパーセプトロン 図２ の学習能力について考察します。パーセプトロンの入力パターン）の種類が全部で個あるとします。そしてそれらをで表します。の全体集合を考えます。の部分集合を考えます。ただしです。そして部分集合は互いに共通要…

今まで１個のニューロンで、学習規則として標準デルタ則 ・・・・(1) ・・・・(2) ただし はしきい値、は定数、は教師信号、はニューロンの出力信号、は番目のシナプス係数、は番目の入力信号を持つものをパーセプトロンと呼んできましたが、歴史的に言えば…

三番叟の人形に出会った日のこと。行きには山の中で、今まで１２年伊勢にいて始めて鹿を見ました。帰りは夜で、自宅からそれほど遠くない場所でバスを降りたのですが、まわりの林から聞こえる虫の音が轟音のようにすさまじかったです。山の夜はこんなに騒が…

昨日、ちょっとほっつき歩いていて、「三番叟」なるものに出会った。「三番叟」というものがどういうものか、能に関係しているものであることは分かるが、Wikipediaを見ても今ひとつよく分からない。 何かおそろしげなものを感じる。以前読んだ中沢新一の「…