森正弘氏はロボット工学の先駆者であり、ロボコン（ロボットコンテスト）の創始者でもあり、（これはこの本を読むまで知らなかったのですが）「不気味の谷現象」の発見者でもあるという方ですが、一方では仏教教理にも明るい不思議な人です。この本は「ロボ…

図３ 今度は、いよいよバックプロパゲーションに近くなってきます。ここでは上の図のように、２層のニューラルネットワークだが出力の層にはニューロンが１個しかないネットワークを考えます。誤差を ・・・・(5) で定義します。中間層のニューロンは個あり…

図２ 今度考えるネットワークでは、今までとは異なって出力が複数あります。ニューロンの数が個あるとします。出力も個あることになります。番目のニューロンをで表し、その出力をで表すことにします。入力の個数はであって、出力の個数とは一般には等しくあ…

「バックプロパゲーションに向けて（１）」の式(9) ・・・・(9) ではを微分出来なくて立ち往生したのでした。そこで「バックプロパゲーションに向けて（１）」の式(4) ・・・・(4) の代わりに「バックプロパゲーションに向けて（２）」に登場したシグモイド…

「バックプロパゲーションに向けて」の途中ですが、パーセプトロンについてのおもしろい記事を見つけたのでアップしておきます。本来ならば「ミンスキーとパパートの「パーセプトロン」という本：英語版Wikipediaから」の次にアップすべき内容でした。 記憶…

そこでバックプロパゲーションではの代わりにを使います。はシグモイド関数で ・・・・(10) で定義されます。との比較を下のグラフに示します。 グラフ１ このシグモイド関数は階段関数に似た形をしていながら、どこでも微分可能、そして なので、をどう変更…

これからパーセプトロンについての考察をもとにバックプロパゲーション（誤差伝播法）の理解に向けて自分なりのメモを展開していこうと思います。私がバックプロパゲーションについて理解したところによると、まず、ネットワークの出力と教師信号の間の誤差…

以下は、「Perceptrons (book)---Wikipedia」の和訳です。NoteとReferenceは省略しました。 「パーセプトロン：計算幾何学への序論」は1969年にマービン・ミンスキーとシーモア・パパートによって書かれ発行された本である。1970年代初めに手書きの修正と追…

私が以前読んでいた概説書やネットではよく「ミンスキーとパパートが『パーセプトロン』という本でパーセプトロンの学習能力の限界を示したためにニューラルネットワークの研究は冬の時代を迎えた」というような記事を見かけたのですが、「ローゼンブラット…

「ローゼンブラットのパーセプトロン（２）」で示したからへの変換は１：１対応になっていることに注意して下さい。このようにして生成されたを要素として全て含む全体集合がでした。の任意の部分集合をとします。とその補集合が線形分離可能であることを示…

ローゼンブラットのパーセプトロン 図２ の学習能力について考察します。パーセプトロンの入力パターン）の種類が全部で個あるとします。そしてそれらをで表します。の全体集合を考えます。の部分集合を考えます。ただしです。そして部分集合は互いに共通要…

今まで１個のニューロンで、学習規則として標準デルタ則 ・・・・(1) ・・・・(2) ただし はしきい値、は定数、は教師信号、はニューロンの出力信号、は番目のシナプス係数、は番目の入力信号を持つものをパーセプトロンと呼んできましたが、歴史的に言えば…

三番叟の人形に出会った日のこと。行きには山の中で、今まで１２年伊勢にいて始めて鹿を見ました。帰りは夜で、自宅からそれほど遠くない場所でバスを降りたのですが、まわりの林から聞こえる虫の音が轟音のようにすさまじかったです。山の夜はこんなに騒が…

昨日、ちょっとほっつき歩いていて、「三番叟」なるものに出会った。「三番叟」というものがどういうものか、能に関係しているものであることは分かるが、Wikipediaを見ても今ひとつよく分からない。 何かおそろしげなものを感じる。以前読んだ中沢新一の「…

パーセプトロンとしての１個のニューロンが学習する能力があることが分かりましたが、これを応用してどのようなことが出来るか考えてみたいと思います。 図６ 上の図のようなニューラルネットワークの構成を考えます。ニューロンは５つあり、その全てのニュ…

いままでが任意でしたので、ここで ・・・・(30) とおくと「１個のニューロンの学習（７）」の式(29) ・・・・(29) は ・・・・(31) となります。ところでですと式(30)は成り立ちません。と言えるのでしょうか？ 「１個のニューロンの学習（６）」の式(14) …

について考えます。はの時に不正解であったパターンなので、もしであれば。よって「１個のニューロンの学習（５）」の式(13) ・・・・(13) から よって ここでなので。よって。よって となります。逆にであれば。よって式(13)から ここでなので。よって。よ…

ここでさらに、 であるようなについては であるようなについては というふうに（）を定義します。すると全てのについて ・・・・(14) となります。この時、標準デルタ則 ・・・・(3) （ただし、） は ならば ・・・・(15) ならば ・・・・(16) と書き換える…

では、これから、線形分離可能なパターン群の識別の学習にパーセプトロンが必ず成功することを証明します。このことはパーセプトロンの収束定理と呼ばれています。 まず、数学的な取り扱いを楽にするためにいくつかの変形を行います。「１個のニューロンの学…

何とかここまで偉そうな文体でニューラルネットワークについて書いてきましたが、私はニューラルネットワークについては初学者です。自分が学んだことについてメモしたノートを公開するようなつもりで書いてきました。でも、自分の身についていないことをこ…

「１個のニューロンの学習（３）」では標準デルタ則を持つマカロック・ピッツのモデルのニューロンが学習する様子を示した。ところで標準デルタ則を持つマカロック・ピッツのモデルは、パーセプトロンと呼ばれている。実は、パーセプトロンという名前には歴…

ここからは説明を略して、学習の経過を図示する。以下「サイクル」は入力パターンの系列、、、を表す。サイクル１はその系列の１回目ということで、以下、サイクル２、３、と数えていく。サイクル５では全ての入力パターンについて正しい出力を出している。…

「１個のニューロンの学習（１）」で述べた標準デルタ則 ・・・・(2) ・・・・(3) で学習が実現できるかどうか、例題を使って試してみる。 「パターン認識（４）」で登場したような入力信号が２個の場合を考える。この入力をそれぞれとで表すことにする。ニ…

マカロック・ピッツの式 ・・・・(1) に従う１個のニューロンがあるとする。「パターン認識（４）」で説明した線形分離可能なパターン群が与えられたとして、このニューロンをそのパターン群を識別出来るようにするために（人が外部からシナプス荷重やしきい…

ＳＦのようなことが現実に研究されているというのはよく聞く話ですが、これもそのひとつです。脳と機械を接続する技術はエヴァンゲリオンを作るのには必須の技術ですね。 脳と機械をつないでみたら――BMIから見えてきた (岩波現代全書)作者: 櫻井芳雄出版社/…