図１ 今後、エネルギー ・・・・(4) （「ホップフィールドネットワーク理解に向けての準備体操（５）」の式(7)参照）を計算していきますが、今回の例ではなのでまともに計算すると結構大変なことになります。というのは式(4)でのともからまで変更するので、…

単なるフラッシュバック。私が仕事でスコットランドに滞在していたのは1995年だからもう20年近く昔のことです。 茨の冠を頂く主イエスよ、 この紋章を掲げる生誕の地を守り給え。 御心ならば、この王位を継ぐ者が、 末永くこの世を治めんことを。 そしてまた…

今までの考察でホップフィールドネットワークについておおよそのところがつかめてきましたので、私が理解したところをアップしていこうと思います。 今まで、ニューロンの数を２個とか３個とか限定して考察を進めてきましたが、実際にホップフィールドネット…

ホップフィールドネットワークのエネルギーが減少傾向にあるということは分かりましたが、シナプス係数がどのように安定状態を決定しているのか分かりません。今の私にはこの問題は難しすぎるのですが、逆にある状態が与えられた時にその状態を安定状態にす…

遷宮成った新しい御正宮 かつて御正宮のあったところ。小さい建物は覆屋（おおいや）。その位置は、かつての御正宮の心の御柱があった位置にあります。心の御柱とは何か？ それについては秘中の秘だそうです。 私には、遷宮で成った新しい御正宮よりもこの小…

これは単なる感想なのですが、エネルギーが必ず増えない、という言い方よりも、を考えて、をエントロピーであると言い切ってしまって、エントロピーはけっして減少しない、という言い方にしたほうが、私にはメタファとしてすっきりします。 でも、このホップ…

ホップフィールドネットワークにエネルギー ・・・・(7) が定義されました。これが増加しない理由を探っていきます。 今、番目のニューロンの出力を計算して更新したとします。は−１か１の値しかとらないので、の変化の仕方は次の４通りです。 ・・・・(a) …

もう一つ別の例を考えます。 図２０ シナプス係数は「ホップフィールドネットワーク理解に向けての準備体操（３）」の図１３と同じく全て１（正確に言えばの時に、もちろん）とします。初期状態をとします。 図２１ まずニューロン１の出力を計算します。す…

のネットワークにはとの２つの安定な状態があるということが分かりました。このことを念頭におくと最初に考えたのネットワークも 図１ の安定状態のほかに 図１２ の安定状態が存在することが分かります。ここから、ある安定状態の個々のニューロンの出力で…

図２ 今度は図２のようにの値を「−１」にしてみます。するとこのネットワークはどう動作するでしょうか？ このネットワークは、まずニューロン１の出力を計算して更新し、次にニューロン２の出力を計算して更新し、それを繰り返す、というふうに動作するとし…

ニューラルネットワークの別の種類であるホップフィールドネットワークについて少し分かってきたので自分なりに理解したことをアップしていこうと思います。まだホップフィールドネットワークの説明というよりホップフィールドネットワークに向けての準備体…

式(a16) ・・・・(a16) を救おうとしてひとつ思いついたのが、に比べてとが非常に大きい、とすれば式(a16)は近似的に ・・・・(a18) とみなすことが出来て、以前検討していた標準デルタ則 ・・・・(a15) に近くなるのではないか、というものです。 しかし、…

「神経回路網の自己組織と神経場のパターン力学 甘利俊一著（７）」で述べた私の解釈、つまり ・・・・(7) の解である（シナプス荷重ベクトル）はを定めた時の関数の値が確率的にしか決まらない関数*1であり、平均学習方程式(8) [tex:\tau\under{\dot{s}}=-\…

では ・・・・(7) についていろいろ考えてみたいと思います。私は時間による微分をドットで表す方法は好きではないので*1、以下のように書き表します。 ・・・・(a8) この式でベクトルの１つの成分だけ取り出して考えます。 ・・・・(a9) さらには確率1/2で…

2.2 学習情報源と平均学習方程式 入力信号は学習期間中に次から次へと与えられるから、時間の関数 と考えられる（教師信号があれば、これもで与えられる）。このとき、学習信号もに依存し、シナプス荷重が時間と共にどう変化していくかは(6)を解いて求まる。…

この法則を一般化して、シナプス荷重は学習時にはゆっくりと減衰すると共に、入力信号と学習信号との積に比例して増大する、という仮説を考えよう。式で書くと、、を定数として ・・・・(6) である。神経細胞が発火した時に学習信号が1、発火しないときに0、…

神経細胞は、外界の情報に適応して自己の動作を変えることができる。これはシナプス荷重を変えることで達成できる。これが、学習や自己組織の基礎と考えられている。Hebbは、興奮している（すなわち出力 が0でない）神経細胞に入った入力信号、すなわちこの…

時間でのこの細胞の発生する出力パルスの頻度はの関数で ・・・・(2) のように書ける。一般に出力関数は図２ 図２ 出力関数 に示すような単調増加関数であり、特に単位階段関数を用いて ・・・・(3) とおいた場合には、出力 は0, 1の二値をとる。 「神経回路…

２．神経細胞の自己組織 2.1 学習神経細胞の数理モデル 脳の構成要素である神経細胞は、図１に示すように、多数の信号を入力として受け取り、それを処理して出力を出す情報処理素子である。 図１ 神経細胞のモデル 今、本の入力を考え、それぞれの入力信号の…

ネット上に甘利俊一氏（現 東京大学名誉教授）の論文 神経回路網の自己組織と神経場のパターン力学――甘利俊一著――生物物理 Vol. 21 No.4 (1981) がありましたので、これを読んでいこうと思います。1981年と古い論文ですが、きっと私にとっては学ぶべきことが…

「バックプロパゲーション（５）」では、ある層とそのひとつ前の層の間のの関係を示した式(52) ・・・・(52) を導き出しましたが、これを見直してみると誤差の中身について何も問題にしていないことに気づきました。このことはをどのように設定しようとも式(…

「三番叟（さんばそう）に出会った。」で書いた３体の人形、それぞれが、伊勢神宮、春日大社、八幡大菩薩、の使者であるという３体の人形について何か分からないかと以前読んだ中沢新一の「精霊の王」をまた図書館から借りてきて調べたところ、関係のありそ…

浦島太郎はどこへ行ったのか作者: 高橋大輔出版社/メーカー: 新潮社発売日: 2005/08/24メディア: 単行本 クリック: 2回この商品を含むブログ (3件) を見るおもしろい本でした。浦島太郎の伝説を実地調査していく、もう真面目に日本中を旅する、それだけでな…

「バックプロパゲーション（１）」の式(22)と(25) ・・・・(22) ・・・・(25) を比較すると、層が異なるのに同じ形の式をしていることが分かります。さらに、との間には ・・・・(24) という関係があります。このことから、３層以上のニューラルネットワーク…

「バックプロパゲーション（３）」で書いた １）１つのパターンについてのみの誤差を用いていて本当に学習が収束するか？ については、肯定的な記述が「第16回 最適化のための勾配法：機械学習 はじめよう：中谷秀洋氏著」にありました。 そのような勾配法で…

「バックプロパゲーション（２）」では勾配法によって１ニューロンのパーセプトロンの標準デルタ則を導くことが出来ました。しかし、このことが「勾配法を用いれば学習が完了する」ということを意味しているわけではないと私は思います。以下、私が現在抱い…

バックプロパゲーションを導く時に最初に用いたのは、誤差を小さくするために誤差をシナプス係数で微分して得た傾きを元にシナプスの変化分を決定しようとする考え方でした。これを勾配法と言います。１ニューロンのパーセプトロンの時に用いた標準デルタ則…

ここからバックプロパゲーションの検討に入ります。まず、以下のような２層のニューラルネットワークを考察します。 図１ 中間層のニューロンは個あり、番目のニューロンをで表します。出力層のニューロンは個あり、番目のニューロンをで表します。ニューロ…