パーセプトロンとしての１個のニューロンが学習する能力があることが分かりましたが、これを応用してどのようなことが出来るか考えてみたいと思います。 図６ 上の図のようなニューラルネットワークの構成を考えます。ニューロンは５つあり、その全てのニュ…

いままでが任意でしたので、ここで ・・・・(30) とおくと「１個のニューロンの学習（７）」の式(29) ・・・・(29) は ・・・・(31) となります。ところでですと式(30)は成り立ちません。と言えるのでしょうか？ 「１個のニューロンの学習（６）」の式(14) …

について考えます。はの時に不正解であったパターンなので、もしであれば。よって「１個のニューロンの学習（５）」の式(13) ・・・・(13) から よって ここでなので。よって。よって となります。逆にであれば。よって式(13)から ここでなので。よって。よ…

ここでさらに、 であるようなについては であるようなについては というふうに（）を定義します。すると全てのについて ・・・・(14) となります。この時、標準デルタ則 ・・・・(3) （ただし、） は ならば ・・・・(15) ならば ・・・・(16) と書き換える…

では、これから、線形分離可能なパターン群の識別の学習にパーセプトロンが必ず成功することを証明します。このことはパーセプトロンの収束定理と呼ばれています。 まず、数学的な取り扱いを楽にするためにいくつかの変形を行います。「１個のニューロンの学…

何とかここまで偉そうな文体でニューラルネットワークについて書いてきましたが、私はニューラルネットワークについては初学者です。自分が学んだことについてメモしたノートを公開するようなつもりで書いてきました。でも、自分の身についていないことをこ…

「１個のニューロンの学習（３）」では標準デルタ則を持つマカロック・ピッツのモデルのニューロンが学習する様子を示した。ところで標準デルタ則を持つマカロック・ピッツのモデルは、パーセプトロンと呼ばれている。実は、パーセプトロンという名前には歴…

ここからは説明を略して、学習の経過を図示する。以下「サイクル」は入力パターンの系列、、、を表す。サイクル１はその系列の１回目ということで、以下、サイクル２、３、と数えていく。サイクル５では全ての入力パターンについて正しい出力を出している。…

「１個のニューロンの学習（１）」で述べた標準デルタ則 ・・・・(2) ・・・・(3) で学習が実現できるかどうか、例題を使って試してみる。 「パターン認識（４）」で登場したような入力信号が２個の場合を考える。この入力をそれぞれとで表すことにする。ニ…

マカロック・ピッツの式 ・・・・(1) に従う１個のニューロンがあるとする。「パターン認識（４）」で説明した線形分離可能なパターン群が与えられたとして、このニューロンをそのパターン群を識別出来るようにするために（人が外部からシナプス荷重やしきい…

ＳＦのようなことが現実に研究されているというのはよく聞く話ですが、これもそのひとつです。脳と機械を接続する技術はエヴァンゲリオンを作るのには必須の技術ですね。 脳と機械をつないでみたら――BMIから見えてきた (岩波現代全書)作者: 櫻井芳雄出版社/…

「パターン認識（２）」で示した単独ニューロンのパターン認識の限界について、それがどのようなものであるかを調べるために、問題を簡略化して、横２マス×縦１マスの格子を考える。 図１１ この格子の場合、あり得るパターンは以下の４つである。 パターン…

「パターン認識（２）」の結果について考察する。 まず、このパターン認識能力の限界は、１個のニューロンによる認識の限界であって、複数のニューロンからなるニューラルネットワークの限界ではないことに注意する必要がある。 図９ 図９のような構成を考え…

次に、数字の１を認識するニューロンを構成することを考える。たとえば、以下の図 図４ のようなパターンにのみ反応するニューロンを作ることは「パターン認識（１）」と同じように考えれば可能であることが分かる。 しかし、人間ならばこの数字の１が多少左…

ニューラルネットに数字を認識させることを考えてみる。たとえば、下の図のような横５マス縦７マスの格子を考える。 図１ この格子を使って数字を表す。たとえば数字の３を以下の図のように表す。 図２ 下の図のようにこの１マス１マスが入力として、マカロ…

学習と記憶は密接な関係がある。ノーバート・ウィーナーは1948年の「サイバネティックス」において人間の記憶の仕組みと、機械（＝この場合はコンピュータ）が学習能力を持つかどうかについて議論を展開している。なお、この頃、ウィーナーはマカロックやピ…

マカロック・ピッツのモデルはニューロンの動作を単純化し過ぎている、という批判があるかもしれない。しかし、このモデルで記述されたニューロンを組み合わせると、通常の論理式は全て表現可能であることをマカロックとピッツの論文「神経活動に内在する観…

「マカロック・ピッツのモデル（１）」では、マカロック・ピッツのモデルと実際のニューロンとの対応関係を示していなかったのでここで示す。 下図はニューロンの模式図（Wikipediaの「神経細胞」より）である。 図１ ニューロンが発する電気信号は図の軸索…

マカロックとピッツが1943年に「神経活動に内在する観念の論理計算(A Logical Calculus of the Ideas Immanent in Nervous Activity)」で提案したニューロン（＝神経細胞）の数学的な動作モデルは、以下のようなものである。 図１ 図のようにニューロンを入…

ブッシュの計算機研究者としての成果の最たるものは、1934年、アメリカ軍のために設計を始めた、極秘の100トンもあるアナログ計算機で、1942年、アバディーン試験場に納入された。中には長さ300km以上の電線があり、150個の電動モーターがあった――2000本の真…

今もまだコンピュータが誕生した頃のことを調べていますが、そうするとまた別の人物が登場してきました。ジョージ・スティビッツです。結局、デジタルコンピュータは誰が発明したのかという質問は、調べれば調べるほどわけが分からなくなります。コンピュー…

メモしておく ウィーナーは、1940年9月20日付の長い覚書で、10年以上前にブッシュに提供していたアイディアをもとに、それを拡張した計算機設計に関する簡潔な方針を5つ立てている。この新しい方針は、現代的な意味で一人前に機能する計算機について、初めて…

4.1. 若干の一般的な見解から議論を進める。 全てのデジタル計算装置は、離散の平衡状態を持つ、若干リレーに似た素子を含んである。そのような素子は、無期限に存在出来る２つ以上の互いに区別出来る状態を持つ。これらは完全な平衡状態であるかもしれず、…

3.1. 2.0の分類が完了したので、今や、装置がそのように分割されるのを見た５つの特殊部分を取り上げ、ひとつひとつ検討することが可能である。そのような検討はこれらの部分のそれぞれについてそれ自身についてと、互いの関係について要求される特徴を明ら…

2.5. 第３の記述をまとめる。装置は多量のメモリを必要とする。このメモリのさまざまな部分は、その性質や大きくはその目的によって若干異なる機能を遂行しなければならないように見えるが、それにもかかわらずそれはメモリ全体が１つの組織であるように扱い…

梅雨もまた風情があります。

なぜ、また分からなくなったか、というと、同じように考えて「は偽である」という命題のにこの命題自身に対応する値を代入することが可能ではないか、と思ったからです。こうするとこの命題は実質的に「この命題は偽である」になります。例の古代ギリシアに…

インフォメーション―情報技術の人類史作者: ジェイムズグリック,James Gleick,楡井浩一出版社/メーカー: 新潮社発売日: 2013/01/01メディア: 単行本購入: 1人 クリック: 13回この商品を含むブログ (29件) を見る という分厚い本の中に ゲーデルは“という特定…

2.1. 複雑な装置の機能を分析する際に、特定の分類で区別することはそれら自身をすぐに示唆する。 2.2. 第１：装置はそもそも計算機であるので、それは算術の基本操作を最も頻繁に遂行しなければならないだろう。それらは加算、減算、乗算、除算 ＋、―、×、÷…

1.1. 以下の考察は超高速自動デジタル計算システムの構造を、特にその論理的制御を扱う。特定の詳細に進む前に、これらのコンセプトに関する若干の一般的な説明があるのが適切だろう。 1.2. 自動計算システムは、かなりの程度の複雑さを持つ計算を実行するた…