先日の「ウィーナーのサイバネティックスの確率論的性格」で私は「学習とは、統計的・確率的な過程」と書いたのですが、その時、思い浮かべていたのはニューラルネットワークにおける学習です。そこには２つの手法が存在します。１つは階層型ニューラルネッ…

今まで書いてきたことを一般の次元に拡張してみます。 入力層と出力層のノードの数が、中間層のノードの数がで、であるとします。よって、このオートエンコーダへの入力データの次元数はになります。入力層の番目の入力をで表します。中間層の番目のノード（…

前回までで何とか２次元のデータについてオートエンコーダが主成分分析による次元削減を実行することを説明しましたが、この説明を書いているうちに自分の理解の浅さに気づきました。この結果をより確かなものにするためには以下のような課題があります。 一…

出力信号を入力信号に最も近付けることがを最小にすることと同等である、というのはなぜでしょうか？ まず、出力信号を入力信号に最も近付けるということを定義しておきましょう。入力信号を与えた時の出力信号をで表します。二乗平均誤差を次の式で定義しま…

しかしこれは、人が個々のニューロン（＝ノード）のパラメータをこのようにセットすれば主成分分析になる、というだけであって、出力信号をなるべく入力信号に近付けるという学習の結果、このようなパラメータの設定になる、というわけではありません。 そも…

オートエンコーダが、主成分分析による次元削減を実行出来ることをこれから示していきます。 まず「次元削減（１）」で使った例を今回も使います。 今回、座標系の原点は説明の都合上、座標系の原点と同じ位置にしました。 「主成分分析（６）」の式(18)で示…

オートエンコーダというのは一方向の多層ニューラルネットワークで、入力信号と出力信号をなるべく同じにするように調整したものです。層の数が一番少ないオートエンコーダは３層のオートエンコーダです。入力層と出力層のノード（＝ニューロン）の数は等し…

ここまで主成分分析の勉強をすると、以前和訳したオルスホーゼンとフィールドの論文「Natural image statistics and efficient coding（自然画像統計と効率的符号化）」で理解出来ていなかった画像の主成分分析というのはどういうことなのか分かりかけてきま…

これは「B. A. Olshausen and D. J. Field, Natural image statistics and efficient coding. Network. 1996 May;7(2):333-9.」の訳です。 ４．検討 この研究は自然の画像と大脳皮質の単純細胞の応答特性の間の関係を確立した。これらの結果が近年、スパース…

これは「B. A. Olshausen and D. J. Field, Natural image statistics and efficient coding. Network. 1996 May;7(2):333-9.」の訳です。 ３．スパース・コーディング 単純細胞の応答特性はかなり線形なので、処理のこの段階のための線形符号化モデルを扱う…

これは「B. A. Olshausen and D. J. Field, Natural image statistics and efficient coding. Network. 1996 May;7(2):333-9.」の訳です。 ２．自然画像の構造 自然画像は局所化された、方向付けされた、周波数選択性のある、構造を含み、それは線形でペアワ…

これは「B. A. Olshausen and D. J. Field, Natural image statistics and efficient coding. Network. 1996 May;7(2):333-9.」の訳です。 自然画像統計と効率的符号化 B A Olshausen と D J Field コーネル大学ユーリスホール心理学部。ニューヨーク、イタ…

今、網膜に映る画像のことを考えていますので、２次元のガボールフィルターを考察します。画像を構成する点の位置をで表すことにますが、これをまとめてベクトルと考えて２次元の位置ベクトルで表すことにします。するとガボールフィルターは以下の式で表さ…

脳科学とニューラルネットワークについて最近行った勉強で分かったことを書きます。それは脳科学の知見がニューラルネットに与えた影響についてです。 脳科学 1959年、ヒューベルとウィーゼルが、第一次視覚野(V1と略記される。Vはvision[視覚]のV）の神経細…

今、ディープ・ラーニングの起源を調べていて、その中でオルスホーゼン教授の業績を調べているのですが、ネットでもなかなか見つかりません。ところが以前読んだ「『脳・心・人工知能』 甘利俊一著」脳・心・人工知能 数理で脳を解き明かす (ブルーバックス)…

Deep CNN ネオコグニトロンの学習--JSAI2016タイムテーブル 06月06日(Mon)--1A3-OS-27a オーガナイズドセッション「大会特別講演：福島先生 / OS-27 Deep Learning (1)」 の中の記述 ネオコグニトロンの回路構造は、第一次視覚野に関する神経生理学的な知見…

今、時間のある時に Deep CNN ネオコグニトロンの学習--JSAI2016タイムテーブル 06月06日(Mon)--1A3-OS-27a オーガナイズドセッション「大会特別講演：福島先生 / OS-27 Deep Learning (1)」 を読んでいるのですが、なかなか面白いです。 ニューラルネットの…

福島氏の開発されたネオコグニトロンに関する説明（Deep CNN ネオコグニトロンの学習--JSAI2016タイムテーブル 06月06日(Mon)--1A3-OS-27a オーガナイズドセッション「大会特別講演：福島先生 / OS-27 Deep Learning (1)」）を読んでいた時に ネオコグニトロ…

「『脳・心・人工知能』 甘利俊一著」脳・心・人工知能 数理で脳を解き明かす (ブルーバックス)作者: 甘利俊一出版社/メーカー: 講談社発売日: 2016/05/20メディア: 新書この商品を含むブログ (13件) を見るを読んで、「スパース表現」の概念とならんでもう…

「スパース性」とか「スパース・コーディング」という言葉は、ディープラーニングが話題になってからその関係で耳にしていたのですが、「『脳・心・人工知能』 甘利俊一著」脳・心・人工知能 数理で脳を解き明かす (ブルーバックス)作者: 甘利俊一出版社/メ…

古代エジプトのことでエントリーを書き始めたら、別の興味の「いい本」に出会ってしまったために、今はそちらを読んでいます。そのため、古代エジプトのほうはしばらくお休みです。 さて、出合った本は「『脳・心・人工知能』 甘利俊一著」脳・心・人工知能 …

ディープラーニングを勉強していてカルバック・ライブラー情報量なるものが登場したので、自分のためのメモとしてアップします。 カルバック・ライブラー情報量は、確率分布に対して、別の確率分布がどの程度差異があるかを示す量です。離散的な確率分布につ…

深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー）この商品を含むブログ (13件) を見る この本（深層学習＝ディープラーニング）の読解は５章「自己符号化器」まで進…

深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー）この商品を含むブログ (13件) を見る ようやく入手した。まだ読み始めたばかりだが良書だと思う。何とか最後まで読…

「制限ホップフィールドネットワーク（２）」の続きです。 ところで、今まで、しきい値、という用語を使ってきましたが、どうも最近では、しきい値のプラスマイナスの符号を変えたバイアスという用語をしきい値の代わりに使うようです。今まで、この「制限ホ…

「制限ホップフィールドネットワーク（１）」の続きです。 図１ が 図２ に変わると、式(3) ・・・・(3) はどのように書き換えられるでしょうか？ まず式(3)のについて考えてみます。見える層のしきい値を、隠れた層のしきい値をで表します。そして見える層…

ディープラーニングには制限ボルツマンマシンが大きな役割を果たしているようなのですが、制限ボルツマンマシンの詳しい解説がネットの中で見つかりません。そこで、自力で何とか理解するために、制限ボルツマンマシンならぬ制限ホップフィールドネットワー…

ニューラルネットワークを勉強していて特徴的だな、と思ったことは、とてつもない多次元で物事を考えることです。たとえば、「パターン認識（１）」で扱った数字のパターン認識について考えると、これは５×７＝３５マス あります。 図１ このひとマス毎に０…

「ホップフィールドネットワーク再検討（１）」の式(8) ・・・・(8) は、ニューロンの出力の更新によってエネルギーが増加しないことを示す式でした。「ホップフィールドネットワーク再検討（１）」では、ニューロンの入力と出力の関係を ・・・・(3) ・・・…

以前、ホップフィールドネットワークを検討した際には、各ニューロンの値は1か−1であるとしていました。これを通常のニューラルネットワークのように1か0の値を取るとしても、ニューロンの状態更新によってエネルギー ・・・・(1) が増加しない、ということ…