オートエンコーダ（１）

ニューラルネットワーク

オートエンコーダというのは一方向の多層ニューラルネットワークで、入力信号と出力信号をなるべく同じにするように調整したものです。層の数が一番少ないオートエンコーダは３層のオートエンコーダです。入力層と出力層のノード（＝ニューロン）の数は等し…

2017-03-28

画像の主成分分析

機械学習ニューラルネットワーク

ここまで主成分分析の勉強をすると、以前和訳したオルスホーゼンとフィールドの論文「Natural image statistics and efficient coding（自然画像統計と効率的符号化）」で理解出来ていなかった画像の主成分分析というのはどういうことなのか分かりかけてきま…

2017-03-27

次元削減（３）

機械学習

しかし、主成分分析による次元削減は線形であるという大きな制約があります。たとえば左図のような２次元データのクラス分けの学習はどうでしょうか？第1主成分はほぼ軸と同じ方向になりそうなことが分かります。しかし、第2主成分、つまり座標、を無視し…

2017-03-26

次元削減（２）

機械学習

では次元削減をすると何がメリットなのでしょうか？「次元削減（１）」でお見せしたような２次元のデータを１次元のデータに変換するような例ではあまりピンと来ませんが、100次元のデータを10次元に削減する、というような例を考えれば、次元削減がデータ…

2017-03-25

次元削減（１）

機械学習

「主成分分析（６）」で検討した例をここでも取り上げます。そこではで表されるデータをで表される座標に変換したのでした。「主成分分析（６）」の図４にとの名前を入れて、座標変換の意味するところを分かり易くしてみました。図５今後の話を分かり易く…

2017-03-24

主成分分析（６）

機械学習

では、「主成分分析（１）」で示した例図１について実際に主成分分析をしてみまよう。まず、分散共分散行列を計算すると、・・・・(14) となります。次にの固有値を求めるために、・・・・(13) を計算します。これはとなります。これを書き下すととな…

2017-03-23

主成分分析（５）

機械学習

では、分散共分散行列を対角化するための直交行列を求める方法を調べていきましょう。これは線形代数学の復習になりますが、ここで述べていきます。実は、この直交行列は、対角化したい対称行列の固有ベクトルを並べたものになっています。このことから確か…

2017-03-22

主成分分析（４）

機械学習

を次元のベクトルとし、その番目の成分をで示します。この記事の最初で取り上げた２次元の例では、としていたことになります。このようにの次元を２より大きくしても行列を２次元のときと同じように定義出来ます。・・・・(1) これを成分で書くと・・・・(…

2017-03-21

主成分分析（３）

機械学習

ともかく行列を対角化してみましょう。直交行列を使ってを対角化します。すると・・・・(3) となります。この式(3)の意味することを調べてみましょう。「主成分分析（２）」の式(1) ・・・・(1) を使うと(3)の左辺はとなります。ここでであること（「線形…

2017-03-20

主成分分析（２）

機械学習

とが互いに独立になるというのは、どのようにして判断すればよいでしょうか？ここでは共分散というものを使います。との共分散はで定義されます。ここでというのはの平均値を意味します。もしとが独立であれば、データ数が非常に多いときが成り立ちます。…

2017-03-19

主成分分析（１）

機械学習

主成分分析について考察していくのに、まずは分かりやすさを考慮して２次元のデータから考察していきます。しかし、考え方はもっと高次元にも容易に拡張できます。の２つの要素からなる２次元のデータを考えます。それが多数存在していて、それを軸軸でグラ…

2017-03-18

線形代数学の復習：実対称行列は対角化可能である（５）

ここまでで準備が出来たので、いよいよ実対称行列は対角化可能であることの証明を行います。定理実対称行列は対角化可能である（証明）が実対称行列であるとします。が対角化可能であることを数学的帰納法を用いて証明します。の次元をとします。まずな…

2017-03-17

線形代数学の復習：実対称行列は対角化可能である（４）

【補題６】実対称行列の固有値をとする。の固有空間の実ベクトルからなる正規直交基底をとする。もしが実対称行列の次元より小さい場合、にさらに個の実ベクトルを足しての正規直交基底になるようにする。とすると、となる。ただし、は次の単位行列である…

2017-03-16

線形代数学の復習：実対称行列は対角化可能である（３）

【補題３】実対称行列の固有空間は、実ベクトルのみからなる正規直交基底を持つことが出来る。（証明）を実対称行列とします。その固有ベクトルを、それに対応する固有値をとします。するととなります。さて、固有値の固有空間は、以下の式で定義されま…

2017-03-15

線形代数学の復習：実対称行列は対角化可能である（２）

【補題２】実対称行列の固有値は全て実数である。（証明）が実対称行列であるとします。をの固有値とします。すると固有値の定義からとなるようなゼロベクトルでない固有ベクトルが存在することになります。ただし、まだここでは、が実ベクトルであるとは…

2017-03-14

線形代数学の復習：実対称行列は対角化可能である（１）

オルスホーゼンとフィールドの論文「Natural image statistics and efficient coding」の翻訳が終わりました。正直なところ、私には理解出来ていない箇所がいくつかあります。さて、そこを攻略していくのではなくて、以前、放置していた主成分分析の勉強に進…

2017-03-13

自然画像統計と効率的符号化：オルスホーゼン、フィールド著（４）

ニューラルネットワーク脳科学

これは「B. A. Olshausen and D. J. Field, Natural image statistics and efficient coding. Network. 1996 May;7(2):333-9.」の訳です。４．検討この研究は自然の画像と大脳皮質の単純細胞の応答特性の間の関係を確立した。これらの結果が近年、スパース…

2017-03-12

自然画像統計と効率的符号化：オルスホーゼン、フィールド著（３）

ニューラルネットワーク脳科学

これは「B. A. Olshausen and D. J. Field, Natural image statistics and efficient coding. Network. 1996 May;7(2):333-9.」の訳です。３．スパース・コーディング単純細胞の応答特性はかなり線形なので、処理のこの段階のための線形符号化モデルを扱う…

2017-03-11

自然画像統計と効率的符号化：オルスホーゼン、フィールド著（２）

ニューラルネットワーク脳科学

これは「B. A. Olshausen and D. J. Field, Natural image statistics and efficient coding. Network. 1996 May;7(2):333-9.」の訳です。２．自然画像の構造自然画像は局所化された、方向付けされた、周波数選択性のある、構造を含み、それは線形でペアワ…

2017-03-10

自然画像統計と効率的符号化：オルスホーゼン、フィールド著（１）

ニューラルネットワーク脳科学

これは「B. A. Olshausen and D. J. Field, Natural image statistics and efficient coding. Network. 1996 May;7(2):333-9.」の訳です。自然画像統計と効率的符号化 B A Olshausen と D J Field コーネル大学ユーリスホール心理学部。ニューヨーク、イタ…