先日の「ウィーナーのサイバネティックスの確率論的性格」で私は「学習とは、統計的・確率的な過程」と書いたのですが、その時、思い浮かべていたのはニューラルネットワークにおける学習です。そこには２つの手法が存在します。１つは階層型ニューラルネッ…

ここまで主成分分析の勉強をすると、以前和訳したオルスホーゼンとフィールドの論文「Natural image statistics and efficient coding（自然画像統計と効率的符号化）」で理解出来ていなかった画像の主成分分析というのはどういうことなのか分かりかけてきま…

しかし、主成分分析による次元削減は線形であるという大きな制約があります。 たとえば左図のような２次元データのクラス分けの学習はどうでしょうか？ 第1主成分はほぼ軸と同じ方向になりそうなことが分かります。 しかし、第2主成分、つまり座標、を無視し…

では次元削減をすると何がメリットなのでしょうか？ 「次元削減（１）」でお見せしたような２次元のデータを１次元のデータに変換するような例ではあまりピンと来ませんが、100次元のデータを10次元に削減する、というような例を考えれば、次元削減がデータ…

「主成分分析（６）」で検討した例をここでも取り上げます。そこではで表されるデータをで表される座標に変換したのでした。「主成分分析（６）」の図４にとの名前を入れて、座標変換の意味するところを分かり易くしてみました。 図５ 今後の話を分かり易く…

では、「主成分分析（１）」で示した例 図１ について実際に主成分分析をしてみまよう。まず、分散共分散行列を計算すると、 ・・・・(14) となります。次にの固有値を求めるために、 ・・・・(13) を計算します。これは となります。これを書き下すと とな…

では、分散共分散行列を対角化するための直交行列を求める方法を調べていきましょう。これは線形代数学の復習になりますが、ここで述べていきます。実は、この直交行列は、対角化したい対称行列の固有ベクトルを並べたものになっています。このことから確か…

を次元のベクトルとし、その番目の成分をで示します。この記事の最初で取り上げた２次元の例では、としていたことになります。このようにの次元を２より大きくしても行列を２次元のときと同じように定義出来ます。 ・・・・(1) これを成分で書くと ・・・・(…

ともかく行列を対角化してみましょう。直交行列を使ってを対角化します。すると ・・・・(3) となります。この式(3)の意味することを調べてみましょう。「主成分分析（２）」の式(1) ・・・・(1) を使うと(3)の左辺は となります。ここでであること（「線形…

とが互いに独立になるというのは、どのようにして判断すればよいでしょうか？ ここでは共分散というものを使います。との共分散は で定義されます。ここでというのはの平均値を意味します。もしとが独立であれば、データ数が非常に多いとき が成り立ちます。…

主成分分析について考察していくのに、まずは分かりやすさを考慮して２次元のデータから考察していきます。しかし、考え方はもっと高次元にも容易に拡張できます。の２つの要素からなる２次元のデータを考えます。それが多数存在していて、それを軸軸でグラ…

最小二乗法で「の値からの値を推定する（最良の）式」と「の値からの値を推定する（最良の）式」は異なることを示す簡単な例を見つけましたので紹介します。 データは以下の４つです。 これらのデータからはが増加するとが増加するのか減少するのかさっぱり…

次は主成分分析を勉強します、と前回、言っておきながら、まだ、最小二乗法のことを考えています。 では、どんな時に「の値からの値を推定する（最良の）式」は「の値からの値を推定する（最良の）式」と一致するのでしょう？ 直感的に考えて、データが一直…

さて、ここからが本番です。 xからyを推定する式とyからxを推定する式は同じか？ との値が求まったところで「これでとの関係式が求まった。」と数日前の私ならば思っていました。あなたは思っていませんか？ もし求められた式 ・・・・(11) ただし ・・・・(…

この間、最小二乗法について「えっ？」となることがあって、復習します。メモ書き程度なので、あまり公開出来るレベルのものではありません。わたしが「えっ？」となったのは次の記事を読んだからです。 回帰分析（最小二乗法）を理解してるか？主成分分析と…

このタイトルでは、突然何のことか、と思われてしまいますが、サポートベクターマシン(SVM)という機械学習の勉強を始めたら「ラグランジュの未定乗数法」というのが登場しました。これは以前も見たことがある手法ですが、よくよく考えてみるとなぜこれでうま…