今まで書いてきたことを一般の次元に拡張してみます。 入力層と出力層のノードの数が、中間層のノードの数がで、であるとします。よって、このオートエンコーダへの入力データの次元数はになります。入力層の番目の入力をで表します。中間層の番目のノード（…

前回までで何とか２次元のデータについてオートエンコーダが主成分分析による次元削減を実行することを説明しましたが、この説明を書いているうちに自分の理解の浅さに気づきました。この結果をより確かなものにするためには以下のような課題があります。 一…

出力信号を入力信号に最も近付けることがを最小にすることと同等である、というのはなぜでしょうか？ まず、出力信号を入力信号に最も近付けるということを定義しておきましょう。入力信号を与えた時の出力信号をで表します。二乗平均誤差を次の式で定義しま…

しかしこれは、人が個々のニューロン（＝ノード）のパラメータをこのようにセットすれば主成分分析になる、というだけであって、出力信号をなるべく入力信号に近付けるという学習の結果、このようなパラメータの設定になる、というわけではありません。 そも…

オートエンコーダが、主成分分析による次元削減を実行出来ることをこれから示していきます。 まず「次元削減（１）」で使った例を今回も使います。 今回、座標系の原点は説明の都合上、座標系の原点と同じ位置にしました。 「主成分分析（６）」の式(18)で示…