オートエンコーダ（２）

オートエンコーダが、主成分分析による次元削減を実行出来ることをこれから示していきます。
まず「次元削減（１）」で使った例を今回も使います。

今回、座標系の原点は説明の都合上、座標系の原点と同じ位置にしました。
「主成分分析（６）」の式(18)で示したように座標系から座標系への変換式は

• ・・・・(1)
• ・・・・(2)

でした。
になります。ここで下図のようなニューラルネットを考えます。

入力層のノード、は式(3)(4)のを表しています。そしてこれらが中間層のノードとノードの入力になっています。まずノードについて考えます。一般にニューロンの入力と出力の関係式は番目の入力を、出力をとすると

• 
• 

の形をしています（ここでのやは式(1)〜(2)に現れるやとは無関係であると考えて下さい）。は重みでありはしきい値です。今が恒等写像であると考え、、であると考えれば、ニューロンの入力と出力の関係式は式(1)に一致します。つまり、上の図のノードは式(1)の入出力関係を持つニューロンである、と考えることが出来ます。同様に考えて、ノードを式(2)の入出力関係を持つニューロンである、と考えることが出来ます。出力層のノード、については「主成分分析（６）」の式(17)より、座標系から座標系への変換式は

• ・・・・(3)
• ・・・・(4)

となるので、それぞれ式(3)、(4)の入出力関係を持つニューロンと考えれば、オートエンコーダの特徴である、入力層と出力層の信号の一致、が実現されます。