主成分分析（５） - 工場統計力学（建設中！）

では、分散共分散行列を対角化するための直交行列を求める方法を調べていきましょう。これは線形代数学の復習になりますが、ここで述べていきます。実は、この直交行列は、対角化したい対称行列 $S$ の固有ベクトルを並べたものになっています。このことから確かめていきましょう。
$U^{-1}SU$ は対角行列でした。対角行列の固有ベクトルは１つの要素がゼロ以外（たとえば1）であとは全てゼロのベクトルであることは、試しに計算してみればすぐ分かります。

左の図では、 $U^{-1}SU$ の $i$ 行 $j$ 列の要素を $s'_{ij}$ で表しました。このようにして $n$ 個の固有ベクトルが考えられますが、これらは明らかに互いに直交しています。さらにゼロ以外の要素の値を1に定めれば、これら $n$ 個の固有ベクトルは正規直交系を成します。そこで $i$ 番目の要素だけ1で他の要素が0であるベクトルを $y_i$ で表すことにします。 $y_i$ は全て $U^{-1}SU$ の固有ベクトルであることは明らかです。さらに左の図から明らかなようにその固有値は $s'_{ii}$ になります。よって

$U^{-1}SUy_i=s'_{ii}y_i$ ・・・・(10)

ここで

$x_i=Uy_i$ ・・・・(11)

と置くと下の図に示すように、 $x_i$ は $U$ の $i$ 番目の列であることが分かります。

よって $U$ は $U=[x_1,...,x_n]$ と表すことが出来ます。さて(10)の両辺に左から $U$ をかけると

$SUy_i=s'_{ii}Uy_i$

となります。ここで(11)を用いると

$Sx_i=s'_{ii}x_i$ ・・・・(12)

になります。この式は $x_i$ が行列 $S$ の固有ベクトルであり、その固有値が $s'_{ii}$ であることを示しています。さらに $1{\le}i{\le}n$ 、 $1{\le}j{\le}n$ 、 $i\neq{j}$ の場合、

$x_i^Tx_i=(Uy_i)^TUy_i=y_i^TU^TUy_i=y_i^TU^{-1}Uy_i=y_i^Ty_i=1$
$x_i^Tx_j=(Uy_i)^TUy_j=y_i^TU^TUy_j=y_i^TU^{-1}Uy_j=y_i^Ty_j=0$

なので、 $x_i$ は正規直交系を成していることが分かります。よって、行列 $U$ を求めるには、分散共分散行列 $S$ の固有ベクトルを求め、それらが正規直交系を成していない場合は、正規直交系になるように修正し、その後、それらを並べることで求めることが出来ます。

では、どのようにして固有ベクトルを求めるかといいますと、先に固有値を求めて、その次に固有値を(12)に代入して固有ベクトルを求めます。固有値は（説明を省略しますが）行列式

$|S-\lambda{I}|=0$ ・・・・(13)

を $\lambda$ について解くことで求めます。とは言え、式(13)は $\lambda$ について $n$ 次方程式であり、 $n{\ge}3$ の場合は特殊な場合を除いて解を求めるのが困難です。その場合、どのようにして固有値を求めるのかですが、いろいろな数値計算の技法があるようです。しかし私はまだそれらを理解していません。

上で求めた固有値 $s'_{ii}$ は $U^{-1}SU$ の対角要素でしたので、これは座標変換したあと分散共分散行列の対角要素です。ということは座標変換したあとの各座標での分散になります。これの平方根をとれば標準偏差になり、データが各方向にどれだけばらついているかを示す指標になっています。この分散（あるいは標準偏差）が大きい方向（固有ベクトルの方向）から順に第１主成分、第２主成分・・・、と呼びます。このように第一主成分、第２主成分・・・を明らかにし、それぞれの成分（方向）での分散を求めることが主成分分析です。