主成分分析（４）

機械学習

rをn次元のベクトルとし、そのi番目の成分をr_iで示します。この記事の最初で取り上げた２次元の例ではr_1=x、r_2=yとしていたことになります。このようにrの次元を２より大きくしても行列Sを２次元のときと同じように定義出来ます。

  • S=\bar{(r-\bar{r})(r-\bar{r})^T}・・・・(1)

これを成分で書くと

  • s_{ij}=\bar{(r_i-\bar{r_i})(r_j-\bar{r_j})}・・・・(9)

となります。式(9)から

  • s_{ji}=s_{ij}

であることが分かります。よってSは実対称行列になります。よってSは直交行列Uで対角化可能です。よってU^{-1}SUは対角行列になります。ここから「主成分分析（３）」と同じように考えて

  • U^{-1}SU=U^{-1}\bar{(r-\bar{r})(r-\bar{r})^T}U=U^T\bar{(r-\bar{r})(r-\bar{r})^T}U=\bar{(U^Tr-\bar{U^Tr})(U^Tr-\bar{U^Tr})^T}

となります。ここで

  • q=U^Tr・・・・(4)

と置くと

  • U^{-1}SU=\bar{(q-\bar{q})(q-\bar{q})^T}

となります。ここでU^{-1}SU=S'と置き、S'の要素をs'_{ij}で表すと

  • s'_{ij}=\bar{(q_i-\bar{q_i})(q_j-\bar{q_j})}

となります。つまりs'_{ij}はi=jの時はq_iの分散であり、i\neq{j}の時はq_iとq_jの共分散です。今、S'は対角行列でしたので、

  • s'_{ij}=0　ただしi\neq{j}

よって、共分散は全てゼロになっています。よって式(4)は共分散をゼロにするような座標変換を表しています。