主成分分析（１） - 工場統計力学（建設中！）

主成分分析について考察していくのに、まずは分かりやすさを考慮して２次元のデータから考察していきます。しかし、考え方はもっと高次元にも容易に拡張できます。

$(x,y)$ の２つの要素からなる２次元のデータを考えます。それが多数存在していて、それを $x$ 軸 $y$ 軸でグラフ化してみると図１のようになったとします。

図１

このグラフを見ると明らかに $x$ と $y$ の間には関係があるのが分かります。 $x$ の値が大きくなれば $y$ の値も（どれだけ大きくなるかにはばらつきがあるものの）大きくなる可能性が高いです。逆に $x$ の値が小さくなれば $y$ の値も小さくなる可能性が高いです。つまり $x$ と $y$ は独立ではありません。主成分分析の目的は、 $x$ と $y$ を組み合わせることで互いに独立な変数を見つけることです。こう言うと難しいことのように思えますが、要は図１のグラフをうまく回転して、図２のようにすることです。

図２

図２での $x$ と $y$ の値の間には関係がなさそうです。これが主成分分析で行いたいことです。つまり、元もと観測したデータは図１における $x$ と $y$ でしたが、これはある独立な２つの変数（原因）が組合さったものとして現象に表れたと考えるのです。組合さったがために、 $x$ と $y$ には関係が現れたと考えるのです。そして、その原因を表す２つの変数は互いに独立している（無関係である）、と考えるわけです。この原因となる変数を推定するのが主成分分析です。

図２での $x$ 軸と $y$ 軸を元の図１で考えると、図３のようになります。

図３

この図での赤色の座標軸で図った $x,y$ 座標から青色の座標軸で図った $x,y$ 座標に変換する式を求めることが主成分分析の目的の１つです。さらに、変換後の、ということは図２の状態での、 $x$ 側のばらつき（標準偏差）と $y$ 側のばらつき（標準偏差）を求めることも主成分分析の目的の１つです。