甘利俊一氏の「情報理論」へのメモ（２） - 工場統計力学（建設中！）

全ての座標軸方向の分布が独立で同一の分布を持つような標準偏差１のガウス分布の確率密度を書くと

$p(\bf{r})=\frac{1}{(\sqrt{2\pi})^n}\exp\left\{-\frac{\bf{r}^t\cdot\bf{r}}{2}\right\}$ ・・・・(11)

と書けます。ただしベクトル $\bf{r}$ は $n$ 次元の直交座標系 $(x_i)$ による位置ベクトルとします。ここで線形座標変換を考え、変換後の座標系（かならずしも直交していない）を $(n_i)$ とし、その位置ベクトルを $\bf{n}$ とします。座標変換の式は

$\bf{n}=B\bf{r}$ ・・・・(12)

とします。ここに $B$ は $n\times{n}$ の変換行列です。式(12)から

$\bf{r}=B^{-1}\bf{n}$ ・・・・(13)

さらに式(13)の転置をとると

$\bf{r}^t=(B^{-1}\bf{n})^t=\bf{n}^t(B^{-1})^t$ ・・・・(14)

また、座標変換で $n$ 次元の微小体積 $d\bf{r}$ と $d\bf{n}$ の関係は

$d\bf{n}=|B|d\bf{r}$ ・・・・(15)

となるので、座標系 $(n_i)$ での確率密度 $q(\bf{n})$ は、

$q(\bf{n})d\bf{n}=p(\bf{r})d\bf{r}$ ・・・・(16)

であることに注意すれば、式(15)(16)から

$q(\bf{n})=\frac{1}{|B|}p(\bf{r})$ ・・・・(17)

式(17)に式(11)を代入して

$q(\bf{n})=\frac{1}{(\sqrt{2\pi})^n|B|}\exp\left\{-\frac{\bf{r}^t\cdot\bf{r}}{2}\right\}$ ・・・・(18)

式(18)に式(13)(14)を代入して

$q(\bf{n})=\frac{1}{(\sqrt{2\pi})^n|B|}\exp\left\{-\frac{\bf{n}^t(B^{-1})^tB^{-1}\bf{n}}{2}\right\}$ ・・・・(19)

ここで

$V=BB^t$ ・・・・(20)

と置くと

$(B^{-1})^tB^{-1}V=(B^{-1})^tB^{-1}BB^t=(B^{-1})^tB^t=(BB^{-1})^t=I^t=I$

なので、

$(B^{-1})^tB^{-1}=V^{-1}$ ・・・・(21)

また、式(20)より

$|V|=|BB^t|=|B||B^t|=|B|^2$

よって

$|B|=\sqrt{|V|}$ ・・・・(22)

よって、式(19)に式(21)(22)を代入すると

$q(\bf{n})=\frac{1}{(\sqrt{2\pi})^n\sqrt{|V|}}\exp\left\{-\frac{\bf{n}^tV^{-1}\bf{n}}{2}\right\}$ ・・・・(23)

ここで

$A=\frac{1}{(\sqrt{2\pi})^n\sqrt{|V|}}$ ・・・・(2)

を用いると

$q(\bf{n})=A{\exp}\left\{-\frac{1}{2}\bf{n}^tV^{-1}\bf{n}\right\}$ ・・・・(1)

を導くことが出来ました。

さらに

$V$ は計算すればすぐわかるように、雑音の共分散行列

$V=\bar{\bf{nn}^t}=\Bigint\bf{nn}^tq(\bf{n})d\bf{n}$ 　　　　(4.50)

に等しい。

とあるのも何日も分かりませんでした。しかしこれも以下のようにすれば納得がいきました。まず式(12)から

$\bf{n}^t=\bf{r}^tB^t$ ・・・・(24)

式(12)(24)(16)から

$\Bigint\bf{nn}^tq(\bf{n})d\bf{n}=\Bigint{B}\bf{rr}^tB^tp(\bf{r})d\bf{r}$

よって

$\Bigint\bf{nn}^tq(\bf{n})d\bf{n}=B\left(\Bigint\bf{rr}^tp(\bf{r})d\bf{r}\right)B^t$ ・・・・(25)

ここで

$\Bigint\bf{rr}^tp(\bf{r})d\bf{r}$

は、座標系 $(r_i)$ における分布の共分散ですが、 $p(\bf{r})$ は各座標方向の確率が独立な分布なので

$i\neq{j}$ の時
$\Bigint{r}_ir_jp(\bf{r})d\bf{r}=0$

また、 $i=j$ の時は、 $r_i$ の標準偏差になるが、標準偏差は１と最初に仮定したので

$i=j$ の時
$\Bigint{r}_ir_jp(\bf{r})d\bf{r}=1$

よって

$\Bigint\bf{rr}^tp(\bf{r})d\bf{r}=I$ ・・・・(26)

これを式(25)に代入すると

$\Bigint\bf{nn}^tq(\bf{n})d\bf{n}=BIB^t=BB^t$

ここで式(20)を用いると

$\Bigint\bf{nn}^tq(\bf{n})d\bf{n}=V$ ・・・・(27)

となって上に引用した式(4.50)を導くことが出来ました。