甘利俊一氏の「情報理論」へのメモ（１） - 工場統計力学（建設中！）

情報理論 (ちくま学芸文庫)
- 作者: 甘利俊一
- 出版社/メーカー: 筑摩書房
- 発売日: 2011/04/08
- メディア: 単行本
- 購入: 4人クリック: 48回
- この商品を含むブログ (11件) を見る

は、買った日から毎日読み進めていますが、自分が理解したい第一の目的としていた第４章の第４節「信号空間の情報幾何学」に最近やっとの思いで到達しました。しかしそこに突入した途端、そこに出てくる数式が理解出来なくて一週間近く足踏みしました。線形代数学の知識が自分に不足していることから理解が出来なかったのでした。今は何とか解決したので、自分の考えたことをここに記録しておきます。

分からなかったのは以下の箇所です。

加法的なガウス雑音 $\bf{n}$ の確率密度関数は

$q(\bf{n})=A{\exp}\left\{-\frac{1}{2}\bf{n}^tV^{-1}\bf{n}\right\}$ 　　　(4.49)

と表される。ここに、 $A$ は規格化定数で

$A=\frac{1}{(\sqrt{2\pi})^n\sqrt{|V|}}$

$V$ は行列で、 $V^{-1}$ はその逆行列、 $|V|$ は $V$ の行列式。 $\bf{n}^t$ は縦ベクトル $\bf{n}$ の転置で、 $\bf{n}^tV^{-1}\bf{n}$ は２次形式である。

まず、ガウス雑音が

$q(\bf{n})=A{\exp}\left\{-\frac{1}{2}\bf{n}^tV^{-1}\bf{n}\right\}$ ・・・・(1)

で表されることが理解出来ませんでした。次に規格化定数が

$A=\frac{1}{(\sqrt{2\pi})^n\sqrt{|V|}}$ ・・・・(2)

になることが分かりませんでした。

これをいろいろ考えた末、以下のように理解しました。
１次元のガウス分布（正規分布）は

$p(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\frac{x^2}{2\sigma^2}\right\}$ ・・・・(3)

と書ける。 $x$ 方向とは独立に $y$ 方向にもガウス分布になっているとしたら、式(3)の $\sigma$ を $x$ 方向の標準偏差であることを明示するように $\sigma_x$ と書き換えることにして

$p(x)=\frac{1}{\sqrt{2\pi}\sigma_x}\exp\left\{-\frac{x^2}{2\sigma_x^2}\right\}$ ・・・・(4)

$y$ 方向については

$p(y)=\frac{1}{\sqrt{2\pi}\sigma_y}\exp\left\{-\frac{y^2}{2\sigma_y^2}\right\}$ ・・・・(5)

結合確率分布 $p(x,y)$ は $x$ 方向の確率と $y$ 方向の確率が独立であるので

$p(x,y)=p(x)p(y)$ ・・・・(6)

となる。よって式(4)(5)(6)から

$p(x,y)=\frac{1}{(\sqrt{2\pi})^2\sigma_x\sigma_y}\exp\left\{-\frac{1}{2}\left(\frac{x^2}{\sigma_x^}+\frac{y^2}{\sigma_y^2}\right)\right\}$ ・・・・(7)

ここでベクトル $\bf{n}$ を $(x,y)$ （本当は縦ベクトルだから

$\left(\begin{array}x\\y\end{array}\right)$

と書くべきです）とすると式(1)での $V$ は

$V=\left(\begin{array}\sigma_x^2&0\\0&\sigma_y^2\end{array}\right)$ ・・・・(8)

になるのだと推測がつきました。 $V^{-1}$ はおそらく

$V^{-1}=\left(\begin{array}1/\sigma_x^2&0\\0&1/\sigma_y^2\end{array}\right)$ ・・・・(9)

でしょう。実際に両者をかけあわせると

$VV^{-1}=\left(\begin{array}\sigma_x^2&0\\0&\sigma_y^2\end{array}\right)\left(\begin{array}1/\sigma_x^2&0\\0&1/\sigma_y^2\end{array}\right)=\left(\begin{array}1&0\\0&1\end{array}\right)=I$

で単位行列になるので式(9)は正しいです。そうすると $\bf{n}^tV^{-1}\bf{n}$ は

$\bf{n}^tV^{-1}\bf{n}=(x,y)\left(\begin{array}1/\sigma_x^2&0\\0&1/\sigma_y^2\end{array}\right)\left(\begin{array}x\\y\end{array}\right)=(x,y)\left(\begin{array}x/\sigma_x^2\\y/\sigma_y^2\end{array}\right)=\frac{x^2}{\sigma_x^2}+\frac{y^2}{\sigma_y^2}$