6.3.1.制限ボルツマンマシンにおけるギブスサンプリング――Learning Deep Architectures for AI

Learning Deep Architectures for AI の翻訳です。

目次はこちら

6.3.1. 制限ボルツマンマシンにおけるギブスサンプリング

制限ボルツマンマシンからのサンプル抽出はいくつかの理由により役に立つ。まず第一に、それは学習アルゴリズムの中で、log尤度勾配の評価子を得るのに役に立つ。２番目に、モデルから生成された例の検査が、モデルがデータ分布をとらえたか、とらえていないか、についての考えを得るのに役立つ。ディープ・ビリーフ・ネットワークは、制限ボルツマンマシンを積み上げることで得られるので、制限ボルツマンマシンからのサンプル抽出は、我々がディープ・ビリーフ・ネットワークからサンプル抽出することを可能にする。

本格的なボルツマンマシンでのギブスサンプリングは遅い。というのは、ポジティブ・フェーズ（ $x$ は、観測された入力ベクトルに固定される）とネガティブ・フェーズ（モデルから $x$ と $h$ がサンプル抽出される）の両方についてサンプル抽出を行う必要があるからであり、また、ギブスチェーンにはネットワーク内のユニットと同じ数だけのサブステップがあるからである。他方、制限ボルツマンマシンが享受する因数分解は、２つの利点をもたらす。１つ目は、自由エネルギー（よって、その勾配）は解析的に計算されるので、我々はポジティブ・フェーズでサンプル抽出する必要がないことであり、２つ目は、 $(x,h)$ 内の変数の集合は、各々がギブスチェーンである２つのサブステップでサンプル抽出出来ることである。まず我々は、 $x$ と与えて $h$ を抽出し、次に $h$ を与えて、新しい $x$ を抽出する。一般の専門家の積モデルでは、ギブスサンプリングの代替手法はハイブリッド・モンテカルロであり、これは、それぞれがマルコフチェーンであるような、多くの自由エネルギー勾配計算のサブステップを含むMCMC法である。よって制限ボルツマンマシン構造は、専門家の積モデルの特殊な場合である。式27の $i$ 番目の項 $\log\Bigsum_{h_i}e^{W_ixh_i}$ が１つの専門家に対応する。つまり、隠れたニューロン毎に１つの専門家が、そして、入力バイアスについて１つの専門家が存在する。この特殊な構造により、非常に効率的なギブスサンプリングが実行出来る。 $k$ 回のギブスステップ：
　　　　　　　　　　　　　　　 $x_0\;\sim\;\hat{P}(x)$
　　　　　　　　　　　　　　　 $h_0\;\sim\;P(h|x_0)$
　　　　　　　　　　　　　　　 $x_1\;\sim\;P(x|h_0)$
　　　　　　　　　　　　　　　 $h_1\;\sim\;P(h|x_1)$
　　　　　　　　　　　　　　　　　　　　・・・
　　　　　　　　　　　　　　　 $\;\sim\;P(x|h_{k-1})$ .　　　　　　　　(32)