6.6. 制限ボルツマンマシンの変形――Learning Deep Architectures for AI

Learning Deep Architectures for AI の翻訳です。

目次はこちら

6.6. 制限ボルツマンマシンの変形

見える、あるいは隠れた、ユニットに関係する条件分布を、例えば、指数関数族の任意のメンバに一般化することは簡単である(Welling et al., 2003)ことを、我々はすでに述べた。ガウシアン・ユニットと指数関数、あるいは打切り指数関数のユニットはFreund and Haussler (1994), Welling et al. (2003), Bengio et al. (2007), Larochelle et al. (2007)で提案されたか、あるいは使用された。ここで提示した解析について、方程式は、 $h_i$ と $x_i$ についての合計（あるいは積分）の領域を単純に変更することで、容易に適用可能である。（たとえば、ガウシアン分布や打切りガウシアン分布を生み出す）対角二次項もまた、自由エネルギーを因数分解する性質を失うことなしに、追加出来る。

その表現力を増加させるために、あるいはデータ内の特定の構造を利用するために、制限ボルツマンマシンの上に提案された、より構造的な変形のいくつかをレビューする。

6.6.1. 横接続

制限ボルツマンマシンは、見えるユニット間に相互作用項を、あるいは「横接続」を、導入することで若干、制限を軽くすることが出来る。 $P(h|x)$ から $h$ を抽出することはなおも簡単であるが、 $P(x|h)$ から $x$ を抽出することは今度は一般にはより困難になり、結局、完全に観測されたボルツマンマシンでもあるマルコフ確率場からのサンプル抽出ということになる。その確率場ではバイアスは $h$ の値に依存する。Osindero and Hinton (2008)は、画像統計をとらえるために、そのようなモデルを提案し、彼らの結果は、そのようなモジュールを用いるディープ。ビリーフ・ネットワークは、通常の制限ボルツマンマシンを用いるディープ・ビリーフ・ネットワークよりも現実的な画像パッチを生成することを、示唆している。結果として得られた分布は、実際の画像パッチで観測された画素明度に類似した画素明度の、周辺統計と対統計（? pairwise statistics）を持つことも、彼らの結果は示している。

これらの横接続は、隠れたユニットを用いるより、このやり方でより容易にとらえられる対依存をとらえ、より高次の依存のために隠れたユニットの働きを節約する。最初の層の場合、これは結局、ホワイトニングの形になるのが見られる。このホワイトニングは、画像処理システムでの前処理ステップとして役立つことが見出されている(Olshausen & Field, 1997)。Osindero and Hinton (2008)で提案したアイディアは、ディープ・ビリーフ・ネットワークの全ての層で横接続を使用することである（それは今や、マルコフ確率場の階層として見ることが出来る）。このタイプの方法の包括的な利点は、隠れたユニットが表現するより高レベルの要因が、下のレベルでの横接続がとらえることが出来る全ての局所的な「詳細」に必ずしもコード化される必要がない、ということである。例えば顔の画像を生成する場合、口と鼻のだいたいの位置は高レベルで指定されるであろうが、一方、それらの精密な位置は、より低いレベルで横接続の中でコード化された対優先（? pairwise preference）を満足するように選択されるだろう。これは、より明確な輪郭を持ち、一般にパーツの相対位置についてより正確な画像を、より高レベルのユニットの数を大きく増やすことなく、生み出すように見える。

$P(x|h)$ からサンプル抽出するために、我々は現在の例（それはおそらく、収束を速くするために、モデルが表現した画素共依存関係と類似した画素共依存関係をすでに持っている）でのマルコフチェーンから始め、短いチェーンを実行するだけでよい。このモデルのための対照分岐におけるサンプル抽出の分散を縮小するために、Osindero and Hinton (2008)は、 $x$ での通常のギブスサンプリングの代わりに５つの減衰平均場ステップを用いた。 $x_t=\alpha{x}_{t-1}+(1-\alpha)\rm{sigm}(b+Ux_{t-1}+W'h)$ , ただし $\alpha\in(0, 1)$ .