６．エネルギーベース・モデルとボルツマンマシン――Learning Deep Architectures for AI

Learning Deep Architectures for AIの翻訳です。

目次はこちら

６．エネルギーベース・モデルとボルツマンマシン

ディープ・ビリーブ・ネットワークは制限ボルツマンマシンに基づいているので、そしてそれは特にエネルギー・ベースのモデルであるのだが、我々はここでそれらを理解するのに有用な、対照的分岐(CD)を含む、主な数学的概念をここで紹介する。

6.1.エネルギーベース・モデルと専門家の積

エネルギー・ベースのモデルは、興味のある変数の個々の構成についてのスカラー・エネルギーに関係している(LeCun & Huang, 2005; LeCun, Chopra, Hadsell, Ranzato, & Huang, 2006; Ranzato, Boureau, Chopra, & LeCun, 2007)。学習は、その形が性質を記述するようにそのエネルギー関数を修正することに対応する。例えば、我々は低いエネルギーを持つ、説得力のある、あるいは、望ましい構成を好む。エネルギー。ベースの確率的モデルは、以下のように、エネルギー関数による確率分布を定義する。
　　　　　　　 $P(x)=\frac{e^{-\rm{Energy}(x)}}{Z}$ 　　　　　　　(7)
規格化定数 $Z$ は物理系との類推で、分配関数と呼ばれている。
　　　　　　　 $Z=\Bigsum_xe^{-\rm{Energy(x)}}$ 　　　　　　(8)
ここで和は入力空間全体に渡ってとる。 $x$ が連続の場合は適切な積分になる。専門家の積定式化(Hinton, 1999, 2002),では、エネルギー関数は項の和であり、個々の項は「専門家」 $f_i$ に関係している。
　　　　　　　　　　　　 $\rm{Energy}(x)=\Bigsum_if_i(x)$ ,　　　　　　(9)
つまり
　　　　　　　　　　　　 $P(x)\propto=P_i(x)\propto\prod_ie^{-f_i(x)}$ 　　　　　　(10)

よって個々の専門家 $P_i(x)$ は、 $x$ のもっともらしくない構成の検出器とみなすことが出来る。あるいは同じことであるが、 $x$ に制約を押し付けるものとして見なすことが出来る。 $f_i(x)$ が２つの値だけとることが出来るような特別な場合を考慮すれば、これはより明白になる。小さい値は制約を満足する場合に対応し、大きい値はそうではない場合に対応する。Hinton (1999)は専門家の積の利点を専門家の混合への反対によって説明する。専門家の今後では、確率の積は、確率の重み付け和に置換えられる。話を簡単にするために、個々の専門家は、満足されるか、されないか、のいずれかになる制約に対応すると仮定しよう。混合モデルでは、ある専門家に関係した制約は、他の領域を排除するある領域に属することのしるしである。よって、専門家の積の定式化の１つの利点は、 $f_i(x)$ の集合が分散表現を形成することである。混合モデルでのように１専門家に１領域のわりで空間を分割しようとする代わりに、それらは可能な全ての構成（そこでは個々の専門家はその破られた、あるいは、守られている、制約を持つことが出来る）に従って空間を分割する。Hinton (1999)は、個々の専門家に関係するパラメータについての、式10の $\log{P}(x)$ の勾配を評価するためのアルゴリズムを、以下に説明する対照分岐アルゴリズムの変形を用いて、提案した。