6.1.2. 条件つきエネルギーベース・モデル――Learning Deep Architectures for AI

Learning Deep Architectures for AI の翻訳です。

目次はこちら

6.1.2.条件つきエネルギーベース・モデル

一般に分割関数を計算することは困難であるが、もし我々の究極の目的が、変数 $x$ が与えられた際に変数 $y$ に関する決定を行うことであるのならば、全ての構成 $(x,y)$ を考慮する代わりに、個々の与えられた $x$ について $y$ の構成を考慮すれば充分である。通常の場合は、 $y$ は小さな離散集合内の値のみを取ることが出来る。つまり
　　　　　　　　 $P(y|x)=\frac{e^{-\rm{Energy}(x,y)}}{\Bigsum_ye^{-\rm{Energy}(x,y)}}$ 　　　　　　　　(20)
この場合、エネルギー関数のパラメータについての条件log尤度の勾配は、効率的に計算出来る。この方法は、ニューラル・ネットワークに基づく一連の確率的言語モデル(Bengio et al., 2001; Schwenk & Gauvain, 2002; Bengio, Ducharme, Vincent, & Jauvin, 2003; Xu, Emami, & Jelinek, 2003; Schwenk, 2004; Schwenk & Gauvain, 2005)で利用されてきた。その定式化（あるいは一般に、分割関数の各項の値の集合に渡って合計、あるいは、最大化、することが容易な場合）は詳細に調査されてきた(LeCun & Huang, 2005; LeCun et al., 2006; Ranzato et al., 2007, 2007)。後者の研究で重要で興味深い要素は、それが、そのようなエネルギー・ベースのモデルはlog尤度についてのみではなく、その勾配が、競合する応答のエネルギーを高くする一方で「正しい」応答のエネルギーを低くする性質を持つような、もっと一般の判断基準についても最適化出来る、ということを示していることである。この判断基準は必ずしも確率的モデルをもたらさないが、与えられた $x$ に $y$ を選択するのに用いることが出来る関数をもたらし、それはしばしば応用における究極の目的である。