6.6.3. 因数分解制限ボルツマンマシン――Learning Deep Architectures for AI

Learning Deep Architectures for AI の翻訳です。

• 目次はこちら

6.6.3. 因数分解制限ボルツマンマシン

いくつかの確率的言語モデルでは、個々の単語の分散表現を学習することが提案されてきた(Deerwester, Dumais, Furnas, Landauer, & Harshman, 1990; Miikkulainen & Dyer, 1991; Bengio et al., 2001, 2003)。単語のシーケンスをモデル化する制限ボルツマンマシンについて、ボキャブラリーの中の個々の単語についての分散表現を、自動的に学習するパラメータ化を持つことは便利であろう。これは本質的にMnih and Hinton (2007)が提案したことである。彼らは重み行列の２つの要因への因数分解を用いる。１つは入力サブシーケンス内の位置に依存するもので、もうひとつは依存しないものである。入力サブシーケンスが与えられた場合の隠れたユニットの確率の計算を考察しよう。ここで個々の単語は、ワン・ホット・ベクトル（位置での1を除いて全て0）で表現され、これらのベクトルは、入力ベクトルに連結される。行列をに直接適用する代わりに、以下を行う。最初に、個々の単語の記号を行列によって次元ベクトルただしに写像する。次に、結合ベクトルに行列を掛け算する。よって。ただしはの（積ではなくて）結合を示す。このモデルは、n-グラムズに基づく最先端の言語モデルより良いサンプル外log尤度を生成する(Mnih & Hinton, 2007)。この因数分解は上で紹介した時間的制限ボルツマンマシンと組み合わせることが出来、汎化能力のさらなる向上をもたらしている (Mnih & Hinton, 2007)。