ディープ・ビリーフ・ネットワーク

英語版WikipediaDeep belief networkのページの翻訳。

ディープ・ビリーフ・ネットワーク


機械学習では、ディープ・ビリーフ・ネットワーク(DBN)は、潜在的変数(「隠れたユニット)の複数層からなり、層間には接続があるが、個々の層内のユニット間には接続がない、生成グラフィカルモデル、あるいは、一種のディープ・ニューラル・ネットワークである。



ディープ・ビリーフ・ネットワークの概観模式図。矢印はネットが表現するグラフィカル・モデルにおける方向あり接続を表す。

例の集合について教師なしで訓練する時、DBNはそのインプットを確率的に再構成するように学習することが出来る。次にこれらの層はインプットの特徴検出器として動作する。この学習ステップのあと、DBNは分類を実行するように教師ありの方法でさらに訓練することが出来る。
DBN制限ボルツマンマシン(RBM)やオートエンコーダのような単純な、教師なしネットワークの組合せとして見ることが可能である。そこでは個々のサブ・ネットワークの隠れた層は次のネットワークの見える層として作用する。これはまた迅速な、層毎の教師なし訓練手続きをもたらし、そこでは対照的分岐が訓練中の個々のサブ・ネットワークに適用され、「最も下の」層のペアから始める(最下層の見える層は訓練集合である)。
ジェフリー・ヒントンの学生イー・ファイ・テーによる、DBNは一度に1つの層を貪欲アルゴリズム的に訓練出来るという観察は、ディープラーニングにおけるブレークスルーと呼ばれている。

訓練アルゴリズム

  • DBNのための訓練アルゴリズムは以下のように進む。Xを特徴ベクトルの集合と見なされたインプットの行列とする。
  • 制限ボルツマンマシンを、その重み行列Wを得るためにXについて訓練する。これをネットワークのより下の2つの層の間の重み行列として使用する。
  • RBMによってXを新しいデータX'を生成するために、隠れたユニットの平均活性化をサンプリングするか計算することによって変形する。
  • ネットワーク2つの最高レベルの層まで、層の次のペアについてX\leftar{X'}としてこの手続きを繰り返す。

関連項目