ディープ・ビリーフ・ネットワーク
英語版WikipediaのDeep belief networkのページの翻訳。
ディープ・ビリーフ・ネットワーク
機械学習では、ディープ・ビリーフ・ネットワーク(DBN)は、潜在的変数(「隠れたユニット)の複数層からなり、層間には接続があるが、個々の層内のユニット間には接続がない、生成グラフィカルモデル、あるいは、一種のディープ・ニューラル・ネットワークである。
ディープ・ビリーフ・ネットワークの概観模式図。矢印はネットが表現するグラフィカル・モデルにおける方向あり接続を表す。
例の集合について教師なしで訓練する時、DBNはそのインプットを確率的に再構成するように学習することが出来る。次にこれらの層はインプットの特徴検出器として動作する。この学習ステップのあと、DBNは分類を実行するように教師ありの方法でさらに訓練することが出来る。
DBNは制限ボルツマンマシン(RBM)やオートエンコーダのような単純な、教師なしネットワークの組合せとして見ることが可能である。そこでは個々のサブ・ネットワークの隠れた層は次のネットワークの見える層として作用する。これはまた迅速な、層毎の教師なし訓練手続きをもたらし、そこでは対照的分岐が訓練中の個々のサブ・ネットワークに適用され、「最も下の」層のペアから始める(最下層の見える層は訓練集合である)。
ジェフリー・ヒントンの学生イー・ファイ・テーによる、DBNは一度に1つの層を貪欲アルゴリズム的に訓練出来るという観察は、ディープラーニングにおけるブレークスルーと呼ばれている。
訓練アルゴリズム