１５．結論――Learning Deep Architectures for AI
Learning Deep Architectures for AI の翻訳です。
１５．結論
この論文はいくつかの動機から始まった。まず、AIに近づくために学習を用いることについて、次に、問題を計算と表現の複数レベルに分解することの直感的な妥当性について、次に、充分なレベルを持たない計算アーキテクチャは膨大な数の計算要素を必要とすることと、局所汎化に依存する学習アルゴリズムは、高度に変化する関数を学習しようとする際にうまく汎化出来ないことが多いこと、を示す理論的結果について述べた。
アーキテクチャとアルゴリズムを取り上げ、我々はまず、データの分散表現について動機づけした。分散表現では、入力の抽象的特徴の、膨大な数の可能な構成が可能であり、かつ、システムが個々の例をコンパクトに表現することを可能にし、その一方で、汎化の豊かな形式への道を開いている。次に議論は、複数レベルの分散表現を学習するためにディープ・アークテクチャを最適化することの困難さについて注目した。この場合における標準の勾配ベースの手法の失敗の理由は明らかにされないままであるが、単純な勾配ベース最適化で以前可能であったより、ずっとよい性能を示す、いくつかのアルゴリズムが近年導入され、我々はそれらの成功の背後にある基本原理に注目しようとした。
この論文は特定のアルゴリズムの群である、ディープ・ビリーフ・ネットワークと、その構成要素である制限ボルツマンマシンに注目した。制限ボルツマンマシン上でのlog尤度勾配の評価子を研究し、一緒につなげた。制限ボルツマンマシンを訓練するために対象分岐を用いることを正当化することを促進した。ディープ・ビリーフ・ネットワークでうまく作動し、オートアソシエータの積上げのようなアルゴリズムと関係のある、モデルの個々のレベルの、貪欲な、層毎、教師なし初期化に基づく、最適化原理を我々は強調した。この最適化原理が実際には、いわゆる連続法で利用される、より一般の最適化原理の近似であることを、我々は見つけた。連続法では、徐々に難しくなる最適化問題の一連の連なりが解かれる。正則化パスに沿って解を追跡することによって、あるいは、徐々に複雑になる概念を示すように選ばれた例の一連の流れを持つ体系を、生徒や動物か訓練される仕方に類似した仕方で提示することによって、ディープ・アーキテクチャを最適化するための新しい道を、これは示唆している。
謝辞――Learning Deep Architectures for AI
Learning Deep Architectures for AI を翻訳しています。
謝辞
著者は、Yann Le Cun、Geoffrey Hinton、Joseph Turian、Aaron Courville、Hugo Larochelle、Olivier Delalleau、Nicolas Le Roux、Jérôme Louradour、Pascal Lamblin、James Bergstra、Dumitru Erhanからの刺激と建設的な議論に特に感謝します。この研究は、NSERC、MITACS、Canada Research Chairsからの資金援助のおかげで実行出来ました。
