Learning Deep Architectures for AIを読んだ感想

6月26日から8月21日まで、モントリオール大学のYoshua Bengo教授の論文Learning Deep Architectures for AIを翻訳してきました。正直なところ、半分も理解出来ていません。でも、少しは理解出来たことがあったので、翻訳したのは無駄ではなかったと思っています。以下は、読んで分かったことについての自分のためのメモ書きです。

• ディープ・ラーニングという技術を支えるニューラルネットワークの構造（この論文ではディープ・アーキテクチャと呼んでいる）には大別して２つあること。１つは、オートエンコーダ（この論文ではオートアソシエータと呼んでいる）を積み上げたもので、もう１つは、制限ボルツマンマシンを積み上げたもの。

• 教師なし学習の意味がよく分からない。自分は最初クラスタリングをイメージしていたが、どうも、英語版WikipediaのBoltzmann machineの項目に書いてあるように（和訳はここ）訓練集合の分布をネットが再現するようにすることが教師なし学習らしい。この論文にはそうは書いていないが、そう考えないと意味が通らないような気がする。しかし、このような学習の目的・利点は何なのか、私にはよく分からない。

• いくつかの概念が刺激的だった。よく理解しているとは言えないが、以下の用語は今後、重要になりそうだ。
  • アーキテクチャの深さ（depth of architecture）
  • 高度に変化する関数(highly-varying function)
  • コンパクトに表現可能(compactly representable)
  • 分散表現(distributed representation)

• 言われてみればあたりまえのことだが、制限ボルツマンマシンはボルツマンマシンの一種である。

制限ボルツマンマシンの例

• • 制限ボルツマンマシンでは、見える層に属するユニットと、隠れた層に属するユニットの間にだけ接続があるが、もちろん、この接続は双方向で、重みは等しい。接続のないユニット間については、重みゼロの接続があると考えれば、これも双方向で重みが等しい接続とみなすことが出来るので、全ての接続が双方向で、重みが等しいので、ボルツマンマシンとみなすことが出来る。
  • 制限ボルツマンマシンはボルツマンマシンなので、ネット全体のエネルギーを定義することが出来、そのエネルギーは、いくつかの構成で極小になる。この極小の分布を、学習時に入力される訓練集合の分布に近づけることが、制限ボルツマンマシンの学習（教師なし学習）なのだろう。