ニューラルネットワークによるデータの次元削減(Reducing the Dimensionality of Data with Neural Networks)（１）

トロント大学ヒントン(G. E. Hinton)教授のReducing the Dimensionality of Data with Neural Networksの和訳です。

ニューラルネットワークによるデータの次元削減
G. E. Hinton* and R. R. Salakhutdinov
Department of Computer Science, University of Toronto, 6 King’s College Road, Toronto, Ontario M5S 3G4, Canada.
*彼へのやり取りは右の宛先へ; E-mail: hinton@cs.toronto.edu

高次元データは、高次元入力ベクトルを再構成するための小さな中央層を持つ複数層ニューラルネットワークを訓練することによって、低次元コードに変換できる。そのような「オートエンコーダ（自動符号化機）」ネットワークの重みを微調整するのに勾配降下を用いることが出来るが、これは初期重みが良い解に近い場合にのみ、うまくいく。データの次元を削減するツールとして、主成分分析よりもずっとよく動作する低次元コードを、深いオートエンコーダ・ネットワークが学習することを可能にするように、重みを初期化する効果的な方法を我々は説明する。

次元削減は、高次元データの分類、視覚化、通信、保存、を促進する。単純で広く用いられている手法は主成分分析であり、これはデータ集合内で最も分散の大きい方向（複数）を見つけ、個々のデータ点を、これらの方向の各々に沿った座標で表現するものである。我々は、高次元データを低次元のコードに変換する、適応的な、複数層の「エンコーダ（符号化機）」ネットワークと、コードからデータを復元する、類似の「デコーダ（復号化機）」ネットワーク、を用いる、主成分分析の非線型一般化を説明する。２つのネットワークでのランダムな重みから出発して、元々のデータと再構成との間の相違を最小化することで、それらは一緒に訓練出来る。誤差微分を、最初にデコーダ・ネットワークを通り、次にエンコーダ・ネットワーク通って、逆伝播する連鎖ルールを用いることで、必要とされる勾配は容易に得られる*1。このシステム全体は「オートエンコーダ」と呼ばれ、図１に描かれる。

図１．事前訓練は、各々が特徴検出器の１層だけを持つ、制限ボルツマンマシン（RBM：Restricted Boltzmann Machine）の積み重ねを学習させることから成る。１つの制限ボルツマンマシンの、学習された特徴活性状態は、積み重ね内の次の制限ボルツマンマシンを訓練するための「データ」として用いられる。事前学習後、制限ボルツマンマシンは深いオートエンコーダを作るために「展開される」。次にそれは誤差微分の逆伝播（バックプロパゲーション）を用いて微調整される。

*1:D. C. Plaut, G. E. Hinton, Comput. Speech Lang. 2, 35 (1987).