ディープラーニングについての感想

• 深層学習 (機械学習プロフェッショナルシリーズ)

この本（深層学習＝ディープラーニング）の読解は５章「自己符号化器」まで進んだ。４章まではディープラーニング以前にあった技術だったが５章でいよいよ本丸に差し掛かったところで、数式が難しくなり難渋している。だから、というわけでもないが、今まで読み進めてきた内容を考えると、ディープラーニングを自分の仕事に役立てるというのは現時点では無理ではないか、と思い始めている。

自分にとって、ディープラーニングがまだ実用的でないと判断する理由。

1. 調整用のパラメータが多い。それらにどの値を設定すればよいかの明確な基準がない。
2. ディープラーニングは単一の技術を指す言葉ではない。多くの変種を含む技術である。ディープラーニングでさまざまなことが可能、という言説は、誤解を招く。ある手法はある問題に有効であり、別の問題には別の手法が必要となる。ディープラーニング、という名前の万能の技術が確立されたわけではない。
3. 意味のある結果を得るのに必要な計算パワーが膨大である。今、喧伝されている成果はかなりの計算パワーを用いて力づくで実現したものである。ディープラーニングによって人間並みの学習能力が実現出来たわけではない。ディープラーニングをそれ自体として観察すれば、人間に比べて学習の効率は極めて悪い。そこを大量の計算を行うことで補っている。大学やGoogleのような大企業ならともかく、自分のまわりでそれだけの計算量を調達する環境はない。

否定的なことを書いたが、だからといってこの本の内容が面白くないわけではない。思えば、2014年4月21日に書いたようにYouTubeで見たGoogleの創業者の一人ラリー・ペイジに対してインタビュアーのチャーリー・ローズが問いかけた言葉「where does Deep Mind fit?」が、ここまで私を引っ張ってきた。今、その答えを読んでいると思うと、おろそかには出来ない。

ニューラルネットについて勉強したいと思ったきっかけは、下記の動画を見ていてインタビュアー（チャーリー・ローズ）がGoogleの創始者の一人であるラリー・ペイジに対して「where Deep Mind fit?」と問いかけているその口調が印象に残ったからです。（動画の2:30あたり）
Where's Google going next?

2014年9月8日の記事

そしてもっと振り返れば、この本の内容は2011年5月23日に書いた出来事における私の問いに対する答えでもある。あの時私が知りたかったことは、まさにこれだった。