う〜ん、進みづらい

ニューラルネットワーク

何とかここまで偉そうな文体でニューラルネットワークについて書いてきましたが、私はニューラルネットワークについては初学者です。自分が学んだことについてメモしたノートを公開するようなつもりで書いてきました。でも、自分の身についていないことをこの文体で書くのはそろそろつらくなってきました。


そもそもなぜノートを公開するのかといえば、誰かが見ているかもしれないということを意識すると、あまりいい加減なことを書けなくなるので、結果的に自分の理解が進むからです。とはいえ、何か教科書を買って勉強すると、アップする内容にその教科書の内容そのものがやはり出てしまいがちなので、著作権の問題になるかもしれないと危惧してしまいます。そのため、教科書は読んでいません。あくまでネット上で見つけた無料の資料で勉強しています。


ニューラルネットについて勉強したいと思ったきっかけは、下記の動画を見ていてインタビュアー（チャーリー・ローズ）がGoogleの創始者の一人であるラリー・ペイジに対して「where Deep Mind fit?」と問いかけているその口調が印象に残ったからです。（動画の2:30あたり）
Where's Google going next?

    • Tell me, when you look at what Google is doing, where does Deep Mind fit?
    • あなたがGoogleがしていることについて考える時、ディープマインドはどこに適合するのか言って下さい。
  • Year, so Deep Mind is a company we just acquired recently. It's in the U. K. First, let me tell you the way we got there, which was looking at search and really understanding, trying to understand everything, and also make the computers not clunky and really understand you-- like, voice was really important. So what's the state of the art on speech recognition? It's not very good. It doesn't really understand you. So we started doing machine learning research to improve that. That helped a lot. And we started just looking at things like YouTube. Can we understand YouTube? But we actually ran machine learning on YouTube and it discovered cats, just by itself. Now, that's an important concept. And we realized there's really something here. If we can learn what cats are, that must be really important. So I think Deep Mind, what's really amazing about Deep Mind is that it can actually-- they're learning things in this unsupervised way. They started with video games, and really just, maybe I can show the video, just playing video games, and learning how to do that automatically.
  • ええ、ディープマインドは我々が最近買収したばかりの会社です。それはイギリスにあります。最初に、我々がそこまでいった経緯を話させて下さい。それは検索について考えていて、全てを本当に理解していて、理解しようとしていました。またコンピュータを不恰好でなくし本当にあなたを理解するようにします・・・　まあ、音声は本当に重要でした。それで談話認識についての最先端はどうなんでしょうか？　それはあまりよくありません。そこで我々はそれを改善するために機械学習（machine learning）の研究を開始しました。それは非常に役に立った。そして我々はユーチューブのようなものを単に見せることを開始した。我々はユーチューブを理解出来ますか？　しかし我々が実際にユーチューブについて機械学習を走らせたところ、それは自力でネコを発見したのです。それは１つの重要なコンセプトです。そして我々は、ここに何かが本当にあると気づきました。ネコが何であるかを我々が学習出来るならば、それは本当に重要なことに違いありません。それで私はディープマインドが、ディープマインドに関して本当に素晴らしいことはそれは実際に・・・　それらがこの中の物を教師なしで学習するということです。それらはビデオゲームを始めて、本当に、たぶん私はそのビデオを見せることが出来るでしょう、ビデオゲームを遊んで、それをどう行うかを自動的に学習したのです。



ディープマインドはグーグルが今年になって、すでに買収していたことを認めたイギリスの人工知能の会社で、ディープラーニングという新しい手法を使って自発的なパターン認識を実現しているそうです。このことが気になってディープラーニングのことが知りたくなったのですが、まずは基礎が分かっていないことを自覚しましたので、自分が長年親しんできたウィーナーからはじめて、だんだんそっちにもっていこうとしました。それがうまくいっているかどうか疑問ですが、まあ、自分にとってはそこそこ面白かったのでそれでよいのではないか、と思っています。
今まで書きなぐってきたことの中からいくつか・・・


みっともなくても、まだ続けます。
そういえば、この動画でもうひとつ印象に残っている個所があります。ラリー・ペイジの言葉です。
I think we're seeing a lot of exciting work going on that sort of crosses computer science and neuroscience.（そのような種類のコンピュータ科学と神経科学の交点で多くのエキサイティングな業績を私たちは見ていると思います。）