ニューラルネットワーク
Learning Deep Architectures for AI の翻訳です。 目次はこちら 6.2. ボルツマンマシン ボルツマンマシンは特定のタイプのエネルギー・ベースのモデルであり、制限ボルツマンマシンはボルツマンマシンの特殊な形式で、そこではとの両方が因数分解出来るため…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 6.1.2.条件つきエネルギーベース・モデル 一般に分割関数を計算することは困難であるが、もし我々の究極の目的が、変数が与えられた際に変数に関する決定を行うことであるのならば、全ての構…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 6.1.1.隠れた変数の導入 興味のある多くの場合、我々は例を完全には観察しない。あるいは、モデルの表現力を高めるために若干の観測しない変数を導入したい。そこで、（やはりで示される観測さ…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ６．エネルギーベース・モデルとボルツマンマシン ディープ・ビリーブ・ネットワークは制限ボルツマンマシンに基づいているので、そしてそれは特にエネルギー・ベースのモデルであるのだが、我…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 5.3.最適化戦略としての教師なし学習 ディープ・ネットワークを最適化するのに役立つことが見出された別の原則は、ネットワークの個々の層を初期化するための教師なし学習の使用に基づいている…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 5.2.オートアソシエータ 以下に検討する若干のディープ・アーキテクチャ（ディープ・ビリーフ・ネットとスタックド・オートアソシエータ）は、構成要素、あるいは、モニタリング装置として、特…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 5.1.コンボリューショナル・ニューラルネットワーク ディープ・ニューラル・ネットワークは一般的に、うまく訓練するには難しすぎることが分かったが、注目すべき例外が存在する。コンボリュー…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ５．深い（ディープ）アーキテクチャの学習：最適化の困難な問題 非ローカル評価子であるディープ・アーキテクチャの必要性について動機づけされたので、これからディープ・アーキテクチャを訓…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ４．分散表現の学習 機械学習とニューラル・ネットワークの研究における古いアイディアで、次元ののろい、と、ローカル汎化の制限を扱うのに役立ちそうなものは、分散表現のアイディアである (…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 3.4.滑らかさ vs コルモゴロフ複雑性 次元ののろい、から逃れるために、データ内に起こる多量の変化を、それらすべてを列挙することなくとらえることが出来るモデルを持つことが必要である。そ…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 3.3.デシジョン・ツリーは新しい変化に対して汎化出来ない デシジョン・ツリーは、最もよく研究された学習アルゴリズムのひとつである。それらは入力変数の特定の部分集合に注目することが出来…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 3.2.近傍グラフに基づく教師なし、半教師ありアルゴリズム ローカル評価子は、上で議論したアルゴリズムのような教師あり学習アルゴリズムだけでなく、これから我々が検討する、教師なしと半教…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 3.1.ローカル・カーネルの理論的限界 ここでは、ローカル・カーネル・マシンの制限に関する正式な結果について考察する。ローカル・カーネルは高度に変化する関数をとらえるのに不十分である、…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ３．ローカル汎化と非ローカル汎化：ローカル・テンプレートのマッチングの限界 このセクションは多くの浅いアーキテクチャでの評価子の局所性について注目する。それは高度に変化する関数を学…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ２．浅いアーキテクチャの理論的限界 このセクションでは、不十分な深さのアーキテクチャの制限を明らかにする理論的結果によってディープ・アーキテクチャに賛成する議論を提示する。論文のこ…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 1.1.AIの学習のための欲しいものリスト 上記の課題の若干をまとめて、AIを解決する学習アルゴリズムのために気づいたいくつかの要求を述べる。 複雑な、高度に変化する関数、つまり、訓練例の…
Learning Deep Architectures for AIの翻訳です。 目次はこちら １．導入 我々が知性と呼ぶものを示すに充分なほど、この世界をモデル化することをコンピュータが出来るようにすることは、半世紀以上の研究の焦点であった。これを達成するためには、この世界…
Yoshua Bengo教授の論文Learning Deep Architectures for AIはディープラーニングを理解する上で重要な論文なので、翻訳しました。 ＡＩのためのディープ・アーキテクチャの学習 Yoshua Bengo モントリオール大学コンピュータ科学とオペレーションズリサーチ…
英語版WikipediaのDeep belief networkのページの翻訳。 ディープ・ビリーフ・ネットワーク 機械学習では、ディープ・ビリーフ・ネットワーク(DBN)は、潜在的変数（「隠れたユニット）の複数層からなり、層間には接続があるが、個々の層内のユニット間には接…
英語版WikipediaのBoltzmann Machineのページの翻訳。 ボルツマンマシン ボルツマンマシンは1985年にジェフリー・ヒントンとテリー・セジュスキーが発明した確率再帰型ニューラル・ネットワークの一種である。ボルツマンマシンはホップフィールド・ネットの…
日本語版と英語版のWikipediaの「ボルツマンマシン」のページを繰り返し見ていたら、日本語版は英語版を訳したものであることが一目瞭然なのでしたが、なぜが一部分を日本語に訳していないことが分かりました。 ボルツマンマシン――日本語版Wikipedia ボルツ…
シグモイド関数 ・・・・(24) は以下のような曲線になります。 このシグモイド関数の表記を用いると式(11) ・・・・(11) は ・・・・(25) と表すことが出来ます。さらに式(23) ・・・・(23) を(25)に代入すれば ・・・・(26) になります。ここまでのボルツマ…
式(11) ・・・・(11) の意味を考えてみましょう。の時は、式(11)からとなります。ということは、ということです。つまり、ニューロンの出力が+1でも-1でも全体のエネルギーは変わらない、という場合です。この場合は、ニューロンの出力が+1になる確率は1/2に…
このエントリーは勉強であれこれ考えたことをメモしているだけですから、個人的なものです。ネットに公開しながら矛盾していますが、ごく私的なメモです。すみません。いつかはちゃんと人に説明出来るようになりたい。とにかく書いていきます。 さっそくです…
今日、英語版Wikipediaの「制限ボルツマンマシン」のページの翻訳を終えました。終えましたけれども、内容はよく理解出来ていません。それでも得るところはありました。ひとつは自分のボルツマンマシンの理解がかなり表面的であったことを自覚したことです。…
英語版WikipediaのRestricted Boltzmann Machineのページの翻訳。「ヒントン教授によって書かれた、RBMを訓練する実際的なガイドは彼のホームページの中で見つかる。」より以降の文章はよく分からない。 制限ボルツマン・マシン 制限ボルツマン・マシン(RBM)…
今日もメモ書き。メモ書きを書き足していく感じがよさそうだ。 以前、Wikipediaでディープラーニング（「深層学習」とも言う）について検索した時、ほとんど情報がなかったのに今、見るといろいろな解説が（まだ不十分だが）ある。その中のひとつが「ボルツ…
デビッド・マー著『Vision』のアマゾンの書評に感じるものがあった。 現代は脳の世紀といわれ、脳機能についての知識が全くない人は少ないと思う。しかし脳の研究が始まった瞬間の時代にまさか、こんな時代が来るとは思った人がいただろうか。 同じように、…
東大准教授に教わる「人工知能って、そんなことまでできるんですか?」作者: 松尾豊,塩野誠出版社/メーカー: KADOKAWA/中経出版発売日: 2014/10/15メディア: 単行本この商品を含むブログ (3件) を見る記述があまり体系的でないので、私には読みづらかったです…
何が疑問になったかといいますと、 ・・・・(37) である場合、を最小にすることが、はたして本当に巡回セールスマン問題の解になるかということです。巡回セールスマン問題は、の制約の元でのが最小になるのパターンを見つけることです。ここで、は必須条件…
