2015-08-01から1ヶ月間の記事一覧
6月26日から8月21日まで、モントリオール大学のYoshua Bengo教授の論文Learning Deep Architectures for AIを翻訳してきました。正直なところ、半分も理解出来ていません。でも、少しは理解出来たことがあったので、翻訳したのは無駄ではなかったと思ってい…
TEDに出てくる、ジェレミー・ハワードの 学習出来るコンピュータの素晴らしい、そして、恐ろしい、意味合い（The wonderful and terrifying implications of computers that can learn）（2014年） は、ディープ・ラーニングという、ニューラルネットワーク…
Learning Deep Architectures for AI を翻訳しています。 目次はこちら 謝辞 著者は、Yann Le Cun、Geoffrey Hinton、Joseph Turian、Aaron Courville、Hugo Larochelle、Olivier Delalleau、Nicolas Le Roux、Jérôme Louradour、Pascal Lamblin、James Berg…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １５．結論 この論文はいくつかの動機から始まった。まず、AIに近づくために学習を用いることについて、次に、問題を計算と表現の複数レベルに分解することの直感的な妥当性について、次に、…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １４．未解決の諸問題 ディープ・アーキテクチャに関する研究はまだ若く、多くの疑問が答を持たないままである。以下は興味深くなる可能性がある。 回路における計算深さの役割に関する結果を…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 13.3. 教師無し学習が重要である他の理由 この論文の主張のひとつは、AIを目的とするディープ・アーキテクチャのための、成功する学習アルゴリズムを構築するには、強力な教師なし、あるいは…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 13.2. なぜスパース表現であって、次元削減ではないのか ここで我々は、もし人が（脳の中でのように）固定サイズ表現を持とうとするならば、１例当たりのさまざまな数のビットを可能にするの…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １３．他のコメント 13.1. ディープ＋分散はニュラルだけを含むとは限らない この論文の多くはディープ・ニューラル・ネット・アーキテクチャに焦点を合わせているが、ディープ・アーキテクチ…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 12.3. 反応形成：カリキュラムつきの訓練 人間は、人間の社会で機能する大人として訓練されるのに約20年を必要とする。その訓練は、新しい抽象概念の学習を容易にするために以前に学んだ概念…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 12.2. 温度の制御 １つの制限ボルツマンマシンのlog尤度の最適化でさえ、困難な最適化問題であろう。（CD-で得られるような）確率的勾配の使用と小さな初期重みは、やはり連続法に近く、連続…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １２．大域最適化戦略 ディープ・アーキテクチャは分布のより効率的な表現を、よってより良い汎化を約束するが、先にセクション５で検討したように、より困難な最適化問題という代価を支払っ…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 11.3. 全層の同時教師無し訓練 ここでは、教師なしlog尤度に関してディープ・ビリーフ・ネットワーク全体をどのように訓練出来るかについて議論する。貪欲訓練アルゴリズムを正当化するだけで…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 11.2. 貪欲層毎訓練の変化に関する正当化 ここでは、Hinton et al. (2006)でなされた、１つの制限ボルツマンマシン層を追加することでディープ・ビリーブ・ネットワークの尤度が向上する、と…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 11.1. 制限ボルツマンマシンの無限有向ビリーフ・ネットワークへの展開 ディープ・ビリーフ・ネットワーク用の貪欲訓練を正当化するために、尤度の上記の分解を用いる前に、我々はディープ・…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １１．ディープ・ビリーフ・ネットワークの層の同時最適化のための確率変動境界 このセクションでは、ディープ・ビリーフ・ネットワークを訓練するためのアルゴリズムの数学的基礎について検…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １０．ディープ・ビリーフ・ネットワーク 層のディープ・ビリーブ・ネットワーク(Hinton et al., 2006)は、観測されたベクトルと、枚の隠れた層、の間の結合分布を以下のようにモデル化する。…
