2015-01-01から1年間の記事一覧
2015年の自分のブログ活動を振り返ると、10月でほぼ活動を停止してしまったことに気づきました。今年６月に、勉強しようと考えたディープラーニングについては、ぼんやりとしたイメージをつかめたぐらいでしかありません。10月で息切れしてしまいました。デ…
記憶の森を育てる 意識と人工知能作者: 茂木健一郎出版社/メーカー: 集英社発売日: 2015/10/26メディア: 単行本この商品を含むブログ (1件) を見る読んで、茂木健一郎の考えていることを初めて理解出来たような本でした。しかし、彼の目指すところには疑問が…
「制限ホップフィールドネットワーク（２）」の続きです。 ところで、今まで、しきい値、という用語を使ってきましたが、どうも最近では、しきい値のプラスマイナスの符号を変えたバイアスという用語をしきい値の代わりに使うようです。今まで、この「制限ホ…
「制限ホップフィールドネットワーク（１）」の続きです。 図１ が 図２ に変わると、式(3) ・・・・(3) はどのように書き換えられるでしょうか？ まず式(3)のについて考えてみます。見える層のしきい値を、隠れた層のしきい値をで表します。そして見える層…
ディープラーニングには制限ボルツマンマシンが大きな役割を果たしているようなのですが、制限ボルツマンマシンの詳しい解説がネットの中で見つかりません。そこで、自力で何とか理解するために、制限ボルツマンマシンならぬ制限ホップフィールドネットワー…
ニューラルネットワークを勉強していて特徴的だな、と思ったことは、とてつもない多次元で物事を考えることです。たとえば、「パターン認識（１）」で扱った数字のパターン認識について考えると、これは５×７＝３５マス あります。 図１ このひとマス毎に０…
「ホップフィールドネットワーク再検討（１）」の式(8) ・・・・(8) は、ニューロンの出力の更新によってエネルギーが増加しないことを示す式でした。「ホップフィールドネットワーク再検討（１）」では、ニューロンの入力と出力の関係を ・・・・(3) ・・・…
ちょっと、一様分布の標準偏差を計算する必要が出てきたので、ここにメモです。今まで書いていた[ニューラルネットワーク]の話とはまったく関係ありません。 からまでの一様分布を考えます。 まず、この分布の確率密度を求めます。確率密度をで表すとすると…
以前、ホップフィールドネットワークを検討した際には、各ニューロンの値は1か−1であるとしていました。これを通常のニューラルネットワークのように1か0の値を取るとしても、ニューロンの状態更新によってエネルギー ・・・・(1) が増加しない、ということ…
トロント大学ヒントン(G. E. Hinton)教授のReducing the Dimensionality of Data with Neural Networksの和訳です。 文書について訓練した場合、オートエンコーダは迅速な検索を可能にするコードを生成する。我々は、804,414件のニュースワイア・ストーリー…
トロント大学ヒントン(G. E. Hinton)教授のReducing the Dimensionality of Data with Neural Networksの和訳です。 我々の事前訓練アルゴリズムによって我々が深いネットワークを効率的に微調整することができることを証明するために、２次元上のランダムに…
トロント大学ヒントン(G. E. Hinton)教授のReducing the Dimensionality of Data with Neural Networksの和訳です。 複数の隠れた層を持つ非線型オートエンコーダ内の重みを最適化することは困難である*1 *2 *3。大きな初期重みによっては、オートエンコーダ…
トロント大学ヒントン(G. E. Hinton)教授のReducing the Dimensionality of Data with Neural Networksの和訳です。 ニューラルネットワークによるデータの次元削減 G. E. Hinton* and R. R. Salakhutdinov Department of Computer Science, University of T…
6月26日から8月21日まで、モントリオール大学のYoshua Bengo教授の論文Learning Deep Architectures for AIを翻訳してきました。正直なところ、半分も理解出来ていません。でも、少しは理解出来たことがあったので、翻訳したのは無駄ではなかったと思ってい…
TEDに出てくる、ジェレミー・ハワードの 学習出来るコンピュータの素晴らしい、そして、恐ろしい、意味合い（The wonderful and terrifying implications of computers that can learn）（2014年） は、ディープ・ラーニングという、ニューラルネットワーク…
Learning Deep Architectures for AI を翻訳しています。 目次はこちら 謝辞 著者は、Yann Le Cun、Geoffrey Hinton、Joseph Turian、Aaron Courville、Hugo Larochelle、Olivier Delalleau、Nicolas Le Roux、Jérôme Louradour、Pascal Lamblin、James Berg…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １５．結論 この論文はいくつかの動機から始まった。まず、AIに近づくために学習を用いることについて、次に、問題を計算と表現の複数レベルに分解することの直感的な妥当性について、次に、…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １４．未解決の諸問題 ディープ・アーキテクチャに関する研究はまだ若く、多くの疑問が答を持たないままである。以下は興味深くなる可能性がある。 回路における計算深さの役割に関する結果を…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 13.3. 教師無し学習が重要である他の理由 この論文の主張のひとつは、AIを目的とするディープ・アーキテクチャのための、成功する学習アルゴリズムを構築するには、強力な教師なし、あるいは…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 13.2. なぜスパース表現であって、次元削減ではないのか ここで我々は、もし人が（脳の中でのように）固定サイズ表現を持とうとするならば、１例当たりのさまざまな数のビットを可能にするの…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １３．他のコメント 13.1. ディープ＋分散はニュラルだけを含むとは限らない この論文の多くはディープ・ニューラル・ネット・アーキテクチャに焦点を合わせているが、ディープ・アーキテクチ…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 12.3. 反応形成：カリキュラムつきの訓練 人間は、人間の社会で機能する大人として訓練されるのに約20年を必要とする。その訓練は、新しい抽象概念の学習を容易にするために以前に学んだ概念…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 12.2. 温度の制御 １つの制限ボルツマンマシンのlog尤度の最適化でさえ、困難な最適化問題であろう。（CD-で得られるような）確率的勾配の使用と小さな初期重みは、やはり連続法に近く、連続…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １２．大域最適化戦略 ディープ・アーキテクチャは分布のより効率的な表現を、よってより良い汎化を約束するが、先にセクション５で検討したように、より困難な最適化問題という代価を支払っ…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 11.3. 全層の同時教師無し訓練 ここでは、教師なしlog尤度に関してディープ・ビリーフ・ネットワーク全体をどのように訓練出来るかについて議論する。貪欲訓練アルゴリズムを正当化するだけで…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 11.2. 貪欲層毎訓練の変化に関する正当化 ここでは、Hinton et al. (2006)でなされた、１つの制限ボルツマンマシン層を追加することでディープ・ビリーブ・ネットワークの尤度が向上する、と…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 11.1. 制限ボルツマンマシンの無限有向ビリーフ・ネットワークへの展開 ディープ・ビリーフ・ネットワーク用の貪欲訓練を正当化するために、尤度の上記の分解を用いる前に、我々はディープ・…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １１．ディープ・ビリーフ・ネットワークの層の同時最適化のための確率変動境界 このセクションでは、ディープ・ビリーフ・ネットワークを訓練するためのアルゴリズムの数学的基礎について検…
Learning Deep Architectures for AI の翻訳です。 目次はこちら １０．ディープ・ビリーフ・ネットワーク 層のディープ・ビリーブ・ネットワーク(Hinton et al., 2006)は、観測されたベクトルと、枚の隠れた層、の間の結合分布を以下のようにモデル化する。…
