2015-01-01から1年間の記事一覧
Learning Deep Architectures for AI の翻訳です。 目次はこちら ９．オートアソシエータの積上げ オートアソシエータは、深い（＝ディープな）複数層ニューラル・ネットワークを構築する際の構成要素として用いられてきた(Bengio et al., 2007; Ranzato et …
Learning Deep Architectures for AI の翻訳です。 目次はこちら ８．制限ボルツマンマシンの一般化と対照分岐 制限ボルツマンマシンを、パラメータ化の大きなクラスを含むように一般化することを試みよう。そのクラスには先に我々が検討してきた本質的に同…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ７．ギブスチェーン・モデルにおけるLog尤度の打切り ここでは、異なる観点から対照分岐更新ルールに近づく。これはその可能な一般化をもたらし、その性能を監視するのにしばしば用いられる再…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 6.6.3. 因数分解制限ボルツマンマシン いくつかの確率的言語モデルでは、個々の単語の分散表現を学習することが提案されてきた(Deerwester, Dumais, Furnas, Landauer, & Harshman, 1990; Mii…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 6.6.2. 条件つき制限ボルツマンマシンと時間的制限ボルツマンマシン 条件つき制限ボルツマンマシン は、若干のパラメータが自由ではなく、その代わり、他の確率変数のパラメータ化された関数…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 6.6. 制限ボルツマンマシンの変形 見える、あるいは隠れた、ユニットに関係する条件分布を、例えば、指数関数族の任意のメンバに一般化することは簡単である(Welling et al., 2003)ことを、我…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 6.5. モデルのサンプルはネガティブな例である。 エネルギーベースのモデルを訓練することは、人が訓練例を、モデルが生成したサンプルから区別しようとするような一連の分類問題を解くことに…
Learning Deep Architectures for AI の翻訳です。 6.4. 対照分岐 対照分岐は、log尤度勾配の近似であり、それは制限ボルツマンマシンを訓練するのに成功することが分かった更新ルールである(Carreira-Perpiñan & Hinton, 2005)。擬似コードを、バイナリの入…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 6.3.1. 制限ボルツマンマシンにおけるギブスサンプリング 制限ボルツマンマシンからのサンプル抽出はいくつかの理由により役に立つ。まず第一に、それは学習アルゴリズムの中で、log尤度勾配…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 6.3. 制限ボルツマンマシン 制限ボルツマンマシン(RBM)は、ディープ・ビリーフ・ネットワークの構成要素である。というのは、それはディープ・ビリーフ・ネットワークの個々の層でのパラメー…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 6.2. ボルツマンマシン ボルツマンマシンは特定のタイプのエネルギー・ベースのモデルであり、制限ボルツマンマシンはボルツマンマシンの特殊な形式で、そこではとの両方が因数分解出来るため…
Learning Deep Architectures for AI の翻訳です。 目次はこちら 6.1.2.条件つきエネルギーベース・モデル 一般に分割関数を計算することは困難であるが、もし我々の究極の目的が、変数が与えられた際に変数に関する決定を行うことであるのならば、全ての構…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 6.1.1.隠れた変数の導入 興味のある多くの場合、我々は例を完全には観察しない。あるいは、モデルの表現力を高めるために若干の観測しない変数を導入したい。そこで、（やはりで示される観測さ…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ６．エネルギーベース・モデルとボルツマンマシン ディープ・ビリーブ・ネットワークは制限ボルツマンマシンに基づいているので、そしてそれは特にエネルギー・ベースのモデルであるのだが、我…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 5.3.最適化戦略としての教師なし学習 ディープ・ネットワークを最適化するのに役立つことが見出された別の原則は、ネットワークの個々の層を初期化するための教師なし学習の使用に基づいている…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 5.2.オートアソシエータ 以下に検討する若干のディープ・アーキテクチャ（ディープ・ビリーフ・ネットとスタックド・オートアソシエータ）は、構成要素、あるいは、モニタリング装置として、特…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 5.1.コンボリューショナル・ニューラルネットワーク ディープ・ニューラル・ネットワークは一般的に、うまく訓練するには難しすぎることが分かったが、注目すべき例外が存在する。コンボリュー…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ５．深い（ディープ）アーキテクチャの学習：最適化の困難な問題 非ローカル評価子であるディープ・アーキテクチャの必要性について動機づけされたので、これからディープ・アーキテクチャを訓…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ４．分散表現の学習 機械学習とニューラル・ネットワークの研究における古いアイディアで、次元ののろい、と、ローカル汎化の制限を扱うのに役立ちそうなものは、分散表現のアイディアである (…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 3.4.滑らかさ vs コルモゴロフ複雑性 次元ののろい、から逃れるために、データ内に起こる多量の変化を、それらすべてを列挙することなくとらえることが出来るモデルを持つことが必要である。そ…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 3.3.デシジョン・ツリーは新しい変化に対して汎化出来ない デシジョン・ツリーは、最もよく研究された学習アルゴリズムのひとつである。それらは入力変数の特定の部分集合に注目することが出来…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 3.2.近傍グラフに基づく教師なし、半教師ありアルゴリズム ローカル評価子は、上で議論したアルゴリズムのような教師あり学習アルゴリズムだけでなく、これから我々が検討する、教師なしと半教…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 3.1.ローカル・カーネルの理論的限界 ここでは、ローカル・カーネル・マシンの制限に関する正式な結果について考察する。ローカル・カーネルは高度に変化する関数をとらえるのに不十分である、…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ３．ローカル汎化と非ローカル汎化：ローカル・テンプレートのマッチングの限界 このセクションは多くの浅いアーキテクチャでの評価子の局所性について注目する。それは高度に変化する関数を学…
Learning Deep Architectures for AIの翻訳です。 目次はこちら ２．浅いアーキテクチャの理論的限界 このセクションでは、不十分な深さのアーキテクチャの制限を明らかにする理論的結果によってディープ・アーキテクチャに賛成する議論を提示する。論文のこ…
Learning Deep Architectures for AIの翻訳です。 目次はこちら 1.1.AIの学習のための欲しいものリスト 上記の課題の若干をまとめて、AIを解決する学習アルゴリズムのために気づいたいくつかの要求を述べる。 複雑な、高度に変化する関数、つまり、訓練例の…
Learning Deep Architectures for AIの翻訳です。 目次はこちら １．導入 我々が知性と呼ぶものを示すに充分なほど、この世界をモデル化することをコンピュータが出来るようにすることは、半世紀以上の研究の焦点であった。これを達成するためには、この世界…
Yoshua Bengo教授の論文Learning Deep Architectures for AIはディープラーニングを理解する上で重要な論文なので、翻訳しました。 ＡＩのためのディープ・アーキテクチャの学習 Yoshua Bengo モントリオール大学コンピュータ科学とオペレーションズリサーチ…
英語版WikipediaのDeep belief networkのページの翻訳。 ディープ・ビリーフ・ネットワーク 機械学習では、ディープ・ビリーフ・ネットワーク(DBN)は、潜在的変数（「隠れたユニット）の複数層からなり、層間には接続があるが、個々の層内のユニット間には接…
英語版WikipediaのBoltzmann Machineのページの翻訳。 ボルツマンマシン ボルツマンマシンは1985年にジェフリー・ヒントンとテリー・セジュスキーが発明した確率再帰型ニューラル・ネットワークの一種である。ボルツマンマシンはホップフィールド・ネットの…
