ホップフィールドネットワーク（６）

ここからパターン想起の話題から別の話題に移ります。
ホップフィールドネットワークは「ホップフィールドネットワーク理解に向けての準備体操（５）」に述べたようにエネルギー

• ・・・・(14)

を等しいままか小さくするように動作します。「ホップフィールドネットワーク（５）」にありますようにエネルギーの極小値は一般には複数あります。よって、ホップフィールドネットワークは極小値を求めて動作し、極小値にたどり着いて安定します。このことは一種の最適化を行っているとみなすことが出来ます。

一般には最適化ではある評価関数を最大にするか最小にするようなパラメータの組を見つけ出すことを目指します。ここでは最小化に限定して考えましょう。最大化の問題は、評価関数にを掛けることによって最小化の問題に変換できます。ホップフィールドネットワークは極小値を求めることは出来ますが、必ずしも最小値を求めるとは限りません。そこで、最小値を求めることが出来るようにニューロンの出力の更新を、ある確率で

• ・・・・(2)
• ただし
  • ・・・・(3)

から逸脱させて、時にはエネルギーの値が大きくなるような変化を起こすことにより、極小値から脱出して最小値に向かわせるような仕組みを考えることが出来ます。このようにして考えられたのがボルツマンマシンというものだそうです。

• 図８
• 

ボルツマンマシンについてはのちに検討することにして、ホップフィールドネットワークに何らかの仕組みを追加することによって最小値を求めることが出来る、という前提で以下の話を進めていきます。

さて、最小になるのは式(14)に示したエネルギーですが、の値は任意に設定出来るものです。ただし、

• 
• 

という条件は満たさなければなりません。このような条件が課せられていますが、それでもの自由度は大きなものです。そこで、別の形に書ける評価関数であっても、変形すれば式(14)のようになるのであれば、ホップフィールドネットワーク＋α＝ボルツマンマシンによって最小値を求めることが出来ます。このようにホップフィールドネットワーク（＋α）は、ある種の最適化問題を解くことが出来るということが言えます。