制限ホップフィールドネットワーク（３） - 工場統計力学（建設中！）

「制限ホップフィールドネットワーク（２）」の続きです。
ところで、今まで、しきい値、という用語を使ってきましたが、どうも最近では、しきい値のプラスマイナスの符号を変えたバイアスという用語をしきい値の代わりに使うようです。今まで、この「制限ホップフィールドネットワーク」では、しきい値、を使っていましたが、これからは、バイアス、を使うことにします。 $a_i$ を見える層のニューロン $i$ の（しきい値ではなく）バイアス、 $b_j$ を隠れた層のニューロン $j$ のバイアスとします。すると制限ホップフィールドネットワークのエネルギー関数は、以下のようになります。

$E=-\Bigsum_{i=1}^{n(v)}\Bigsum_{j=1}^{n(h)}w_{ij}v_ih_j-\Bigsum_{i=1}^{n(v)}a_iv_i-\Bigsum_{j=1}^{n(h)}b_jh_j$ ・・・・(4')

また、 $v_i=V_i$ 、 $h_j=H_j$ であるような特定のパターンの時にエネルギー $E$ が最小になるように $w_{ij}$ 、 $a_i$ 、 $b_j$ を調節する問題の解は、以下のように書き表されます。

$w_{ij}=\left(V_i-\frac{1}{2}\right) \left(H_j-\frac{1}{2}\right)$ ・・・・(7)
$a_i=-\frac{1}{2}\Bigsum_{j=1}^{n(h)}\left(V_i-\frac{1}{2}\right)\left(H_j-\frac{1}{2}\right)$ ・・・・(8')
$b_j=-\frac{1}{2}\Bigsum_{i=1}^{n(v)}\left(V_i-\frac{1}{2}\right)\left(H_j-\frac{1}{2}\right)$ ・・・・(9')

さて、ホップフィールドネットワークが安定状態になった場合、任意のニューロンの状態は、そのニューロンへの入力によって定まっていることになります。

特に、制限ホップフィールドネットワークの場合、左の図のように、見える層の任意のニューロンは隠れた層のニューロンからしか信号の入力がないので、隠れた層の全てのニューロンの状態が分かれば、そのニューロンの状態を導くことが出来ます。このことを数式で確かめておきましょう。見える層のニューロン $i$ の状態 $v_i$ は

$v_i=1\left(\Bigsum_{j=1}^{n(h)}w_{ij}h_j+a_i\right)$ ・・・・(10)

で、表されます。ただし $1(x)$ は「ホップフィールドネットワーク再検討（１）」で定義されたように

$x{\ge}0$ の時、 $1(x)=1$
$x<0$ の時、 $1(x)=0$

です。この式から、シナプス係数 $w_{ij$ ]とバイアス $a_i$ が決まっている状況では、隠れた層のニューロンの状態 $h_j$ の値が層全体について決定されるならば、 $v_i$ は決定されることが分かります。これは見える層の任意のニューロンについて言えます。よって、隠れた層の全ニューロンの状態が決まれば、見える層の全ニューロンの状態が決まります。隠れた層と見える層は対称的な構成になっていますから、この逆も言えます。すなわち、見える層の全ニューロンの状態が決まれば、隠れた層の全ニューロンの状態が決まります。隠れた層のニューロン $j$ の状態 $h_j$ を決定する式を以下に示します。

$h_j=1\left(\Bigsum_{i=1}^{n(v)}w_{ij}v_i+b_j\right)$ ・・・・(11)

さて、「ホップフィールドネットワーク（５）」で示したようにホップフィールドネットワークでは複数のパターン（ここでは全ニューロンの状態をベクトルに表したものをパターンと呼ぶことにします）を記憶出来ます。すなわち、複数のパターンにおいてネットワークが安定になるようにシナプス係数とバイアスを調整することが出来ます。制限ホップフィールドネットワークでも同様なことは出来ますが、上に述べたことから、隠れた層のパターン（隠れた層のニューロンの状態だけで構成されたベクトル）が同じで、見える層のパターン（見える層のニューロンの状態だけで構成されたベクトル）が異なるような２つのパターンにおいてネットワークが安定になるようにすることは出来ません。このことをもう少し明確に述べるために、記号を導入します。隠れた層のパターン、すなわち、隠れた層のニューロンの状態だけで構成されたベクトルを $\vec{h}$ で表すことにします。見える層のパターンを $\vec{v}$ で表すことにします。すなわち、

$\vec{h}\equiv(h_1,h_2,...,h_{n(h)})$
$\vec{v}\equiv(v_1,v_2,...,v_{n(v)})$

です。また、ネットワーク全体のパターンを $(\vec{v},\vec{h})$ で表すことにします。今、見える層の２つのパターン $\vec{v}_1$ と $\vec{v}_2$ を考えます。すると、制限ホップフィールドネットワークはパターン $(\vec{v}_1,\vec{h})$ とパターン $(\vec{v}_2,\vec{h})$ の両方が安定になるようにシナプス係数とバイアスを調整することは出来ない、ということになります。
また、見える層と隠れた層は役割が対称的なので、今、 $\vec{h}_1$ と $\vec{h}_2$ を隠れた層の２つのパターンであるとすると、制限ホップフィールドネットワークはパターン $(\vec{v},\vec{h}_1)$ とパターン $(\vec{v},\vec{h}_2)$ の両方が安定になるようにシナプス係数とバイアスを調整することは出来ない、ということも言えます。