ネオコグニトロン：サイバネティクスの香気
今、時間のある時に
を読んでいるのですが、なかなか面白いです。
ニューラルネットのどちらかといえば工学的な話と、生理学的な話が対比されていて、私の好きなウィーナーのサイバネティクスを思わせる雰囲気があります。以下のような記述を読むと、私はうれしくなります。
ネオコグニトロンの回路構造は、第一次視覚野に関する神経生理学的な知見、すなわちHubel-Wieselの古典的な階層仮説にヒントを得て考案された。図1に示すように、特徴抽出を行うS細胞の層と、位置ずれを許容する働きを持つC細胞の層（pooling層）とを交互に階層的に配置した多層神経回路である。
あるいは
このように簡単なAiS則で、なぜ高い認識率が得られるのであろうか。入力パターンを最終的に識別するのは、多層回路の中間層ではなく最上位層である。中間層の役割は、入力層に提示されたパターンを、単一細胞の反応によってではなく、多数の細胞の反応の集合、すなわちpopulation codingによって、正確に表現することである。population codingの場合には、個々の細胞の反応特性が学習刺激に正確に一致していることは、必ずしも必要ではない。その層の全細胞の集団としての反応が、入力刺激を正確に表現してさえいれば十分なのである。
このことは、ヒトを含む哺乳動物の視覚神経系の形成に臨界期が存在し、臨界期を過ぎると下位の視覚野（第1次視覚野など）の神経系は可塑性を失うという神経生理学的な事実とも符合している。臨界期以前に多様な視覚刺激を与えておく必要はあるが、それ以降は下位の視覚野が可塑性を失っていても、上位の視覚野の働きで、新しい視覚パターンを学習し認識することができるのである。臨界期以降は可塑性を失っているので、特定の視覚対象に対する神経回路のtune-upは行われていないはずであるが、我々人間は新しい視覚対象でも問題なく学習し認識できるようになる。ネオコグニトロンでも、中間層の自己組織化が完了した後は、最上位層の細胞だけに可塑性を持たせて、学習を進めている。
というような記述です。
これらの記述は、今から70年以上前の1945年、フォン・ノイマンがコンピュータの設計仕様として書いたEDVACに関する第一草稿（First Draft of a Report on the EDVAC)に出てくる
2.6.
という、やはりコンピュータと人間の脳神経系を対比した記述を受け継いでいるように感じます。
