ネオコグニトロンをめぐって

• Deep CNN ネオコグニトロンの学習--JSAI2016タイムテーブル 06月06日(Mon)--1A3-OS-27a オーガナイズドセッション「大会特別講演：福島先生 / OS-27 Deep Learning (1)」

の中の記述

ネオコグニトロンの回路構造は、第一次視覚野に関する神経生理学的な知見、すなわちHubel-Wieselの古典的な階層仮説にヒントを得て考案された。図1に示すように、特徴抽出を行うS細胞の層と、位置ずれを許容する働きを持つC細胞の層（pooling層）とを交互に階層的に配置した多層神経回路である。

について、別の本で読んだ記述を参考として並べます。

• 理工学系からの脳科学入門

なお、この本は章ごとに執筆者が異なっています。

　D. HubelとT. Wieselは、LGNのニューロンの出力先である第一次視覚野(V1)の4層の神経細胞が、特定の向きの線分に応答することを発見した*1。この神経細胞を単純型細胞と呼ぶ。

「第５章　視覚情報処理入門」岡田真人著　より

ここに出てくる単純型細胞というのがS細胞(Simple cell)に当ります。

V1の単純型細胞は、同じV1の第Ⅱ、Ⅲ層へ出力を送る。V1の第Ⅱ、Ⅲ層のニューロンは、多くの場合、複雑型細胞である。複雑型細胞は、単純型細胞のように最適な線分の傾きを持つが、その線分の位置をある程度ずらしても複雑型細胞の応答はほとんど変わらない。複雑型細胞は、同じ方位選択性を持ち、少しずつ受容野の位置が異なる単純型細胞から入力を得ている。そのため複数型細胞は、線分の位置のずれに対して、不変な特性を持つ。

「同上」

ここに出てくる複雑型細胞がC細胞(Complex cell)に当ります。このように両者の記述を突き合わせると、なるほどネオコグニトロンは「第一次視覚野に関する神経生理学的な知見、すなわちHubel-Wieselの古典的な階層仮説にヒントを得て考案された。」ということが分かります。

また、Deep CNN ネオコグニトロンの学習では、

各層は、複数のsub-layer（細胞面）から構成されている。（中略）細胞面内には細胞がretinotopyを保って並んでおり、同一の入力結合を共有している（shared connection）。

という記述がありますが、ここに登場するretinotopy（レチノトピー）というのは、甘利俊一氏の

• 脳・心・人工知能 数理で脳を解き明かす (ブルーバックス)

では、

外界の事物は、網膜上では2次元の像として映る。一方、脳の皮質も2次元である。網膜のある場所の情報が、大脳皮質の視覚野のある場所に写されるときに、場所ごとに対応がとれている。
　つまり、網膜と皮質との間に１対１の連続的な写像があって、場の２次元トポロジーを保存する。これを「レチノトピー」という。もちろん、脳内でこの対応がどこまでも続くわけではなく、層が高まるにつれて場所に関係しないより高次の情報が表現される。

と説明されています。この説明の大筋はネオコグニトロンにも当てはまるので、ネオコグニトロンは大脳皮質の視覚野のモデルとしても興味深いものなんだろうと思います。

ところでレチノトピーって変な名前だなと思って英辞郎 on the WEBで調べたらretinaって網膜のことなんですね。おそらくretinotopyはretina（網膜） + topos（場所：元々はギリシア語）なんでしょう。

*1:D. Hubel and T. Wiesel, "Receptive fields of single neurones in the cat's striate cortex" Journal of Physiology, 148, 571-591 (1959)