勉強してわかったこと

脳科学とニューラルネットワークについて最近行った勉強で分かったことを書きます。それは脳科学の知見がニューラルネットに与えた影響についてです。

• 脳科学
  • 1959年、ヒューベルとウィーゼルが、第一次視覚野(V1と略記される。Vはvision[視覚]のV）の神経細胞が、特定の向きの線分に応答すること（方位選択性）を発見。
    • この神経細胞を単純型細胞(Simple cell)と呼ぶ。
    • この単純細胞の出力を入力する細胞を複雑型細胞(Complex cell）と呼ぶ。複雑型細胞は、同じ方位選択性を持ち、少しずつ受容野の位置が異なる単純型細胞から入力を得ているため、線分の位置をある程度ずらしても複雑型細胞の応答はほとんど変わらない。
• ニューラルネットワーク
  • 上記の知見を元に福島邦彦氏が、1979年にS細胞（単純型細胞に相当）の層とC細胞（複雑型細胞に相当）の層を交互に重ねた構造を持つ多層ニューラルネットワークであるネオコグニトロンを発表。ネオコグニトロンとその改良版は、2012年にディープラーニングが画像認識で驚異的な成果を示すまで、一番成績のよい画像認識システムだった。

• 脳科学
  • 1987年、ジョーンズとパルマーが、上記の単純型細胞の受容野が、ガボールフィルターでよく近似出来ることを示す。
    • ガボールフィルターは以下の式で表される。
      • 
      • 

の値を濃淡で示した図。
なお、は平均0、標準偏差のガウス分布

• • • この時点ではなぜ、単純型細胞の受容野がこのようになっているのかの理由は分かっていなかった。
• 脳科学
  • 1996年、オルスホーセンとフィールドが自然界の画像を分析して、それらの統計的な分析をしたところ、スパース性という性質が明らかになった。このスパース性を最大にするように画像を分解すると、上記のガボールフィルターに似た特性が得られた。逆に言えばガボールフィルターを組み合わせることで、自然界の画像は構成できる。
    • オルスホーセンとフィールドは脳のV1の情報処理機構の説明としてスパース・コーディングを提唱する。
• ニューラルネットワーク
  • 2006年(?)、ヒントン他が、スパース性をニューラルネットワークに取り入れることで、ニューラルネットワークの画像認識能力が格段に進歩した。これがディープ・ラーニングに発展した。

脳科学での知見を応用して、工学的なシステムを開発していく様子が見えてきました。