ニューラル・コーディング（７）

• これは英語版のWikipediaの「Neural Coding」の項目の翻訳です。

3.4　スパース・コーディング

スパース・コーディングは個々の事柄がニューロンの比較的小さな集合の強い活動で符号化される場合である。符号化される個々の事柄について、これは利用可能な全てのニューロンの異なる部分集合である。
その結果、スパース性は時間的スパース性（「比較的少数の期間が活動中である」）かあるいはニューロンの活性化された集団内のスパース性に注目されるだろう。後者の場合、これは１つの期間内で集団内の ニューロンの総数に対する活性化したニューロンの数として定義されるだろう。これは従来のコンピュータと比べて、情報がニューロン間に大規模に分布しているので、ニューラル・コンピューテーションの特質のように見える。OlshausenとFieldによるニューラル・コーディングにおける主な結果は、自然画像のスパース・コーディングは視覚野内の単純細胞の受容野に似たウェーブレットのような方向フィルタを生成するということである。スパース・コードの能力は、バッタの嗅覚系で発見されたように、時間コーディングの同時使用によって増加出来る。
入力パターンの潜在的に大きな集合が与えられると、スパース・コーディング・アルゴリズム（例えばオートエンコーダ）は、適切な規模で組込まれた場合に、元の入力パターンを再生するような少数の表現パターンを自動的に見つけようとする。次に入力についてのスパース・コーディングがそれらの表現パターンから構成される。例えば、英文の非常に大きな集合は特定の文について特定の順序で組み合わされた少数の記号（つまり、文字、数字、句読点、空白）によって符号化出来るので、英語のスパース・コーディングはそれらの記号ということになるだろう。

3.4.1　線形生成モデル

スパース・コーディングの大部分のモデルは線形生成モデルに基づいている。このモデルでは入力を近似するために記号は線形に組み合わされる。
より形式的には、次元の実数の入力ベクトルが与えられたとき、スパース・コーディングの目標は、個の次元基底ベクトルを、個々の入力ベクトルについて重みまたは係数のスパース次元ベクトルとともに決定することであり、その係数は、それによって与えられた比率での基底ベクトルの線形結合が入力ベクトルのよい近似をもたらすようにする。つまり。
線形生成モデルを実装するアルゴリズムが生成したコーディングはソフト・スパース性を持つコーディングとハード・スパース性を持つコーディングに分類出来る。これらは通常の入力についての基底ベクトル係数の分布を参照する。ソフト・スパース性を持つコーディングは滑らかなガウス分布に似た分布を持つが、ガウス分布よりとがっており、多くのゼロ値と若干の絶対値の小さな値、そしてより少ない絶対値のより大きな値、そして非常にまれな絶対値の非常に大きな値を持つ。よって基底ベクトルの多くは活動している。ハード・スパース性はこれとは反対に、多くのゼロ値、まったくないかほとんどない絶対値の小さな値、それより少ない絶対値のより大きい値、そして非常にまれな絶対値の大きな値を示し、よってほとんどの基底ベクトルは活動していない。これは代謝の観点から魅力がある。つまりより少ないニューロンが発火する時、より少ないエネルギーが使用される。
コーディングのもう一つの尺度は、それが境界完備(critically complete)*1であるか過完備であるかである。もし基底ベクトルの数が入力集合の次元に等しいならば、そのコーディングは境界完備であると言われる。この場合入力ベクトルの滑らかな変化は係数の突発的な変化をもたらし、そのコーディングは入力の小さな拡大縮小や小さな平行移動や雑音を優雅に扱うことが出来ない。しかしもし、基底ベクトルの数が入力集合の次元より大きいならば、そのコーディングは過完備である。過完備コーディングは入力ベクトル間を滑らかに補完し、入力雑音に対して頑健である。人間の一次視覚野は500倍の過完備であると見積もられており、例えば14×14区画の入力（196次元空間）が約100,000個のニューロンで符号化出来る。

3.4.2　生物学的証拠

スパース・コーディングは神経系が記憶容量を増やすための一般的な戦略であろう。自分の環境に適応するために動物は、どの刺激が報酬あるいは罰と関係しているかを学び、これらの強化された刺激を類似の、しかし無関係な刺激から区別しなければならない。そのような課題は、集団内の少数のニューロンだけが任意の与えられた刺激に応答し、個々のニューロンはあり得る全ての刺激のうち少数の刺激にだけ応答するような、刺激に特化した連想記憶を実装することを要求する。
スパーク分散記憶に関する理論的研究は、表現間の重なりを削減することでスパース・コーディングが連想記憶の容量を増加させることを示唆してきた。実験により、感覚情報のスパース表現は多くの系で観察されており、それには視覚、聴覚、触覚、嗅覚が含まれる。しかしながら、広範囲のスパース・コーディングの証拠の蓄積とその重要性についての理論的議論にもかかわらず、スパース・コーディングが連想記憶の刺激選択性を改善するという証拠は近年まで欠けていた。
2014年にショウジョウバエの嗅覚系を分析している、オックスフォード大学のGero Miesenböck の研究室によって若干の進歩があった。ショウジョウバエでは、キノコ体のケニヨン細胞によるスパース匂いコーディングは、匂い特化記憶の保存のための、精密にアドレス可能な大量の位置を生成すると考えられている。Lin他は、スパース性はケニヨン細胞とGABA性APL(anterior paired lateral　前方対側部)ニューロンの間のネガティブ・フィードバックによって制御されていることを示した。このフィードバック回路による個々の脚の体系的な活性化と封鎖は、ケニヨン細胞がAPLを活性化し、APLがケニヨン細胞を抑制することを示している。ケニヨン細胞−APLフィードバックループの破壊は、ケニヨン細胞の匂い応答のスパース性を少なくさせ、匂い間の相関を増加させ、ハエが類似の似ていないこともない(?)匂いを識別することを妨げる。フィードバックの抑制は、ケニヨン細胞がスパースで無相関の匂いコーディングを、よって記憶の匂い特異性を維持することを抑制することをこれらの結果は示唆している。

*1:訳注：critically completeの訳語は調べても分かりませんでした。ここでは、基底ベクトルの数がこれ以上少なくなると完備ではなくなる、という意味で「境界完備」という用語を作ってみました。