2010/07/12 (Mon) PDP入門のおはなし。

こんな話
cnspsycho.blog128.fc2.com/blog-entry-51.html
を見ていたので、もちょっとモデル系の話理解したいなあと思って。

Rumelhart & McClelland (1986)
Parallel Distributed Processing: Explorations in Microstructure of Cognition.　MIT Press
の訳本、
「PDPモデル　認知科学とニューロン回路網の探索」(1989)
（甘利俊一・監訳、産業図書）
を図書館で見つけたので、PDP (Parallel Distributed Processing：並列分散処理) モデルについて入門というか「サワリ」だけめもっておく。

○「入力ユニット→隠しユニット→出力ユニット」というモデルの流れを汲む
○情報の解釈について、仮説を表現するユニットがそれぞれ活動し、その活性度の高いユニット＝仮説が採用される
○背反する仮説ユニット（例えば文字をPと読むかRと読むか）は、一方が活性化すると競合する一方は抑制を受ける（competitive inhibition: 競合抑制）
○処理レベルの違うとこで競合する場合はレベル間抑制 (between-level inhibition)
○複数の属性ユニットと中継地ユニットを想定すれば、「AでありB'でありCであるもの」「A'でBでC'であるもの」などの表現が可能になる
○「典型性」（頻度の高さ）で各属性ユニット間の結びつきを調整できる
○パターンが蓄積されるのではなく、ユニット間の結びつき（connection strength: 結合強度）が蓄積される
○結合強度を強める・弱める学習の仕組みとして、基本的な提案なのがパターン連想器（pattern associator）
○パターン連想器は、結合強度を強める入力を+1、弱める入力を-1、とかして行列で表現できる
○パターン連想器の学習についてはHebbの伝説的著書がもとになっている
○PDPモデルのユニットを記述するのに必要なのは、活性値・出力を決める関数・次のユニットに入力するときの重み付け（荷重行列で表現、符号の正負が興奮性・抑制性に、絶対値が結合強度に相当）、正味の入力の値、ユニットへの重み付けられた入力の関数。
○入力関数は閾値関数とかS字関数(sigmoid function)など。準非線形（quasi-linear)関数もよく使われるらしいが文系なのでわかりません
○結合強度は可変→学習
○パターンの入出力を学習する連想学習には「パターン連想型（相互想起型）」と「自律連想型（自己連想型）」の２つがある
○パターン連想型では、入力ユニットと出力ユニットが固定されている
○自律連想型では、すべてのユニットが入力にも出力にもなりうる
○入力・出力が固定→階層的組織化（ボトムアップ、トップダウン）
○ボトムアップ処理とは、はじめに入力を受けた層での各ユニットの相互作用があって、次の層への入力があり、その層の中で相互作用があってその次の層へ入力…という仕組みだが、１番目の層は3番目の層に影響をなしえない。システムの最下位層だけが入力を受け、最上位層だけが出力する。
○トップダウン処理とは、ボトムアップと同様に層内での相互作用と次の層への入力を仮定するが、下位の層は上位の層に影響を与えない。
○ボトムアップとトップダウンを併用＝相互作用モデル
○活性化規則の更新タイミングを、あるタイミングパルスで同期的に行うモデルと、ユニットごとにランダムに非同期的に行うモデルとがある

あとはどんな関数使うかとかどんな現象に応用できるかとかそんな話なので略。
ちゃんと時間がとれるようになったら、訳本はいろいろだいじなとこすっとばしてるので、原本をあたったほうがよさげ。
…まあ古い本だけど、どっかの図書館にはあるろー。


自分的めも
○PDPモデルの流れはMarrも含まれる。出た学部んときのトラウマ。課題として出されたのにFFTが自力で実装できないのは相変わらずです。
○この本が出た頃はまだチョムスキアン健在。ちうかチョムスキーが自説を翻すだいぶ前だからこれ！
○結合強度のみで情報を表現できるというのは、だいすきな某先生のセル・アセンブリではないですか（まあHebbを出発点とする点では同じ）
○興奮・抑制の重み付けというとこや連想というとこで、たぶんsimilarity matrixにつながっていく（似ているものは興奮性の結合強度、似てないものは抑制性の結合強度を持つであろー、と）


んでまあそのへんをふまえた上で、本人のサイト（文字びっしりで読みにくいけど）をざっと斜め読むのもよかろう。
psychology.stanford.edu/~jlm/
最近はSemantic dementiaの症例とモデルのすりあわせみたいなことをしてはるよーだ。
カテゴリ階層性がPDPモデルの階層性に対応するわけか。
Semantic dementiaだと、こまかいカテゴリわけ（上のサイトでいえば、鳥は鳥でもカナリアとかコマドリとかそーゆー「種」の分類）ができなくなって、一般的なカテゴリ分類にとどまったりする（さっきの例でいえば「鳥」に相当）。
それって、次の層への入力ができない（「種」の層への結合強度がゼロに近くなった）のか、「種」の層で抑制性結合強度が弱っている（つまりぜんぶの鳥の種カテゴリが興奮してしまう）のかどっちなんだろー？？？
そこらへんは論文読めってことかしら。

なんにせよ、カテゴリ分類のモデルを理解するためのとっかかりとしてはおもしろげ。
・・・これでわたしが数学できる子だったら、もっとよかったのに・・・