忍者ブログ

めもめも ...〆(。_。)

認知心理学・認知神経科学とかいろいろなはなし。 あるいは科学と空想科学の狭間で微睡む。

2017/09    08≪ 1  2  3  4  5  6  7  8  9  10  11  12  13  14  15  16  17  18  19  20  21  22  23  24  25  26  27  28  29  30  ≫10
こんな話
cnspsycho.blog128.fc2.com/blog-entry-51.html
を見ていたので、もちょっとモデル系の話理解したいなあと思って。

Rumelhart & McClelland (1986)
Parallel Distributed Processing: Explorations in Microstructure of Cognition. MIT Press
の訳本、
「PDPモデル 認知科学とニューロン回路網の探索」(1989)
(甘利俊一・監訳、産業図書)
を図書館で見つけたので、PDP (Parallel Distributed Processing:並列分散処理) モデルについて入門というか「サワリ」だけめもっておく。

○「入力ユニット→隠しユニット→出力ユニット」というモデルの流れを汲む
○情報の解釈について、仮説を表現するユニットがそれぞれ活動し、その活性度の高いユニット=仮説が採用される
○背反する仮説ユニット(例えば文字をPと読むかRと読むか)は、一方が活性化すると競合する一方は抑制を受ける(competitive inhibition: 競合抑制)
○処理レベルの違うとこで競合する場合はレベル間抑制 (between-level inhibition)
○複数の属性ユニットと中継地ユニットを想定すれば、「AでありB'でありCであるもの」「A'でBでC'であるもの」などの表現が可能になる
○「典型性」(頻度の高さ)で各属性ユニット間の結びつきを調整できる
○パターンが蓄積されるのではなく、ユニット間の結びつき(connection strength: 結合強度)が蓄積される
○結合強度を強める・弱める学習の仕組みとして、基本的な提案なのがパターン連想器(pattern associator)
○パターン連想器は、結合強度を強める入力を+1、弱める入力を-1、とかして行列で表現できる
○パターン連想器の学習についてはHebbの伝説的著書がもとになっている
○PDPモデルのユニットを記述するのに必要なのは、活性値・出力を決める関数・次のユニットに入力するときの重み付け(荷重行列で表現、符号の正負が興奮性・抑制性に、絶対値が結合強度に相当)、正味の入力の値、ユニットへの重み付けられた入力の関数。
○入力関数は閾値関数とかS字関数(sigmoid function)など。準非線形(quasi-linear)関数もよく使われるらしいが文系なのでわかりません
○結合強度は可変→学習
○パターンの入出力を学習する連想学習には「パターン連想型(相互想起型)」と「自律連想型(自己連想型)」の2つがある
○パターン連想型では、入力ユニットと出力ユニットが固定されている
○自律連想型では、すべてのユニットが入力にも出力にもなりうる
○入力・出力が固定→階層的組織化(ボトムアップ、トップダウン)
○ボトムアップ処理とは、はじめに入力を受けた層での各ユニットの相互作用があって、次の層への入力があり、その層の中で相互作用があってその次の層へ入力…という仕組みだが、1番目の層は3番目の層に影響をなしえない。システムの最下位層だけが入力を受け、最上位層だけが出力する。
○トップダウン処理とは、ボトムアップと同様に層内での相互作用と次の層への入力を仮定するが、下位の層は上位の層に影響を与えない。
○ボトムアップとトップダウンを併用=相互作用モデル
○活性化規則の更新タイミングを、あるタイミングパルスで同期的に行うモデルと、ユニットごとにランダムに非同期的に行うモデルとがある

あとはどんな関数使うかとかどんな現象に応用できるかとかそんな話なので略。
ちゃんと時間がとれるようになったら、訳本はいろいろだいじなとこすっとばしてるので、原本をあたったほうがよさげ。
…まあ古い本だけど、どっかの図書館にはあるろー。


自分的めも
○PDPモデルの流れはMarrも含まれる。出た学部んときのトラウマ。課題として出されたのにFFTが自力で実装できないのは相変わらずです。
○この本が出た頃はまだチョムスキアン健在。ちうかチョムスキーが自説を翻すだいぶ前だからこれ!
○結合強度のみで情報を表現できるというのは、だいすきな某先生のセル・アセンブリではないですか(まあHebbを出発点とする点では同じ)
○興奮・抑制の重み付けというとこや連想というとこで、たぶんsimilarity matrixにつながっていく(似ているものは興奮性の結合強度、似てないものは抑制性の結合強度を持つであろー、と)


んでまあそのへんをふまえた上で、本人のサイト(文字びっしりで読みにくいけど)をざっと斜め読むのもよかろう。
psychology.stanford.edu/~jlm/
最近はSemantic dementiaの症例とモデルのすりあわせみたいなことをしてはるよーだ。
カテゴリ階層性がPDPモデルの階層性に対応するわけか。
Semantic dementiaだと、こまかいカテゴリわけ(上のサイトでいえば、鳥は鳥でもカナリアとかコマドリとかそーゆー「種」の分類)ができなくなって、一般的なカテゴリ分類にとどまったりする(さっきの例でいえば「鳥」に相当)。
それって、次の層への入力ができない(「種」の層への結合強度がゼロに近くなった)のか、「種」の層で抑制性結合強度が弱っている(つまりぜんぶの鳥の種カテゴリが興奮してしまう)のかどっちなんだろー???
そこらへんは論文読めってことかしら。

なんにせよ、カテゴリ分類のモデルを理解するためのとっかかりとしてはおもしろげ。
・・・これでわたしが数学できる子だったら、もっとよかったのに・・・

この記事にコメントする
              
お名前
タイトル
メールアドレス
URL
カラー
絵文字 Vodafone絵文字 i-mode絵文字 Ezweb絵文字
コメント
非公開 管理人のみ閲覧できます
パスワード   
* コメントの編集にはパスワードが必要です
この記事にトラックバックする
トラックバックURL:
カレンダー
08 2017/09 10
S M T W T F S
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
カテゴリ説明
もっさり:日々の雑感をもっさり。
がっつり:論文や研究関連をがっつり。
びっくり:科学ニュースでびっくり。
まったり:空想科学などでまったり。
ばっかり:デザイン系自己満足ばっかり。
ほっこり:お茶を嗜んでほっこり。
最新コメント
※SPAMが多いのでhttpを含むコメントと英語のみのコメントを禁止しました※
[05/07 ぱるぱる]
[05/06 ぱるぱる]
[05/06 ぱるぱる]
[08/29 初見名無し]
[06/25 あ]
最新トラックバック
プロフィール
HN:
az
性別:
非公開
自己紹介:
興味のあるトピックス
 分野は視覚認知。視知覚にがて。
 あと記憶全般。
 カテゴリ (semanticsか?) とかも。
 最近デコーディングが気になる。
 でも基本なんでもこい。
 好奇心は悪食。

好きな作家(敬称略)
 川上弘美
 小林秀雄
 津原泰水
 森茉莉
 レイ・ブラッドベリ
 イタロ・カルヴィーノ
 グレッグ・イーガン
 シオドア・スタージョン
バーコード
ブログ内検索
カウンター
フリーエリア
PR
<< Back  | HOME |   Next >>
Copyright ©  -- めもめも ...〆(。_。) --  All Rights Reserved
Designed by CriCri / Material by もずねこ
忍者ブログ  / Powered by [PR]