2013/10/22 (Tue) ブラックボックスの外に出た研究、ブラックボックスの中の知能

いつまでも呪われそうな絵をトップにおいておくのもしのびないんで、そろそろまじめなネタを書きましょうかね。

今回のめもは、某学会のプレカンファレンスワークショップ（あれシンポジウムだっけ？まあいいや）で話題になった「追試アーカイブ」について。
学部生にとっての「追試」っていうのは半泣きのネタですが、そっちじゃなくって「既にある実験をもう一度やってみて、同じ結果が得られるのか」というほうの追試です。

その追試をみんなで共有してアーカイブ化しちゃおうぜ！という試みが始まっているらしく、ワークショップではそういった試みが紹介されていたのでした。

一般に、追試なんてやっても「新しい知見」は得られないとされていますし、追試データではほとんどのジャーナルは受け付けてくれません。
そもそも既に出ている論文は「有意差があった」ということで出版されているので、それを否定する「有意差が見られなかった」結果では論文にしにくいし（ただ、「有意差がない」確率が十分に高いかどうかをベイズつかって示す分析方法はあるそうな）。
しかしその一方で、てきとうにやった実験の結果で“でっち上げた”論文が存在する可能性だってあるわけです。実際、世の中には改竄したデータで論文を書いて、それがばれて論文取り下げになるケースだってあるわけですし。
何より、「再現性がある」というのが科学の強みであるはず。
ならば、「再現性」を確かめる追試にも科学的価値があるのです。
というわけで、追試を載せるジャーナルというのもあるから、みんな気が向いたら追試やろうぜ！というのがワークショップのメッセージでした。

で、心理学系の実験で追試アーカイブ化しちゃうのがPsych File Drawerというサイト（ココ）。ジャーナル形式ではないけど（それでも一応業績とかになるのだろうか？）みんなでディスカッションできるのが強みですね。
どういう手順で行われるかというと、
１）アカウント登録／ログイン
２）追試する実験（論文）、実験計画を投稿
３）レフェリーが実験計画をレビュー
４）データ、結果を公表
と。結果ではなく、「実験計画をレビュー」というのが面白いですね。
つまり「どんな結果になっても公表」というわけです。
すごい！と思いつつも腰の引ける感はなくもなかったり。
だって、やっぱり有意差が出ないとなんかしょんぼりしちゃうもの。
このへん、わたしはまだまだ頭が固くて修行が足りませんね。

そして、心理学実験の追試をちゃんと論文として掲載しようという試みを行っているのがPerspectives on Psychological Scienceというジャーナル（ここ参照）。
同じように先に実験計画を投稿して、その後結果を公表するという仕組み。
ただ、Psych File Drawerは結果Reportだけでいいみたいなのに対し、こっちはジャーナルなので結果も合わせて論文として執筆（つまりある程度のディスカッションを書くこと）が求められるようす。
まあわれわれのような業績貧乏の若手（わたしだけか？）にとっては、ちゃんと論文になる場がないと困りますものね。

このように「実験計画を先に投稿＆結果公表」という形にすることのメリットとして、上でもちらっと触れた「データ改竄」の可能性を減らせることも挙げられるようです。
それと、まずい実験計画にあらかじめツッコミが入るなら、無為に実験を行うリスクも減らせるのかもしれません。

だったら追試に限らずばんばんデータ公開する形でやってこーぜ！というジャーナルも出てくるようで、神経科学論文誌ですがCortexはそういう試みを行うようす（ここ参照）。
Attention, Perception & PsychophysicsでもSimonsとHolcombeが主体となって行うよ、とワークショップでは言われていたと思うのですがネットでは確認できず。
心理学関連に限らずデータ公開していくよーというのにOpen Science Framework（ココ）ってやつがあるようです。
んでデータを公開して追試を行うための研究グラントとかも展開されているらしい。
ネットをつかってどんどんいろんなものが共有されちゃうってすごいな。
生データ（もちろん実験参加者を特定するようなデータ部分は予め削除してあるだろうけど）の時点で公開するとなると、「もっといい分析方法があるよ」ってアドバイスをもらって分析しなおせたり、あわよくば再分析されちゃったりとかもあるのかなあ。
いっつもいっつも「本当にこの方法でいいのかなあ」と悩みながら研究してるわたしとしては、ちょっと「いいなー」と思うポイントであります。

しかし、わたしがやってるような基礎的な認知心理学の行動データなら、個人を特定できる情報を削除した上で公開してもとくに問題なさそうに思えますが、けっこう個人的なことを聞いたりする社会心理学などの実験データや、あるいはMRIの撮像データは「個人情報」として公開を拒否できないこともあるかもしれないなー、と思います。
個人情報の扱いって、日本やたら特殊な気がするんですよね。
アメリカのことは知らないけど、ヨーロッパはたいてい日本よりおおらかな気がする。
日本の個人情報保護ってけっこう行き過ぎてるというか、各種団体が「訴えられないようになんでもかんでも公開しないようにしよう」としてる気がしなくも無い。いやよくわかんないけど。
実験前の説明のときに、「個人を特定する情報を削除した上で生データを公開してもいいですか？」って聞いて同意書を作成しておけばいいのだろうか。たいていの同意書は「統計処理したデータを公開してもいいですか」どまりだよね今は。
データ公開という試み自体がまだ広まっていないから、それにまつわる手続きもまだあまり議論されていないのかもしれない。

なんにせよ、研究の過程が「ブラックボックス」の外に出てきて誰にでも可視化され得るっていうのはすごいことだと思う。
「みんなで科学を発展させていく」かんじがある。
そしてちゃんと「再現性」が「結果の再現」という形で担保されるというのもすごい。
ネットの面目躍如だよねー。


んで。
ここからはちょっと話が変わって。
上記Psych File Drawerには、「追試について議論されまくってる論文トップ20」ってページがあるんですよ（ココ）。
堂々の一位が、Jaeggiらの「ワーキングメモリ課題を訓練することによって、知能が上昇する」という論文（これ）。
現時点でDiscussionが10件投稿されていて（学会で見たときは9件だった）、2位の3件投稿に（追試実験という性格を考慮すれば）大きく差をつけてトップに輝いていますね。
やはり、訓練で知能があがるというのはセンセーショナルでみんなの注目を惹くんでしょう（過去に同様の話をこのめもぶろぐでも扱ったような気がする…と思って過去めも検索したらあった。これだ。論文のソース出してないけど、たぶん同じ論文の話してると思う）。
んでもって、偶然ながら「ワーキングメモリ課題の訓練で“本当に”知能を向上させることができるのか」を研究している研究者の方のお話を聞く機会を得まして。
この話題、本当にcontroversialなんだなーと実感しました。
せっかくなので、紹介していただいた「ワーキングメモリ課題の訓練で、知能を向上させる効果が“見られなかった”」論文群をまとめてめもしておきます。

…そう、結構な数の論文が、知能を向上させる効果について否定的なのです。
このネタはもう今更追試アーカイブとかいらんのでは？と思ってしまうぐらい。（まあデータは多いほうがいいよね）
何がすごいって、問題の論文1st著者本人がラスト著者になってる論文でも否定されてる。
となるとわたしなんぞは「はいもーわかった、これ効果なしね、はいなしなし」とみなしてしまいがちなんですが、それでも「いや効果あるで」という論文もあるわけで、まさにcontroversialとしか言いようが無い。
まあとりあえず、いくつか論文を紹介していきましょう。
紹介自体はあくまでさらっとに留めますので、興味がおありの諸兄諸姉はリンクから元の論文にあたっていただけますようお願いします。

まず、訓練に使用されるワーキングメモリ課題は、基本的にJaeggiらが使用したdual n-back課題。
これは、過去めも記事でも話題に出たN-back課題を、２種類の材料でN-backするようにした課題。
（どうでもいいですがNの大文字小文字に意味は無いです。ふつうは小文字ですが、なぜか過去めもでは大文字で書いてるのでしれっと整合性もたせてるだけ）

●Redick et al., 2012 Journal of Experimental Psychology: General, 142(2), 359-379(pubmed)
ワーキングメモリ研究大御所の一人であるEngleがラストオーサーになっている＆天下のJEPなので、まずはこれを押さえておかないとね！の論文。
これはdual n-back訓練したグループと、他の非ワーキングメモリ課題を訓練したグループとを比較したけど、訓練した課題そのものの成績は向上（当たり前だ）するものの、他の認知課題成績（知能課題含む。結晶性／流動性の知能2タイプ対応）は向上せず。

●Chooi & Thompson (2012) Intelligence, 40(6), 531-542（Science Direct）
これもdual n-backで訓練。20日とかかけてるのに他の課題、特に知能課題（流動性知能に着目）成績の向上なし。他のワーキングメモリ課題成績の向上もなし。

●Thompson, et al. (2013) PLoS One, 22, 8(5):e63614（PLoS One）
ひょっとして上の論文の続きか！？と思ったらファーストネームが違った。おんなじ姓の別人がおんなじテーマの論文出すとかややこしすぎる。
こちらもdual n-back訓練で知能課題などの認知機能課題に向上なし。
当の訓練した課題に対する練習効果は6ヵ月後も持続しているのを確認（むしろそれすごいな）、でも他の課題には影響せず。

●Lilienthal, et al. (2013) Psychonomic Bulletin & Review, 20(1), 135-141（PubMed）
これはdual n-back課題訓練で、注意の焦点に関する課題の成績向上を報告。
ただしこの課題は知能課題と有意な相関を持たないといわれている。

●Colom, et al. (2013) Intelligence, 41(5), 712-717（Science Direct）
Jaeggi本人ラストオーサーで降臨。
視覚材料だけのn-back・聴覚材料だけのn-back、その2種類両方のdual n-backで訓練。知能、他のワーキングメモリ課題の成績向上なし。
ただし、視空間情報処理に関する課題だけは向上してるっぽいので、dual n-back課題訓練は知能じゃなくて視空間情報処理能力の向上に役に立つのかもしれない。

●Stephenson & Halpern (2013) Intelligence, 41(5), 341-357（Science Direct）
これも視覚材料だけのn-back・聴覚材料だけのn-back、その2種類両方のdual n-backで訓練。
知能検査で知能指数を算出するというよりそれぞれ下位検査の得点を比較。
視空間性の下位検査課題なら向上するようす。


以下、dual n-back訓練に限定しない論文。

●Melby-Lervåg & Hulme (2013) Developmental Psychology, 49(2), 270-291（PubMed）
ワーキングメモリ課題訓練のメタ分析。
知能・認知全般にワーキングメモリ訓練が効くとはいえないねー。という結論。
視空間性ワーキングメモリ訓練で視空間性課題成績向上の可能性については否定しないけど今後に期待、のようす。

●Borella, et al. (2010) Psychology and Aging, 25(4), 767-778（PubMed）
おとしよりにはワーキングメモリ訓練効果あるよーという論文その１．

●Richmond, et al. (2011) Psychology and Aging, 26(4), 813-822（PubMed）
おとしより効果その２．

某脳をトレーニングしてなんちゃらかんちゃらでも、おとしより効果はあると聞いた覚えがある（でも今回はソース探さない）ので、おとしよりの訓練の効果というのは結構重要なのかもしれません。
知能2タイプの片方、流動性知能は加齢で衰えるといいますし、衰えた流動性知能にはたらきかける何かがある…かも。
ないかも。
まあまさに「今後に期待」。


しかしそもそも、「知能とは何なのか？」というのが難しい問題。
一般に使われそうな単語であるだけに、かなり定義が難しい。
結局実験心理学においては、「知能とは、知能検査課題で測定できる能力である」という自己撞着に陥らざるを得ないのかもしれません。（同様の問題は「性格」についてもあるらしい）
そしてさらにややこしいのが、この知能検査。
たいてい知能検査課題って“有料”なんですよね。
研究資金のない研究者にはなかなかつらいところ。
まあ、知能検査としてひろく使用できるような妥当性・信頼性のある課題を作ることの大変さを考えれば、お金を払うのもやむなしかと思われるのですが、それにしたって「知能」などの個人差が大きくて実験参加者をたくさん募らねばならない研究テーマにおいては若干やりづらいのも確か。
ましてや「知能」を直接研究しているわけではない研究者には知能検査そのものに接触する機会は少なく、「知能検査って何なの？」という疑問すら出てくるわけです。
いわんや非研究者をや。
というわけで、定義もあいまい、課題は論文中に出てくる簡素な説明だけ、そんな「知能」研究はまさに「ブラックボックス」になってしまうのです。
そういう点では、最初に紹介した追試アーカイブとは対照的ですね。
今後、データや実験材料を公開するシステムなどでどんどんブラックボックスの中身が明らかになればいいな…とは思いますが、それでも実験課題を販売して利益を得ている企業もあるわけですし、難しいところですね。
せめて、「知能とは何なのか？」という問題くらいは可視化された議論の俎上にあってほしいものです。

その点、知覚とか記憶とかはわりと定義しやすいな…
でも結局「そのかんじ」に終始する気もする。
定義問題むつかしい。



追記。
追試アーカイブの利用方法として、「学部生など心理学実験初心者が実験するとき（卒論とかね）に利用するとべんり」とワークショップでも提案されていました。
まあ他にもパイロット実験として追試する場合とかね。
追試メインでがっつりやるのはしんどいにしても、学生の指導やパイロット実験に併用するというのはなかなかいいアイディアだと思う。
卒論なんかはせっかく実験しても埋もれていくものも多いし。
これから（今の時期にどうこうしてたら手遅れかもしれんけど）卒論時期だし、うまいこと利用できる人がいればいいなあ。