2008/08/19 (Tue) t検定をばかにしてはいけない。の巻き。

とりあえずぼすの指示があるまでは実験準備をして待とうと思ってたんだが、リバイスってのは〆切があるわけで、それを思うとそわそわそわそわやりきれない。
んでもって、ぼすの指示を待つまでもない、統計学的なレビュアのコメントにいかに反駁するかを考えてたら、うっかりきれいな説明とこの業界の問題点があぶりだしになったので書く。
問題は何か、というと、タイトルにもあるように、
「t検定を繰り返すと第1種の過誤が高まる」という、心理学屋さんなら常識の話。
さて、「t検定を繰り返す」ってどういう状況かわかりますか？
そして、「なぜ」第1種の過誤の確率が増えるか、説明できますか？
そんなもんどーでもいーよ、ってひとと、そんなんわかりきってるわー、というひとはスルーしてください。
でもね、「業界の問題点」に通じるんですけど、「そんなんわかりきってるわー」のひとにも、もう一度確認してほしいと私は思ってます。

とりあえず、今回の出発点から。

私は、いくつかの実験課題（簡便のために課題A、B、Cがあることにします）を、２つの実験参加者グループ（群Nと群Mということにします）にしてもらう、という実験設定で実験をしました。

注意点１：仮説は、群Nと群Mで、課題成績に差があること。
（課題間の差、たとえば課題Aの方が課題Bより難しい、とかは含めない）

つまり、2群間の差がみたい。
ので、私はt検定を採用しました。
（パラメトリックかノンパラか、って話はまた別、ということでお願いします）

ところが、レビュアのひとりは、

t検定を繰り返すと第1種の過誤が高まるから、分散分析にしなさい

とコメントしてきたのです。

一見これは正しそうに見えます。つーかこのまんまの語句で分散分析について習ったひとも多いでしょう。
しかし、思い出してほしいのです。
どういう状況が「繰り返し」であったか？

よく例えに使われるのは、1要因3水準の検定ですね。
その実験デザインでは、どの水準間に差があるのかを検定するために3回t検定をすると、危険率が足しあわされてしまう！
それは困った。それはいくない。だから分散分析をつかおう。
そういう話だったはずです。

でも、単に「t検定を繰り返してはいけない」のだったら、t検定が使えるのは人生に一度きりになってしまいます。
「なわけない」のは、直感的にわかりますよね？
てーか繰り返すことがだめならもう人類t検定使えないじゃん。
そうではなくて、

同じデータに、t検定を複数かけるのがよくない

のです。

同じ実験参加者だからといって、これまでそのひとが参加したすべての実験結果を要因に加えるのはばかげています。

これを、もっと厳密に説明するのはどうしたらいいのか？
それを悩んでいたのです。

んで、t検定と分散分析の違いについて説明してるのを探して、以下のQ&Aをみつけました。
http://soudan1.biglobe.ne.jp/qa960703.html
これをみて、ぴぴぴぴ～ん！と、まともな説明が思いついたのです。

Q&Aにもあるとおり、t検定も分散分析も、「平均値の差に関する検定」です。
帰無仮説は「各水準の母平均は等しい」、
対立仮説は「各水準の母平均は異なる」です。
んで、帰無仮説を棄却できたら対立仮説を採用しようじゃないか！というのが平均値の差に関する検定の枠組みですね。

上の私の例でいうと、（群Nの課題A成績平均値）＝（群Mの課題A成績平均値）を棄却したくてt検定をしたわけです。
同様に、（群Nの課題B成績平均値）＝（群Mの課題B成績平均値）、
（群Nの課題C成績平均値）＝（群Mの課題C成績平均値）が帰無仮説です。

それぞれ、検定する仮説が違うのです。
違う仮説の２水準の平均の差を検定するなら、t検定で事足ります。

では、第1種の過誤がたしあわされるってどういうことになるのか、1要因3水準、水準X、Y、Zとして考えてみましょう。

帰無仮説は、（Xの平均値）＝（Yの平均値）＝（Zの平均値）、なわけですが、
厳密に書くと、

（Xの平均値）＝（Yの平均値）
かつ
（Yの平均値）＝（Zの平均値）
かつ
（Zの平均値）＝（Xの平均値）

です。
これをいっぺんにやるのが分散分析ですが、t検定だと、

３つの組み合わせのうちひとつしか検定できない

のです。

つまり仮説は、

（Xの平均値）＝（Yの平均値）
または
（Yの平均値）＝（Zの平均値）
または
（Zの平均値）＝（Xの平均値）

となります。
この仮説はだいぶ範囲がおっきいということは、集合論を思い出せばおわかりいただけると思います。

ということで、レビュアのコメントは、私が検定しようとしている仮説にそぐわないものだと考えられます。
さーて、これを英語でがんがって論理立てて書かなきゃいけないのか･･･うぅ。


もうおわかりかと思いますが、業界の問題点っていうのは、まともな出版社の論文誌エディタからレビュウを任されるようなひとが、上記のようなうっかりをやらかしてしまう、ということです。
まあ、うっかりなら、たいした問題ではないです。

ただ、
「t検定を繰り返すと第1種の過誤が高まる」と、呪文のように覚えているだけで、
「なぜそうなのか」「それはどういう状況なのか」がわかっていない、
ひいては「統計の仮説検定とはどういうことか」、
「今問題にしている実験デザインの仮説は統計上でどう表されるのか」に
無関心な研究者も、実は結構いたりするんじゃないかなー、
ということを懼れています。
（いや、今回のレビュアのひとはきっとうっかりだと思うよ！
前回の俺の説明がはっきりしなかったのがいくないよ！）

心理学では、上の呪文のせいで／おかげで、
分散分析がメインの統計ツールとして扱われています。
ですが、仮説とか、あと自分がみてるデータのモデルとか、
そういうことをちゃんと考えると、分散分析が本当に適切なツールなのかは、
その実験デザインによって違います。
あたりまえやけど。

この「あたりまえ」をおろそかにして、なんでもかんでも分散分析なら安心、と思わないようにしよう、という自戒をこめて、めもめも。