正規性の確認とノンパラメトリック検定

このモジュールで学ぶこと

$t$ 検定や分散分析は、データが正規分布から来ていることを前提にしています。検定の実践で扱った数えたデータの検定に続いて、このモジュールでは、その前提をどう確かめるか、前提が怪しいときにどう比べるかを扱います。読み終えると、次の3つができるようになります。

1. Q-Q プロットの点の曲がり方から、データが正規分布からどうずれているかを言える
2. 順位を使う検定がいつ役に立つかを言え、2群の順位和検定を計算できる
3. データの種類と調べ方から、使う検定を選べる

---

1. 正規分布か確かめる：Q-Q プロット

$t$ 検定や母分散の ${\chi }^2$ 検定は、データが正規分布から来ていることを前提にしています。平均の $t$ 検定は $n$ が大きければ多少のずれに耐えますが、分散の検定はずれに弱く、P値が大きく狂います。まず目で確かめるのが Q-Q プロットです。作り方は次の3段です。

1. データを小さい順に並べ、標準化する（平均を引き、標準偏差で割る）
2. $n$ 個のうち $i$ 番目のデータに、標準正規分布で同じ位置に来るはずの値（確率 $(i-0.5)/n$ の分位点）を組にする
3. 横軸に正規分布の値、縦軸にデータを取って点を打つ

データが正規分布なら、点は斜め45度の直線の上に並びます。離れ方で、どんな分布かが分かります。

• 右に裾が長い（所得や待ち時間）：点が弓なりに並び、右上が直線より上へそる。大きい側に、正規分布よりずっと遠くまで値が出る
• 両裾が重い：左下は直線より下、右上は直線より上に離れる。両側とも、正規分布より極端な値が出やすい
• 左に裾が長い：右に裾が長いときを上下左右に裏返した形になる

同じことを数で判定する検定もあります。どれも帰無仮説は「データは正規分布に従う」です。

• シャピロ・ウィルク検定：考え方は、Q-Q プロットの点がどれだけ直線に近いかを1つの数にしたもの。よく使われる
• コルモゴロフ・スミルノフ検定：データの累積分布と、理論の累積分布の差の最大値を測る。平均と分散をデータから推定したときは、そのままの棄却域では甘くなる
• ジャック・ベラ検定：歪度と尖度が、正規分布の値（0 と 3）からどれだけ離れているかを測る。大標本向け

棄却されないことは、正規分布である証明にはなりません。

• $n$ が小さいと検出力が低く、正規分布でなくても棄却されにくい
• $n$ が数千あると、実用上かまわない小さなずれでも棄却される

検定の結果だけで決めず、Q-Q プロットの形と、データの性質（負の値が出ない・上限があるなど）と合わせて判断します。

---

2. 順位で比べる：ウィルコクソンの順位和検定

新しい作業手順を7人、今の手順を7人に試し、作業時間（分）を測りました。

• 新しい手順 A：11, 12, 13, 14, 15, 16, 60
• 今の手順 B：17, 18, 19, 20, 21, 22, 23

A の7人のうち6人は、B の誰よりも早く終わりました。1人だけ機械の不調で60分かかっています。平均は A が 20.1分、B が 20.0分でほぼ同じで、2標本 $t$ 検定は $t=0.02$、P値 0.98 です。60分の1人が、A の平均と標準偏差（17.7分）を大きく引き上げたからです。

順位和検定は、値の大きさの代わりに、14人を合わせて短い順に並べた順位を使います。

A の順位の和は $W_A=35$ です。A と B に差が無ければ、1から14の順位はどちらのグループにも同じように散らばるはずです。そこから次の量を作ります。

$U_A$ は、A と B から1人ずつ選んだ $7\times 7=49$ 組のうち、A の方が遅かった組の数です（60分の人が B の7人全員より遅い7組）。差が無ければ平均は $49/2=24.5$ 組なので、7組はかなり少ない側です。

• 正確なP値：14個の順位から A の7個を選ぶ選び方は $\left(\genfrac{}{}{0ex}{}{14}{7}\right)=3432$ 通り。$U_A$ が7以下になるのはそのうち45通りで、片側 $45/3432=0.013$、両側 0.026
• 正規近似：差が無いとき $U_A$ の分散は $7\times 7\times 15/12=61.25$。$z=(7-24.5)/\sqrt{61.25}=-2.24$ で、両側P値 0.025

5%で棄却し、「A の方が短く終わりやすい」と結論します。60分が25分でも1000分でも順位は14のままなので、この結論は変わりません。$t$ 検定は、遅れた1人が25分なら P値 0.028 で差を見つけ、60分なら 0.98 で見逃します。

• 順位和検定が調べるのは「どちらのグループの値が大きくなりやすいか」で、平均の差ではない
• 2つの分布が同じ形で位置だけずれていると仮定できるときは、中央値の差の検定として読める
• 正規分布が正しいときは $t$ 検定より検出力がわずかに低い。外れ値が出るときや裾の重い分布では、順位の検定の方が強い
• マン・ホイットニーの $U$ 検定は、この $U$ を使う同じ検定の別名

順位を使うほかの検定

データの形ごとに、正規分布を仮定する検定の代わりになる順位の検定があります。

• 対応のある2群（同じ人の前と後）：対応のある $t$ 検定の代わりに、ウィルコクソンの符号付き順位検定。前後の差の絶対値に順位を付け、プラスの差の順位の和を見る
• 3群以上：分散分析の代わりに、クラスカル・ウォリス検定。全員に順位を付け、群ごとの順位の平均がどれだけ散らばるかを見る
• 3群以上で対応あり（同じ人が全部の条件を試す）：フリードマン検定。人ごとに条件の順位を付ける
• 2つの変数の関係：相関係数の代わりに、スピアマンの順位相関係数 $r_s=1-\frac{6\sum d_i^2}{n(n^2-1)}$（$d_i$ は2つの順位の差）。直線的でなくても、一方が増えると他方も必ず増える関係なら1になる

順位和検定の正確なP値は、ラベルの付け替えを全部数えて出しました。値そのものについて同じことをするのが並べ替え検定（順列検定）です。

• A と B に差が無ければ、14人の値を A と B に分けるどの分け方も同じように起こりうる
• 3432通りの分け方それぞれで平均の差を計算し、実際の差より極端なものの割合をP値にする
• 分布の仮定が要らず、小標本でもP値が正確。順位和検定は、順位について並べ替え検定をしたものになっている

---

3. 検定の選び方

検定は、データを見る前に、データの種類と調べ方から決めます。

1. 数えたデータか、測った値か：何人中何人・何件、度数の表なら検定の実践か分割表の解析
2. 測った値なら、何群か、対応があるか：2群は $t$ 検定、同じ人の前後は対応のある $t$ 検定、3群以上は分散分析
3. 外れ値が出やすい・裾が重い・順位しか無い：上の順位の検定に置き換える
4. $n$ がとても小さく、正規近似やカイ二乗近似が心配：正確検定を使う。二項分布やポアソン分布で直接足す（検定の実践）、順位の分け方を数える（第2節）、期待度数の小さい分割表にはフィッシャーの正確検定

同じデータで「正規性の検定で棄却されたら順位の検定、されなければ $t$ 検定」と2段に重ねるやり方は、第1種の過誤の確率が名目の5%からずれます。正規性は、データの性質と Q-Q プロットで判断します。