回帰診断・正則化・一般化最小二乗法

VIF・てこ比・クックの距離・ダービン・ワトソン比による回帰診断、Box-Cox 変換と Ridge・Lasso 回帰、重み付き・一般化最小二乗法を学びます。

このモジュールで学ぶこと

重回帰分析とモデル評価では、カフェの売上を気温・週末・イベントで説明する式を最小二乗法で当てはめ、変数を選びました。ただ、当てはめた式を信頼できるのは、最小二乗法の前提（誤差の期待値が0、分散がそろう、誤差どうしが無相関）が成り立つときだけです。読み終えると、次の3つができるようになります。

VIF・てこ比・クックの距離・ダービン・ワトソン比で、当てはめた回帰の問題点を見つけられる
Box-Cox 変換や Ridge 回帰・Lasso 回帰で、仮定違反や多重共線性に対処できる
誤差のばらつきがそろわないとき、重み付き最小二乗法と一般化最小二乗法を使える

1. 回帰診断：見えない落とし穴を検出する

モデルに問題がないかを確認する「診断作業」も重要です。

多重共線性：説明変数同士が「似た者同士（強い相関）」だと係数が不安定になります。VIF（Variance Inflation Factor: 分散拡大係数） が 10 を超えたら要注意。 $VIF_{j} = 1/ (1 - R_{j}^{2})$ で、 $R_{j}^{2}$ は変数 $j$ をほかの説明変数で回帰したときの決定係数です。たとえば気温を湿度と季節で $R_{j}^{2} = 0.9$ まで説明できるなら VIF は 10 で、気温の係数の分散が相関の無い場合の10倍（標準誤差は約3.2倍）に膨らみます
leverage（てこ比）：各データ点が「説明変数空間でどれだけ外れた位置にあるか」を表す指標。leverage が高い点は回帰直線を引っ張る力が強い（ハット行列 $H = X (X^{⊤} X)^{- 1} X^{⊤}$ の対角成分 $h_{ii}$ で定義）
クックの距離：「leverage が高く（説明変数の外れ値）かつ残差が大きい（目的変数の外れ値）」点を影響力の高い点として検出する指標。クックの距離 $\geq 1$ （または $4/ n$ ）の点は特に要調査
ダービン・ワトソン比（DW比）：「残差（予測とのズレ）に時間的なつながりがないか」を調べる指標。値が 2 に近いほど問題なし、0や4に近いほど「連続するデータが互いに影響し合っている（自己相関あり）」のサイン
ブートストラップ法：手元のデータを繰り返し再抽出して標準誤差を計算機的に求める手法。分布の仮定が困難なときに有効

📖 Box-Cox 変換：残差の形を整えるとき

残差の分散が予測値とともに大きくなる、残差が右に裾を引く、といった仮定違反があるとき、目的変数 $y$ （正の値）を次の形で変換すると改善することがあります。

y^{(l)} = ⎩ ⎨ ⎧ \frac{y ^{l} - 1}{l} lo g y (l \neq = 0) (l = 0)

$l = 1$ は変換なし（定数を引いただけ）、 $l = 0$ は対数変換、 $l = 1/2$ は平方根変換に相当します。
$l$ は最尤法で選びます。変換後の残差が最も正規分布に近く、等分散になる $l$ を探す考え方です。
変換したスケールで推定した係数は、元の単位に戻すと解釈が変わります。予測値は逆変換して使います。

つまずきやすい点：Box-Cox 変換は $y > 0$ が前提です。0や負の値を含むときは、定数を足してから使うか、別の変換を検討します。

📖 正則化回帰：変数が多すぎるとき

Lasso回帰（L1正則化）：不要な変数の係数を「完全に0」にして自動選択。L1の制約領域がひし形（角が尖っている）のため、最適解が角（係数＝0の点）に来やすい
Ridge回帰（L2正則化）：係数が極端な値をとるのを抑えてモデルを安定化。L2の制約領域は球形で角がないため係数はゼロに近づくが完全には0にならない

Ridge 回帰の中身（L2正則化の拡充）：残差平方和に係数の2乗和の罰則を足した量を最小にします。

\hat{β}_{ridge} = ar g β min [i \sum (y_{i} - x_{i}^{⊤} β)^{2} + λ j = 1 \sum p β_{j}^{2}]

解は閉じた形で書けます。

\hat{β}_{ridge} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$λ = 0$ なら通常の最小2乗法に一致し、 $λ$ を大きくするほど係数は0に向かって縮みます。
説明変数どうしの相関が高く $X^{⊤} X$ が特異に近いとき、最小2乗法の逆行列は不安定ですが、 $λ I$ を足すと安定します。多重共線性への対策として使われる理由です。
罰則は係数の大きさに課すので、説明変数は標準化してから使います。切片は罰則に含めません。
$λ$ はバイアスとバリアンスのバランスを決めます。大きいほどバイアスが増え、バリアンスが減ります。通常は交差検証で選びます（モデル選択）。

2. 誤差のばらつきがそろわないとき：一般化最小二乗法

重回帰分析とモデル評価で見たガウス＝マルコフの定理は、誤差の分散がどのデータでも同じで、誤差どうしが無相関であることを前提にしています。店の広さと売上のように、大きい店ほど売上の振れ幅も大きいと、この前提が崩れます。

模擬データです（真の直線は売上＝ 2 ＋ 0.5 × 広さ、誤差の標準偏差は広さの 0.08 倍）。薄い帯は真の直線から標準偏差2つ分の範囲で、右へ行くほど広がります。重み付き最小二乗法は、散らばりの小さい左側の店を重く数えます。

最小二乗法は、どの点のズレも同じ重みで数えます。振れ幅の大きい点のズレは偶然の部分が多いのに、ほかの点と同じだけ直線を引っ張ります。そこで、残差の2乗に誤差分散の逆数 $w_{i} = 1/ σ_{i}^{2}$ の重みをかけてから和を最小にします。これが重み付き最小二乗法（WLS）です。

β min i \sum w_{i} (y_{i} - x_{i}^{⊤} β)^{2}

誤差どうしに相関がある場合（時系列で前日の誤差が翌日に残るなど）も含めて、誤差の分散共分散行列を $Σ$ と書くと、推定量は次の形になります。これが一般化最小二乗推定量（GLS）です。

\hat{β}_{GLS} = (X^{⊤} Σ^{- 1} X)^{- 1} X^{⊤} Σ^{- 1} y

$Σ = σ^{2} I$ （分散が同じで相関なし）なら、通常の最小二乗推定量 $(X^{⊤} X)^{- 1} X^{⊤} y$ に戻ります。 $Σ$ が対角行列なら重み付き最小二乗法です
考え方は、データを変換して前提を満たす形に直してから最小二乗法を使う、というものです。WLS なら各行（ $y_{i}$ と $x_{i}$ ）を $σ_{i}$ で割ると、誤差の分散がそろいます
$Σ$ が分かっていれば、GLS 推定量は線形不偏推定量の中で分散が最小になります（ガウス＝マルコフの定理を広げたもの）。実際には $Σ$ を残差から推定して使います

図と同じ条件でデータを5000回作り直して傾きを推定すると、平均はどちらも真の値 0.5 でした。ばらつき（標準偏差）は、最小二乗法が 0.031、重み付き最小二乗法が 0.020 です。どちらにも偏りはなく、違うのは精度です。最小二乗法で同じ精度を得るには、約2.4倍のデータが要ります。

確認クイズ（抜粋）

Q1. VIF（分散拡大係数）がいくらを超えると、多重共線性が疑われるか？

A. 10

Q2. 不要な変数の回帰係数を完全に 0 にし、自動的に変数選択を行ってくれる手法は？

A. Lasso回帰

Q3. 外れ値が回帰モデルに与える影響力を測るための指標は？

A. クックの距離

全10問のクイズはサイトのインタラクティブ版でお試しください。

第8章の他のモジュール

※本サイトは個人による学習支援サイトであり、統計質保証推進協会・日本統計学会の公式サイトではありません。