回帰分析

ヒント：このモジュールで学ぶこと

「広告費を1万円増やすと売上は何円増えるか？」このような「Xが1単位増えたときYがどれだけ変化するか」という予測の問いに答えるのが回帰分析です。散布図上の点にできるだけ近い直線を引き、その直線の式を使って予測するイメージです。単回帰モデルの構造・最小二乗法による係数の推定・決定係数による当てはまりの評価という3つのステップを順に学びましょう。

---

1. 単回帰モデル：直線で関係を定式化する

ある会社の月次データとして「広告費 $X$（万円）」と「売上 $Y$（万円）」の12か月分のデータがあるとします。散布図を描くと右上がりの傾向が見えますが、点は直線上にぴったり乗るわけではありません。各月ごとに天候・競合他社の動向など広告費以外の要因があるからです。

単回帰モデルは「広告費で説明できる部分（回帰直線）」と「説明できない個体ごとのばらつき（誤差項）」に分けて考えます。

• ${\beta }_0$（切片）：$X=0$ のときの $Y$ の期待値。グラフで直線が縦軸を切る点。
• ${\beta }_1$（回帰係数・傾き）：$X$ が1万円増えたときの $Y$ の期待増加量。「広告費1万円あたりの売上効果」。
• ${\epsilon }_i$（誤差項）：直線では説明できない $i$ 番目のデータのばらつき。平均0・分散 ${\sigma }^2$ の正規分布に従うと仮定。

---

2. 最小二乗法：「縦の距離」を最小化する

単回帰モデルを使うには、${\beta }_0$ と ${\beta }_1$ の値を実際のデータから推定しなければなりません。

回帰直線が決まれば、各データ点 $i$ について予測値 ${\hat{Y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{X}_i$（直線上の点）と実測値 $Y_i$（実際のデータ点）の縦方向の距離を計算できます。この差 $Y_i-{\hat{Y}}_i$ を残差（residual）といいます。残差が小さいほど直線がデータに近く、当てはまりが良いことを意味します。

最小二乗法（OLS: Ordinary Least Squares）は「残差二乗和 $\sum (Y_i-{\hat{Y}}_i{)}^2$ を最小化する」ことで ${\hat{\beta }}_0$ と ${\hat{\beta }}_1$ を決める方法です。二乗するのは「プラスとマイナスの残差が打ち消し合うのを防ぐ」こと、そして「大きな残差（外れた点）をより強く罰する」ためです。

残差二乗和を最小化する ${\hat{\beta }}_0$ と ${\hat{\beta }}_1$ は、微積分（微分して0とおく）を使って導かれます。微積分は試験範囲外のため導出は省略しますが、結果として次の式が得られます：

なぜ分子が $\sum (X_i-\bar{X})(Y_i-\bar{Y})$ で分母が $\sum (X_i-\bar{X}{)}^2$ なのでしょうか。残差二乗和 $\sum (Y_i-{\beta }_0-{\beta }_1{X}_i{)}^2$ を ${\beta }_1$ について微分して0とおくと、${\beta }_1\cdot \sum (X_i-\bar{X}{)}^2=\sum (X_i-\bar{X})(Y_i-\bar{Y})$ という等式が得られます。これを整理すると上の式になります。「$X$ と $Y$ がどれだけ一緒に動くか（共変動）」を「$X$ だけの散らばり」で割った値が最適な傾きです。

${\hat{\beta }}_1$ は $X$ と $Y$ の「共変動」を $X$ の「散らばり」で割った値、つまり「$X$ の単位変化あたりの $Y$ の変化量」です。回帰直線は必ず $(\bar{X},\bar{Y})$（平均点）を通ります。

---

3. 決定係数：モデルの当てはまりの良さを数値化する

回帰直線を引いた後、「この直線はデータをどれくらいうまく説明できているか」を評価する指標が**決定係数 $R^2$** です。

分子の $\sum (Y_i-{\hat{Y}}_i{)}^2$ は「回帰モデルで説明できなかった変動（残差二乗和）」、分母の $\sum (Y_i-\bar{Y}{)}^2$ は「$Y$ の全変動」です。$R^2=0.8$ なら「広告費だけで売上のばらつきの80%を説明できる。残り20%は広告費以外の要因」という意味です。

$0\le R^2\le 1$ の範囲をとり、1に近いほど当てはまりが良く、0は「回帰モデルが $Y$ の変動を全く説明できない」を意味します。例えば $R^2=0.1$ なら「広告費を知っても売上の10%しか説明できない」、$R^2=0.9$ なら「広告費だけで売上の変動の90%が説明できる」良いモデルです。単回帰では $R^2=r^2$（ピアソン相関係数の二乗）が成り立ちます。

試験ポイント：${\hat{\beta }}_1$ の解釈「$X$ が1単位増えたときの $Y$ の期待増加量」、最小二乗法は「残差二乗和の最小化」、$R^2$ は「$Y$ の変動のうちモデルで説明できる割合」、単回帰では $R^2=r^2$（相関係数の二乗）です。この4点を正確に言葉で説明できるようにしましょう。

---

よくある誤解・つまずき

• 回帰は因果関係を保証しません。 「$X$ で $Y$ を予測できる」ことと「$X$ を変えれば $Y$ が変わる」ことは別です（相関≠因果と同じ）。
• データ範囲外での予測（外挿）は危険です。 観測した $X$ の範囲を大きく外れた予測は信頼できません。
• **$R^2$ が高い＝正しいモデル・因果がある、ではありません。** 当てはまりの良さと因果・妥当性は別問題。
• 最小二乗法が最小化するのは「残差（縦の距離）の二乗和」です。 回帰直線は必ず平均点 $(\bar{X},\bar{Y})$ を通ります。

ここまでのまとめ

• 単回帰モデル $Y={\beta }_0+{\beta }_{1}X+\epsilon$。${\beta }_1$ は「$X$ が1増えたときの $Y$ の期待変化量」。
• 最小二乗法：残差二乗和を最小化。${\hat{\beta }}_1=S_{XY}/S_{XX}$、直線は $(\bar{X},\bar{Y})$ を通る。
• **決定係数 $R^2$**：$Y$ の変動のうちモデルが説明する割合（0〜1）。単回帰では $R^2=r^2$。
• 回帰 ≠ 因果、外挿に注意。