KL情報量の性質として正しいものはどれか？

常に0以上で、等号はのとき

KL情報量・AIC・クロスバリデーション

Q: KL情報量 の性質として正しいものはどれか？

常に0以上で、等号は のとき

Q: AIC と BIC を比較したとき、BIC の特徴として正しいものはどれか？

BIC のペナルティ項は でサンプルが多いほど大きくなる

モデル間の「ズレ」を定量化するKL情報量から、AIC・CVによるモデル選択まで学びます。

このモジュールで学ぶこと

「直線で当てはめるか、曲線で当てはめるか？」データへの当てはまりだけなら曲線の勝ちですが、未来のデータへの予測は直線の方が正確なこともあります。これが「どのモデルを選ぶか」という問いの核心です。このモジュールではカルバック・ライブラー情報量・AIC・クロスバリデーションという3つのアプローチを、理論的な関係も含めて学びます。対数尤度 $ℓ (\hat{θ})$ の定義はモジュール 1.14 で扱いました。

過学習の数値例：「9次多項式で10点を当てはめる」

データ10点に対して9次多項式を当てはめると、訓練誤差はゼロ（完璧にフィット）になります。しかし新しいテストデータでの予測誤差は非常に大きくなります。曲線が「データの偶然のばらつき」までトレースしてしまうからです。これが過学習（overfitting）の典型例です。

モデル選択の問題は本質的に「手元のデータへの当てはまり」と「将来のデータへの予測能力」をどうバランスするかです。

1. カルバック・ライブラー情報量

2つの確率分布 $p (x)$ （真の分布）と $q (x)$ （推定モデル）の「ズレ」を測る指標がカルバック・ライブラー情報量（KL情報量、KL-Divergence）です：

D_{KL} (p ∥ q) = E_{p} [lo g \frac{p ( X )}{q ( X )}] = \int p (x) lo g \frac{p ( x )}{q ( x )} d x

KL情報量の直感的意味

$D_{KL} (p ∥ q)$ は「**真の分布 $p$ で観測したとき、 $q$ を使った場合に生じる平均的な情報損失**」と解釈できます。 $p = q$ なら情報損失はゼロ、ずれるほど大きくなります。

$D_{KL} (p ∥ q) \geq 0$ 、等号は $p = q$ のとき。ただし対称ではない（ $D_{KL} (p ∥ q) \neq = D_{KL} (q ∥ p)$ ）。「距離」ではなく「乖離量」（divergence）と呼ぶのはこのためです。

2. AIC が KL情報量の近似である導出

「フィットが良くてもパラメータが多すぎると将来データへの予測が悪くなる」このバランスを取るのが情報量規準です。

真の分布 $p$ と推定モデル $q_{\hat{θ}}$ （最尤推定パラメータ）の KL情報量を最小化したいですが、 $p$ は未知です。赤池（1974）は次の近似を示しました。「平均的な KL情報量のずれ」は次の量で近似できます：

平均 KL 乖離 \approx - 2 ℓ (\hat{θ}) + 2 k

ここで $k$ はパラメータ数。この量をAIC（赤池情報量規準、Akaike Information Criterion）と呼びます：

AIC = - 2 ℓ (\hat{θ}) + 2 k

$ℓ (\hat{θ})$ は最大対数尤度（フィットの良さ）、 $2 k$ は複雑さへのペナルティ。AIC が小さいモデルが優れています。 $2 k$ の項は「パラメータを推定したことによる尤度の楽観的バイアス」を補正するために加わります。

試験頻出：AIC の比較は同一データに対して複数モデルを評価するときに使います。AIC の絶対値の意味はなく、相対比較が重要です。

よくある誤解：「AIC が小さいモデル = 絶対的に良いモデル」と思いがちですが、誤りです。AIC は同一データ・同一目的変数で計算された複数モデル間の相対指標で、絶対値そのものに意味はありません（対数尤度の定数項や標本サイズの取り方で値が変わる）。「AIC = 200 のモデルは AIC = 5000 のモデルより25倍良い」のような解釈はできません。意味があるのは「差 $Δ AIC = AIC_{i} - AIC_{m i n}$ 」で、慣例として $Δ < 2$ ならほぼ同等、 $Δ > 10$ なら明確に劣ると判断します。

3. AIC と BIC の違い

BIC（ベイズ情報量規準）は次の量を最小化します：

BIC = - 2 ℓ (\hat{θ}) + k lo g n

ペナルティが $k lo g n$ でサンプルサイズに依存する点が AIC と異なります。

規準	ペナルティ	哲学	大標本での傾向
AIC	$2 k$	予測精度を重視	真のモデルが候補にあっても複雑なモデルを選びがち
BIC	$k lo g n$	真のモデルが候補にある前提	一致性あり（真モデルを選ぶ確率→1）
CV	データから直接推定	実データの予測力を直接測定	LOOCV は AIC と漸近的に同値

例： $n = 100$ なら $lo g n \approx 4.6 > 2$ なので、BIC はパラメータ追加に対し AIC より厳しい。 $n$ が大きいほど差が広がります。

4. クロスバリデーション（交差検証）

クロスバリデーション（Cross-Validation, CV）は「データを訓練用と検証用に分けて、モデルの汎化性能を直接推定する」方法です。AIC が理論的な近似なのに対し、CV は実測値です。

k分割交差検証（k-fold CV）：データを $k$ 個のグループ（フォールド）に等分し、1つを検証用・残り $k - 1$ を訓練用として $k$ 回繰り返します。各回の検証誤差の平均が汎化誤差の推定値です。

Leave-One-Out CV（LOOCV）： $k = n$ （データ数と同じ）の場合。1つずつ除いて学習し、除いた1点で検証を繰り返します。ジャックナイフ法と構造が同じです。

CV と AIC の理論的関係

LOOCV は AIC と漸近的に同値であることが知られています（Stone, 1977）。両者とも「予測誤差の不偏推定」を目指す立場で、大標本では同じモデルを選ぶ傾向があります。違いは：

AIC：解析的な近似（計算が速い、対数尤度ベースで理論的）
CV：実測ベース。分布の仮定が緩い、計算コストが高い（ $k$ 回学習）

試験頻出：「AIC、cross validation」はシラバスに明示されたモデル選択の手法です。「過学習の防止」「汎化性能の推定」という文脈で使い分けを問われます。BIC との違い（予測重視 vs 真モデル仮定）も頻出です。

5. 数値例：AIC によるモデル比較

カフェの売上を予測するために3つのモデルを比較します（ $n = 100$ ）：

モデル	パラメータ数 $k$	最大対数尤度 $ℓ$	AIC	BIC
M1（定数のみ）	1	$- 150$	$302$	$304.6$
M2（気温）	2	$- 130$	$264$	$269.2$
M3（気温＋曜日＋イベント）	4	$- 125$	$258$	$268.4$

AIC では M3（最小値258）が選ばれますが、BIC では M2（最小値269.2）と M3（268.4）がほぼ同等です。 $k lo g n = 4 \times 4.6 \approx 18.4$ という重いペナルティが BIC を「より単純なモデル寄り」にしている様子が分かります。

6. 関連モジュールへの導線

1.14 推定法：本モジュールの $ℓ (\hat{θ})$ （最大対数尤度）の定義と計算手順を扱います。
1.15 推定量の性質：MLE の一致性・有効性は AIC の理論的根拠を支えます。
1.22 漸近理論：フィッシャー情報量・MLE の漸近正規性が AIC 導出の背景にあります。

モデル選択の実務的な原則

「AIC が最小だから最良」と機械的に決めるのは危険です。実務では：

複数の規準を併用：AIC・BIC・CV を比較し、結論が一致するモデルを優先
解釈可能性：複雑なモデルが少しだけ AIC が低くても、シンプルなモデルを選ぶ判断もある
検証データの確保：CV や別データセットで予測精度を確認することが理想

過学習は「データに対する誠実さの欠如」とも言えます。シンプルさを尊重する姿勢が、信頼できる統計分析の基本です。

確認クイズ（抜粋）

Q1. KL情報量 $D_{KL} (p ∥ q)$ の性質として正しいものはどれか？

A. 常に0以上で、等号は $p = q$ のとき

Q2. AIC = $- 2 ℓ (\hat{θ}) + 2 p$ において、 $2 p$ の項が存在する理由はどれか？

A. パラメータ数が多いモデルへのペナルティ（過学習の防止）

Q3. AIC と BIC を比較したとき、BIC の特徴として正しいものはどれか？

A. BIC のペナルティ項は $p lo g n$ でサンプルが多いほど大きくなる

全10問のクイズはサイトのインタラクティブ版でお試しください。

第4章の他のモジュール

※本サイトは個人による学習支援サイトであり、統計質保証推進協会・日本統計学会の公式サイトではありません。