← study-apps.com 学習サイト集トップへ

漸近理論の基礎:フィッシャー情報量・MLE漸近正規性・デルタ法

MLE が「最も精密な推定量」であることの数学的根拠と、推定量変換の漸近分散の求め方を学びます。

このモジュールで学ぶこと コインを100回投げると、表の比率 は真の確率 に近くなります——でも「どのくらい近いか」「分布はどんな形か」まで答えるには何が必要でしょうか。「サンプルが多くなると推定量はどんな性質を持つか」「推定量を変換したとき精度はどう変わるか」——これらを理論化したのが漸近理論です。このモジュールではフィッシャー情報量・MLE の漸近正規性・デルタ法の3本柱を学びます。 「大きなサンプルでの振る舞い」を理論化する 現実のデータは有限サンプルですが、 の極限での性質(漸近的性質)を知ることで、有限サンプルでも近似的に使える強力な道具が得られます。この理論によって、「推定の精度は何で決まるか」「どの推定量が最も優れているか」が厳密に議論できます。 フィッシャー情報量 「点推定の理論」でクラーメル・ラオの不等式を学びました。そこに登場したフィッシャー情報量(Fisher Information)をより深く見ていきます。 (デル)は偏微分記号で、「複数の変数を持つ関数を1つの変数だけに着目して微分する操作」を表します。2つの表現は等価です(右側は2階偏微分で計算しやすいことが多い)。 情報量の意味:対数尤度関数の「曲がり具合」を測ります。対数尤度が急峻な山形になる(曲率が大きい)ほど の位置が鋭く特定でき、 が大きくなります。 個の独立な観測値のフィッシャー情報量は (加法性)。これが標準誤差 の根拠です。 最尤推定量の漸近正規性 最尤推定量(MLE) は大標本で次の漸近分布を持ちます: または等価に 。 これが「MLE は漸近有効」と言われる理由——大標本極限でクラーメル・ラオの下限を達成します。この性質を使うと、複雑なモデルでも MLE の標準誤差や信頼区間を近似計算できます。 試験頻出:MLE の漸近分散は ——フィッシャー情報量の逆数。パラメータが複数のとき( 次元)は情報行列の逆行列が漸近分散共分散行列になります。 デルタ法 「 の漸近分布がわかっているとき、( の関数)の漸近分布はどうなるか?」に答えるのがデルタ法(Delta Method)です。 が微分可能なら: 例:標本比率 の対数オッズ の分散は?、 なので漸近分散は 。 多変量版: の漸近分散共分散行列は ( はヤコビアン行列=各成分が の偏微分からなる行列、 は の漸近分散共分散行列)。

確認クイズ(抜粋)

Q1. デルタ法により の漸近分散は となる。 の役割はどれか?

A. 変換 による分散のスケーリング係数

Q2. MLE の漸近分布 から言えることはどれか?

A. が増えるほど分散が で減少し推定精度が上がる

Q3. デルタ法を使う典型的な場面はどれか?

A. 推定量の変換(関数)の漸近分散を求めるとき

全10問のクイズはサイトのインタラクティブ版でお試しください。

第3章の他のモジュール

※本サイトは個人による学習支援サイトであり、統計質保証推進協会・日本統計学会の公式サイトではありません。