第19回 推定量の性質（11.3）
- 推定量の厳密な分布に関する性質を有限標本（小標本）特性という．
- 期待値が母数と等しい推定量を不偏推定量という．
- 不偏推定量の中で分散が最小の推定量を最小分散不偏推定量という．正規母集団から抽出した無作為標本の標本平均・標本分散は母平均・母分散の最小分散不偏推定量．
- 大標本における推定量の近似的な分布を漸近分布という．推定量の漸近分布に関する性質を漸近（大標本）特性という．
- 母数に確率収束する推定量を一致推定量という．
- 漸近分布が正規分布である推定量を漸近正規推定量という．漸近分布の分散を漸近分散という．漸近正規推定量の中で漸近分散が最小となる推定量を漸近有効推定量という．ML 推定量は一般に漸近有効．
1 母平均の推定量
- 標本平均（算術平均）
\bar{X}:=\frac{1}{n}\sum_{i=1}^nX_i
刈り込み標本平均（外れ値を除いた標本平均）
標本中央値
幾何平均（対数の算術平均）
\ln\hat{\mu}:=\frac{1}{n}\sum_{i=1}^n\ln X_i
- 調和平均（逆数の算術平均）
\frac{1}{\hat{\mu}}:=\frac{1}{n}\sum_{i=1}^n\frac{1}{X_i}
良し悪しを判断する基準は？
2 有限標本特性
2.1 有限標本特性
定義 1 推定量の厳密な分布に関する性質を有限標本（小標本）特性という．
注釈. 推定量の厳密な分布の導出は一般に難しい．
2.2 不偏性（p. 219）
母数 \theta の（点）推定量を \hat{\theta} とする．
定義 2 期待値が母数と等しい推定量を不偏推定量という．
注釈. すなわち \operatorname{E}\left(\hat{\theta}\right)=\theta なら \hat{\theta} は \theta の不偏推定量．
例 1 標本平均は母平均の不偏推定量．標本分散は母分散の不偏推定量．
注釈. 以下の理由で不偏性は必ずしも不可欠な性質ではない．
- f(.) が非線形なら一般に
\operatorname{E}\left(\hat{\theta}\right)=\theta \Longrightarrow \operatorname{E}\left(f\left(\hat{\theta}\right)\right) \ne f(\theta)
したがって s^2 は \sigma^2 の不偏推定量だが，s は \sigma の不偏推定量でない．
- ML・MM 推定量は一般に不偏でない（例えば母分散の推定量）．
2.3 最小分散不偏性（p. 222）
定義 3 不偏推定量の中で分散が最小の推定量を最小分散不偏推定量という．
注釈. 不偏でない推定量の中には分散がより小さい推定量が存在しうる．
定理 1 正規母集団から抽出した無作為標本の標本平均は母平均の最小分散不偏推定量．
証明. 「統計学入門」の水準を超えるので略．
定理 2 正規母集団から抽出した無作為標本の標本分散は母分散の最小分散不偏推定量．
証明. 「統計学入門」の水準を超えるので略．
3 漸近特性
3.1 漸近特性
定義 4 大標本における推定量の近似的な分布を漸近分布という．
定義 5 推定量の漸近分布に関する性質を漸近（大標本）特性という．
注釈. 厳密な分布が導出できなくても推定量の良し悪しを比較できる．
3.2 一致性（p. 221）
3.2.1 確率変数の収束
\{X_n\} を確率変数列とする．
定義 6 任意の \epsilon>0 について
\lim_{n \to \infty}\Pr[|X_n-c|<\epsilon]=1
なら \{X_n\} は c に確率収束するという．
注釈. \plim_{n \to \infty}X_n=c または X_n \stackrel{p}{\longrightarrow}c と書く．
例 2 X_n \sim \mathrm{N}(0,1/n) なら X_n \stackrel{p}{\longrightarrow}0．
3.2.2 一致性と大数の法則
定義 7 母数に確率収束する推定量を一致推定量という．
注釈. 推定量として不可欠な性質．
定理 3 平均 \mu，分散 \sigma^2 の母集団分布から抽出した大きさ n の無作為標本の標本平均を \bar{X}_n とすると
\plim_{n \to \infty}\bar{X}_n=\mu
証明. 観測値 X_1,\dots,X_n は平均 \mu，分散 \sigma^2 の iid なので，チェビシェフの大数の弱法則が成立．
定理 4 ML・MM 推定量は一般に一致推定量．
証明. 「統計学入門」の水準を超えるので略．
系 1 平均 \mu，分散 \sigma^2 の母集団分布から抽出した無作為標本の標本分散は一致推定量．
証明. 母分散の MM 推定量は
\hat{\sigma}^2:=\frac{1}{n}\sum_{i=1}^n\left(X_i-\bar{X}\right)^2
標本分散は \begin{align*} s^2 & :=\frac{1}{n-1}\sum_{i=1}^n\left(X_i-\bar{X}\right)^2 \\ & =\frac{n}{n-1}\hat{\sigma}^2 \end{align*} \hat{\sigma}^2 は一致推定量なので s^2 も同様．
3.3 漸近正規性（p. 222）
3.3.1 確率分布の収束
\{X_n\} に対応する cdf の列を \{F_n(.)\} とする．
定義 8 F(.) の任意の連続点 x で
\lim_{n \to \infty}F_n(x)=F(x)
なら \{X_n\} は F(.) に分布（法則）収束するという．
注釈. X_n \stackrel{d}{\longrightarrow}F(.) と書く．
例 3 X_n \sim \mathrm{N}(0,1/n) なら X_n \stackrel{d}{\longrightarrow}\Delta(.)． ただし
\Delta(x):=\begin{cases} 0 & \text{for $x<0$} \\ 1 & \text{for $x \ge 0$} \\ \end{cases}
F_n(0)=1/2，\Delta(0)=1 より
\lim_{n \to \infty}F_n(0) \ne \Delta(0)
しかし \Delta(.) は x=0 で不連続なので分布収束の定義に反しない．
3.3.2 漸近正規性と中心極限定理
定義 9 漸近分布が正規分布である推定量を漸近正規推定量という．
定理 5 平均 \mu，分散 \sigma^2 の母集団分布から抽出した大きさ n の無作為標本の標本平均を \bar{X}_n とすると
\frac{\bar{X}_n-\mu}{\sqrt{\sigma^2/n}} \stackrel{d}{\longrightarrow}\mathrm{N}(0,1)
証明. 観測値 X_1,\dots,X_n は平均 \mu，分散 \sigma^2 の iid なので，リンドバーグ＝レヴィの中心極限定理が成立．
注釈. すなわち
\bar{X}_n \stackrel{a}{\sim}\mathrm{N}\left(\mu,\frac{\sigma^2}{n}\right)
ただし \stackrel{a}{\sim} は近似分布を表す．
定理 6 ML・MM 推定量は一般に漸近正規推定量．
証明. 「統計学入門」の水準を超えるので略．
3.4 漸近有効性（p. 222）
定義 10 漸近分布の分散を漸近分散という．
定義 11 漸近正規推定量の中で漸近分散が最小となる推定量を漸近有効推定量という．
定理 7 ML 推定量は一般に漸近有効．
証明. 「統計学入門」の水準を超えるので略．
注釈. 正規母集団から抽出した無作為標本の標本平均は母平均の ML 推定量なので漸近有効．標本分散は母分散の ML 推定量でないので漸近有効でない．
4 母平均・母分散の推定
4.1 標本平均の性質
- 母平均の不偏推定量
- 正規母集団なら母平均の最小分散不偏推定量
- 一致性・漸近正規性をもつ
- 正規母集団なら ML 推定量でもあり漸近有効
- MM 推定量でもある
4.2 標本分散の性質
- 母分散の不偏推定量
- 正規母集団なら母分散の最小分散不偏推定量
- 一致性・漸近正規性をもつ
- 正規母集団なら ML 推定量でないので漸近有効でない
- MM 推定量でない
4.3 母平均・母分散の推定
4.3.1 正規母集団
- 母平均は標本平均で推定する（最小分散不偏かつ漸近有効）
- 母分散は標本分散（最小分散不偏）と ML 推定量（漸近有効）のどちらか
4.3.2 非正規母集団
- 標本平均・標本分散ともに最小分散不偏とも漸近有効とも限らない
- 原則として ML 推定量を用いるのがよい
まとめ
有限標本（小標本）特性， 不偏推定量， 最小分散不偏推定量， 漸近分布， 漸近（大標本）特性， 一致推定量， 漸近正規推定量， 漸近分散， 漸近有効推定量