第5回 統計的推測（4）
今日のポイント
- 復元抽出した無作為標本の観測値を確率変数で表すと，それらは独立かつ同一に（iid）母集団分布にしたがう．母集団分布の特性を表す定数を母数，標本の関数を統計量という．統計量の標本分布から母数について推測するのが統計的推測．
- 母平均 \mu，母分散 \sigma^2 なら大きさ n の無作為標本の標本平均 \bar{X} の平均は \mu，分散は \sigma^2/n，標本分散 s^2 の平均は \sigma^2．正規母集団なら \left(\bar{X}-\mu\right)/\sqrt{s^2/n} \sim \mathrm{t}(n-1)．
- \{X_i\} が平均 \mu，分散 \sigma^2 の iid なら \left\{\bar{X}_n\right\} は \mu に確率収束（大数の法則）．\{Z_i\} が平均 0，分散 1 の iid なら \left\{\sqrt{n}\bar{Z}_n\right\} は \mathrm{N}(0,1) に分布収束（中心極限定理）．したがって \bar{Z}_n \stackrel{a}{\sim}\mathrm{N}(0,1/n)．
- 期待値が母数と等しい推定量を不偏推定量，不偏推定量の中で分散が最小の推定量を最小分散不偏推定量，母数に確率収束する推定量を一致推定量という．
- 統計的仮説の真偽を標本から判定することを検定という．とりあえず真と想定する仮説を帰無仮説（H_0）という．H_0 が真なのに H_0 を棄却する誤り（第 1 種の誤り）を許容する確率を有意水準という．H_0 の下で t 分布にしたがう t 統計量を用いる検定を t 検定という．H_0 の下での検定統計量の値の右側確率を p 値という．p 値＜有意水準なら H_0 を棄却する．
1 統計的推測
1.1 母集団と標本（p. 22）
定義 1 考察の対象全体を 母集団 という．
例 1 日本国民の有権者全体，日本のテレビ所有世帯全体．
定義 2 母集団のうち実際に観察される部分を 標本 という．
注釈. 「標本から母集団について推測」するのが統計的推測．
1.2 母集団分布（p. 23）
定義 3 母集団における各個体の属性値の分布を 母集団分布 という．
注釈. 度数分布や確率分布で表される．
注釈. 「標本から母集団分布について推測」するのが統計的推測．
定義 4 有限個の個体から成る母集団を 有限母集団 という．
注釈. 母集団分布は度数分布で表される．
定義 5 無限個の個体から成る仮説的な母集団を 無限（仮説）母集団 という．
注釈. 適当な確率分布を母集団分布として仮定する．
1.3 標本抽出（p. 24）
定義 6 母集団から標本を取り出すことを 標本抽出 という．
定義 7 標本に含まれる個体の数を標本の 大きさ という．
注釈. n 個の個体を含む標本は，大きさ n の 1 つの標本であり，n 個の標本ではない．
定義 8 取り出した個体を母集団に戻しながら繰り返す抽出を 復元抽出 という．
注釈. 同じ個体を 2 回以上取り出すことがある．ただし無限母集団ではその確率は0．
定義 9 取り出した個体を母集団に戻さずに繰り返す抽出を 非復元抽出 という．
注釈. 標本をまとめて一度に取り出すのは非復元抽出．
注釈. 無限母集団では復元抽出と非復元抽出に実質的な違いはない．
定義 10 どの個体の組合せも等確率で取り出される抽出を （単純）無作為抽出 という．
注釈. 無作為抽出した個体の観測値を確率変数で表すと，その確率分布は母集団分布と等しい．
定義 11 無作為抽出した標本を 無作為標本 という．
注釈. 復元抽出した無作為標本の観測値を確率変数で表すと，それらは 独立かつ同一に（independent and identically distributed, iid）母集団分布にしたがう．
注釈. 本科目では復元抽出した無作為標本を想定する．
1.4 母数と統計量
定義 12 確率分布の特性を表す定数を 母数（パラメーター） という．
注釈. 「標本から母数について推測」するのが統計的推測．
例 2 平均，分散．
定義 13 母集団分布の平均を 母平均 という．
定義 14 母集団分布の分散を 母分散 という．
定義 15 標本の関数を 統計量 という．
注釈. 母集団分布や母数の推測に用いる．
例 3 標本の平均・分散．
定義 16 確率的な標本抽出にともなう統計量の分布を 標本分布 という．
注釈. 「統計量の標本分布から母数について推測」するのが統計的推測．
1.5 推定（p. 76）
定義 17 標本から母数を定めることを母数の 推定 という．
定義 18 推定に用いる統計量を 推定量 という．
定義 19 推定量の実現値を 推定値 という．
2 統計量の標本分布
2.1 標本平均（p. 76）
平均 \mu，分散 \sigma^2 の母集団分布から抽出した無作為標本を (X_1,\dots,X_n) とする．
定義 20 (X_1,\dots,X_n) の 標本平均 は \bar{X}:=\frac{X_1+\dots+X_n}{n}
定理 1 \operatorname{E}\left(\bar{X}\right)=\mu
証明. 復習テスト．
定理 2 復元抽出または無限母集団なら \operatorname{var}\left(\bar{X}\right)=\frac{\sigma^2}{n}
証明. 復習テスト．
2.2 標本分散（p. 84）
定義 21 (X_1,\dots,X_n) の 標本分散 は s^2:=\frac{1}{n-1}\sum_{i=1}^n\left(X_i-\bar{X}\right)^2
定義 22 標本分散の平方根を 標本標準偏差 という．
定理 3 \operatorname{E}\left(s^2\right)=\sigma^2
証明. 復習テスト．
2.3 正規母集団（p. 90）
\mathrm{N}\left(\mu,\sigma^2\right) からの無作為標本を (X_1,\dots,X_n) とする．
補題 1 X_1+\dots+X_n \sim \mathrm{N}\left(n\mu,n\sigma^2\right)
証明. 正規分布の再生性より X_1+\dots+X_n も正規分布．平均と分散の計算は省略．
定理 4 \bar{X} \sim \mathrm{N}\left(\mu,\frac{\sigma^2}{n}\right)
証明. 正規分布の線形変換は正規分布．平均と分散の計算は省略．
系 1 \frac{\bar{X}-\mu}{\sqrt{\sigma^2/n}} \sim \mathrm{N}(0,1)
証明. 正規分布の線形変換は正規分布．標準化で平均 0，分散 1 となる．
定理 5 \frac{(n-1)s^2}{\sigma^2} \sim \chi^2(n-1)
証明. 省略．
定理 6 \frac{\bar{X}-\mu}{\sqrt{s^2/n}} \sim \mathrm{t}(n-1)
証明. 変形すると \begin{align*} \frac{\bar{X}-\mu}{\sqrt{s^2/n}} & =\frac{\left(\bar{X}-\mu\right)/\sqrt{\sigma^2/n}} {\sqrt{s^2/n}/\sqrt{\sigma^2/n}} \\ & =\frac{\left(\bar{X}-\mu\right)/\sqrt{\sigma^2/n}} {\sqrt{[(n-1)s^2/\sigma^2]/(n-1)}} \end{align*} ここで \begin{align*} \frac{\bar{X}-\mu}{\sqrt{\sigma^2/n}} & \sim \mathrm{N}(0,1) \\ \frac{(n-1)s^2}{\sigma^2} & \sim \chi^2(n-1) \end{align*} 分子と分母の独立性も証明できる（省略）．
注釈. \bar{X} の累積確率は，t 分布表から次のように求める． \begin{align*} \Pr\left[\bar{X} \le x\right] & =\Pr\left[ \frac{\bar{X}-\mu}{\sqrt{s^2/n}} \le \frac{x-\mu}{\sqrt{s^2/n}} \right] \\ & =\Pr\left[\mathrm{t}(n-1) \le \frac{x-\mu}{\sqrt{s^2/n}}\right] \end{align*}
例 4 \mu=0 とする．n=9，s^2=1 のとき \bar{X}>1 の確率は \begin{align*} \Pr\left[\bar{X}>1\right] & =\Pr\left[ \frac{\bar{X}-\mu}{\sqrt{s^2/n}}>\frac{1-\mu}{\sqrt{s^2/n}} \right] \\ & =\Pr[\mathrm{t}(8)>3] \\ & \approx .008 \end{align*}
3 大数の法則と中心極限定理
3.1 大数の法則（p. 81）
\{x_n\} を実数列，\{X_n\} を確率変数列とする．
定義 23 任意の \epsilon>0 について，ある自然数 N(\epsilon) が存在し， n \ge N(\epsilon) \Longrightarrow |x_n-c|<\epsilon なら \{x_n\} は c に 収束 するという．
注釈. \lim_{n \to \infty}x_n=c または x_n \to c と書く．
定義 24 任意の \epsilon>0 について \lim_{n \to \infty}\Pr[|X_n-c|<\epsilon]=1 なら \{X_n\} は c に 確率収束 するという．
注釈. \plim_{n \to \infty}X_n=c または X_n \stackrel{p}{\longrightarrow}c と書く．
注釈. 確率変数列の収束の概念は他にもいろいろある．
定理 7 (チェビシェフの大数の弱法則) \{X_i\} が平均 \mu，分散 \sigma^2 の独立かつ同一な分布をもつなら \plim_{n \to \infty}\bar{X}_n=\mu
証明. 省略．
例 5 コインを 10 回，100 回，1000 回と投げ続けると，表の出る割合は 1/2 に近づく（図 1）．
3.2 中心極限定理（p. 82）
\{X_n\} に対応する cdf の列を \{F_n(.)\} とする．
定義 25 F(.) の任意の連続点 x で \lim_{n \to \infty}F_n(x)=F(x) なら \{X_n\} は F(.) に 分布（法則）収束 するという．
注釈. X_n \stackrel{d}{\longrightarrow}F(.) と書く．
定理 8 (リンドバーグ＝レヴィの中心極限定理) \{Z_i\} が平均 0，分散 1 の独立かつ同一な分布をもつなら \frac{1}{\sqrt{n}}\sum_{i=1}^nZ_i \stackrel{d}{\longrightarrow}\mathrm{N}(0,1)
証明. 省略．
注釈. 式変形すると \sqrt{n}\bar{Z}_n \stackrel{d}{\longrightarrow}\mathrm{N}(0,1)
系 2 \{X_i\} が平均 \mu，分散 \sigma^2 の独立かつ同一な分布をもつなら \frac{1}{\sqrt{n}}\sum_{i=1}^n\frac{X_i-\mu}{\sigma} \stackrel{d}{\longrightarrow}\mathrm{N}(0,1)
証明. Z_i:=(X_i-\mu)/\sigma として前定理を適用．
注釈. 式変形すると \frac{\bar{X}_n-\mu}{\sqrt{\sigma^2/n}} \stackrel{d}{\longrightarrow}\mathrm{N}(0,1)
定義 26 n が大きいときの X_n の近似分布を 漸近分布 という．
注釈. 中心極限定理より \begin{align*} \sqrt{n}\bar{Z}_n & \stackrel{a}{\sim}\mathrm{N}(0,1) \\ \frac{\bar{X}_n-\mu}{\sqrt{\sigma^2/n}} & \stackrel{a}{\sim}\mathrm{N}(0,1) \end{align*} すなわち \begin{align*} \bar{Z}_n & \stackrel{a}{\sim}\mathrm{N}\left(0,\frac{1}{n}\right) \\ \bar{X}_n & \stackrel{a}{\sim}\mathrm{N}\left(\mu,\frac{\sigma^2}{n}\right) \end{align*} ただし \stackrel{a}{\sim} は漸近分布を表す．
例 6 指数乱数の標本平均の分布（図 2）．
4 推定量の性質
4.1 有限標本特性（pp. 79, 84）
母数 \theta の（点）推定量を \hat{\theta} とする．
定義 27 推定量の厳密な分布に関する性質を 有限標本（小標本）特性 という．
注釈. 推定量の厳密な分布の導出は一般に難しい．
定義 28 期待値が母数と等しい推定量を 不偏推定量 という．
注釈. すなわち \operatorname{E}\left(\hat{\theta}\right)=\theta なら \hat{\theta} は \theta の不偏推定量．
例 7 標本平均は母平均の不偏推定量，標本分散は母分散の不偏推定量．
注釈. f(.) が非線形なら一般に \operatorname{E}\left(\hat{\theta}\right)=\theta \Longrightarrow \operatorname{E}\left(f\left(\hat{\theta}\right)\right) \ne f(\theta) 例えば s^2 は \sigma^2 の不偏推定量だが，s は \sigma の不偏推定量でない．したがって不偏性は必ずしも不可欠な性質ではない．
定義 29 不偏推定量の中で分散が最小の推定量を 最小分散不偏推定量 という．
注釈. 不偏でない推定量の中には分散がより小さい推定量が存在しうる．
定理 9 正規母集団から抽出した無作為標本の標本平均は，母平均の最小分散不偏推定量．
証明. 省略．
定理 10 正規母集団から抽出した無作為標本の標本分散は，母分散の最小分散不偏推定量．
証明. 省略．
4.2 漸近特性（p. 80）
定義 30 推定量の漸近分布に関する性質を 漸近（大標本）特性 という．
注釈. 厳密な分布が導出できなくても推定量の良し悪しを比較できる．
定義 31 母数に確率収束する推定量を 一致推定量 という．
注釈. 推定量として不可欠な性質．
定理 11 平均 \mu，分散 \sigma^2 の母集団分布から抽出した大きさ n の無作為標本の標本平均を \bar{X}_n とすると \plim_{n \to \infty}\bar{X}_n=\mu
証明. 観測値 X_1,\dots,X_n は平均 \mu，分散 \sigma^2 の iid なので，チェビシェフの大数の弱法則が成立．
定義 32 漸近分布が正規分布である推定量を 漸近正規推定量 という．
定理 12 平均 \mu，分散 \sigma^2 の母集団分布から抽出した大きさ n の無作為標本の標本平均を \bar{X}_n とすると \frac{\bar{X}_n-\mu}{\sqrt{\sigma^2/n}} \stackrel{d}{\longrightarrow}\mathrm{N}(0,1)
証明. 観測値 X_1,\dots,X_n は平均 \mu，分散 \sigma^2 の iid なので，リンドバーグ＝レヴィの中心極限定理が成立．
注釈. すなわち \bar{X}_n \stackrel{a}{\sim}\mathrm{N}\left(\mu,\frac{\sigma^2}{n}\right) ただし \stackrel{a}{\sim} は近似分布を表す．
定義 33 漸近分布の分散を 漸近分散 という．
定義 34 漸近正規推定量の中で漸近分散が最小となる推定量を 漸近有効推定量 という．
5 仮説検定
5.1 統計的仮説（p. 86）
定義 35 母集団分布に関する仮説を 統計的仮説 という．
注釈. 母数に関する仮説と言ってもよい．
定義 36 ただ 1 つの分布を許容する仮説を 単純仮説 という．
注釈. ただ 1 点の母数を許容する仮説と言ってもよい．
例 8 \mathrm{N}(0,1) など．
定義 37 複数の分布を許容する仮説を 複合仮説 という．
例 9 \mathrm{N}\left(0,\sigma^2\right)（\sigma^2 は任意），平均が 0（分布の型は任意）など．
5.2 検定（p. 86）
定義 38 統計的仮説の真偽を標本から判定することを 検定 という．
定義 39 仮説を偽と判定することを，仮説を 棄却 するという．
定義 40 仮説を偽とは言えないと判定することを，仮説を 採択 するという．
注釈. 偽とする証拠が不十分という判定であり，積極的に真と断定するのではない（推定無罪，疑わしきは罰せず）．
5.3 帰無仮説と対立仮説（p. 86）
定義 41 とりあえず真と想定する仮説を 帰無仮説 という．
注釈. H_0 で表す．
定義 42 帰無仮説を棄却するとき代わりに採択する仮説を 対立仮説 という．
注釈. H_1 で表す．
定義 43 検定問題では必ず H_0 と H_1 を設定する．すなわち母数空間を \Theta とすると H_0:\theta \in \Theta_0 \quad \text{vs} \quad H_1:\theta \in \Theta_1 ただし \Theta_0,\Theta_1 は \Theta の分割．標本の実現値が H_0 と矛盾するなら H_0を（積極的に）棄却して H_1 を採択，矛盾しなければ H_0 を（消極的に）採択する．
5.4 片側検定と両側検定（p. 87）
定義 44 片側検定問題 は H_0:\theta \le(\ge) \theta_0 \quad \text{vs} \quad H_1:\theta >(<) \theta_0
定義 45 実際には H_0 として \theta=\theta_0 を想定することになるので，次のように書いてもよい． H_0:\theta=\theta_0 \quad \text{vs} \quad H_1:\theta >(<) \theta_0
定義 46 両側検定問題 は H_0:\theta=\theta_0 \quad \text{vs} \quad H_1:\theta \ne \theta_0
5.5 有意水準（p. 93）
定義 47 H_0 が真なのに H_0 を棄却する誤りを 第 1 種の誤り という．
定義 48 H_1 が真なのに H_0 を採択する（棄却しない）誤りを 第 2 種の誤り という．
注釈. 起こりうる状況は 表 1 の通り．
| H_0 が真 | H_1 が真 | |
|---|---|---|
| H_0 を棄却 | 第 1 種の誤り | ○ |
| H_0 を採択 | ○ | 第 2 種の誤り |
注釈. 2 つの誤りの可能性を同時にゼロにすることは不可能．
注釈. H_0 の採択は消極的な判断にすぎないので，第 1 種の方が第 2 種より重大な誤り．
定義 49 許容する第 1 種の誤りの確率を 有意水準 という．
注釈. より重大な第 1 種の誤りの確率を，あらかじめ設定しておく．
5.6 棄却域と採択域
定義 50 検定に用いる統計量を 検定統計量 という．
定義 51 標本（検定統計量）の値域で H_0 を棄却する領域を 棄却域 という．
定義 52 標本（検定統計量）の値域で H_0 を採択する（棄却しない）領域を 採択域 という．
注釈. まとめると検定の手順は以下の通り．
- 検定問題を定式化する．
- 有意水準を設定する．
- 検定統計量を選択する．
- 棄却域を設定する．
- 検定統計量の値から棄却・採択を決定する．
5.7 母平均の t 検定（p. 90）
母集団分布を \mathrm{N}\left(\mu,\sigma^2\right) とする．次の片側検定問題を考える． H_0:\mu=c \quad \text{vs} \quad H_1:\mu>c 有意水準を 5％とする．大きさ n の無作為標本の標本平均を \bar{X} とすると \bar{X} \sim \mathrm{N}\left(\mu,\frac{\sigma^2}{n}\right) 標準化すると \frac{\bar{X}-\mu}{\sqrt{\sigma^2/n}} \sim \mathrm{N}(0,1) 標本分散を s^2 とする．\sigma^2 を s^2 に置き換えると \frac{\bar{X}-\mu}{\sqrt{s^2/n}} \sim \mathrm{t}(n-1) H_0:\mu=c を代入すると，検定統計量は t:=\frac{\bar{X}-c}{\sqrt{s^2/n}} H_0 の下で t \sim \mathrm{t}(n-1) t 分布表より H_0 の下で，例えば n=10 なら \Pr[t \ge 1.833]=.05 したがって棄却域は [1.833,\infty)．
注釈. 棄却域は H_1 に依存する．n が大きいとして \mathrm{N}(0,1) で近似すると
- H_1:\mu>c なら棄却域は [1.65,\infty)
- H_1:\mu<c なら棄却域は (-\infty,-1.65]
- H_1:\mu \ne c なら棄却域は (-\infty,-1.96] \cup [1.96,\infty)
例えば Z=1.8 なら H_0:\mu=c は H_1:\mu>c に対しては棄却されるが H_1:\mu \ne c に対しては棄却されない．図 3 を参照．
定義 53 H_0 の下で t 分布にしたがう検定統計量を t 統計量 という．
定義 54 t 統計量を用いる検定を t 検定 という．
5.8 p 値（p. 94）
定義 55 H_0 の下で検定統計量が実現値以上になる確率を p 値（有意確率） という．
注釈. p 値が有意水準以下なら H_0 を棄却する．
例 10 有意水準 \alphaの検定を考える．検定統計量を T，棄却域を [t_{\alpha},\infty)，T の実現値を t とすると， \begin{align*} t \ge t_{\alpha} & \Longleftrightarrow \Pr[T \ge t|H_0] \le \Pr[T \ge t_{\alpha}|H_0] \\ & \Longleftrightarrow p \le \alpha \end{align*} したがって p \le \alpha なら H_0 は棄却（図 4）．
まとめ
今日のキーワード
母集団， 標本， 母集団分布， 有限母集団， 無限（仮説）母集団， 標本抽出， （標本の）大きさ， 復元抽出， 非復元抽出， （単純）無作為抽出， 無作為標本， 独立かつ同一に分布（iid）， 母数（パラメーター）， 母平均， 母分散， 統計量， 標本分布， 推定， 推定量， 推定値， 標本平均， 標本分散， 標本標準偏差， 収束， 確率収束， （チェビシェフの）大数の弱法則， （リンドバーグ＝レヴィの）中心極限定理， 漸近分布， 有限標本（小標本）特性， 不偏推定量， 最小分散不偏推定量， 漸近（大標本）特性， 一致推定量， 漸近正規推定量， 漸近分散， 漸近有効推定量， 統計的仮説， 単純仮説， 複合仮説， 検定， 棄却， 採択， 帰無仮説， 対立仮説， 片側検定問題， 両側検定問題， 第1種の誤り， 第2種の誤り， 有意水準， 検定統計量， 棄却域， 採択域， t統計量， t検定， p値（有意確率）
次回までの準備