第13回 大数の法則と中心極限定理（8）
今日のポイント
- 確率変数列 \{X_i\} の標本平均 \bar{X}_n:=(X_1+\dots+X_n)/n の分布を近似する．
- \{X_i\} が平均 \mu，分散 \sigma^2 の独立かつ同一な分布をもつなら \left\{\bar{X}_n\right\} は \mu に確率収束（大数の法則）．
- \{Z_i\} が平均 0，分散 1 の独立かつ同一な分布をもつなら \left\{\sqrt{n}\bar{Z}_n\right\} は \mathrm{N}(0,1) に分布収束（中心極限定理）．したがって \bar{Z}_n \stackrel{a}{\sim}\mathrm{N}(0,1/n)．
1 標本平均（pp. 149, 183）
\{X_i\} を確率変数列とする．
定義 1 (X_1,\dots,X_n) の標本平均は \bar{X}_n:=\frac{X_1+\dots+X_n}{n}
注釈. 確率変数の平均（期待値）とは異なる．
定理 1 X_1,\dots,X_n が平均 \mu の同一な分布をもつなら \operatorname{E}\left(\bar{X}_n\right)=\mu
証明. 期待値の線形性より \begin{align*} \operatorname{E}\left(\bar{X}_n\right) & =\operatorname{E}\left(\frac{X_1+\dots+X_n}{n}\right) \\ & =\frac{\operatorname{E}(X_1)+\dots+\operatorname{E}(X_n)}{n} \\ & =\frac{\mu+\dots+\mu}{n} \\ & =\mu \end{align*}
定理 2 X_1,\dots,X_n が分散 \sigma^2 の独立かつ同一な分布をもつなら \operatorname{var}\left(\bar{X}_n\right)=\frac{\sigma^2}{n}
証明. X_1,\dots,X_n は独立なので \begin{align*} \operatorname{var}\left(\bar{X}_n\right) & =\operatorname{var}\left(\frac{X_1+\dots+X_n}{n}\right) \\ & =\frac{\operatorname{var}(X_1+\dots+X_n)}{n^2} \\ & =\frac{\operatorname{var}(X_1)+\dots+\operatorname{var}(X_n)}{n^2} \\ & =\frac{\sigma^2+\dots+\sigma^2}{n^2} \\ & =\frac{\sigma^2}{n} \end{align*}
2 大数の法則
2.1 確率収束（p. 162）
\{x_n\} を実数列，\{X_n\} を確率変数列とする．
定義 2 任意の \epsilon>0 について，ある自然数 N(\epsilon) が存在し， n \ge N(\epsilon) \Longrightarrow |x_n-c|<\epsilon なら \{x_n\} は c に収束するという．
注釈. \lim_{n \to \infty}x_n=c または x_n \to c と書く．
定義 3 任意の \epsilon>0 について \lim_{n \to \infty}\Pr[|X_n-c|<\epsilon]=1 なら \{X_n\} は c に確率収束するという．
注釈. \plim_{n \to \infty}X_n=c または X_n \stackrel{p}{\longrightarrow}c と書く．
注釈. 確率変数列の収束の概念は他にもある．
2.2 大数の法則（p. 160）
定理 3 (チェビシェフの大数の弱法則) \{X_i\} が平均 \mu，分散 \sigma^2 の独立かつ同一な分布をもつなら \plim_{n \to \infty}\bar{X}_n=\mu
証明. チェビシェフの不等式より，任意の \epsilon>0 について \Pr\left[\left|\bar{X}_n-\operatorname{E}\left(\bar{X}_n\right)\right| \ge \epsilon\right] \le \frac{\operatorname{var}\left(\bar{X}_n\right)}{\epsilon^2} すなわち \Pr\left[\left|\bar{X}_n-\mu\right| \ge \epsilon\right] \le \frac{\sigma^2/n}{\epsilon^2} 余事象の確率は \Pr\left[\left|\bar{X}_n-\mu\right|<\epsilon\right]>1-\frac{\sigma^2/n}{\epsilon^2} n \to \infty の極限をとると \lim_{n \to \infty}\Pr\left[\left|\bar{X}_n-\mu\right|<\epsilon\right] \ge 1 確率は 1 以下なので等号が成立．
例 1 コインを 10 回，100 回，1000 回と投げ続けると表の出る割合は 1/2 に近づく（図 1）．
3 中心極限定理
3.1 分布収束
\{X_n\} に対応する cdf の列を \{F_n(.)\} とする．
定義 4 F(.) の任意の連続点 x で \lim_{n \to \infty}F_n(x)=F(x) なら \{X_n\} は F(.) に分布（法則）収束するという．
注釈. X_n \stackrel{d}{\longrightarrow}F(.) と書く．
3.2 総乗記号
定義 5 \prod_{i=1}^nx_i:=x_1 \dotsm x_n
練習 1 以下の公式を示しなさい．
\prod_{i=1}^nax_i=a^n\prod_{i=1}^nx_i
\prod_{i=1}^na^{x_i}=a^{\sum_{i=1}^nx_i}
\prod_{i=1}^nx_iy_i=\prod_{i=1}^nx_i\prod_{i=1}^ny_i
3.3 中心極限定理（p. 162）
定理 4 (リンドバーグ＝レヴィの中心極限定理) \{Z_i\} が平均 0，分散 1 の独立かつ同一な分布をもつなら \frac{1}{\sqrt{n}}\sum_{i=1}^nZ_i \stackrel{d}{\longrightarrow}\mathrm{N}(0,1)
証明. (1/\sqrt{n})\sum_{i=1}^nZ_i の mgf が \mathrm{N}(0,1) の mgf に収束することを示せばよい． すなわち \lim_{n \to \infty}M_{\frac{1}{\sqrt{n}}\sum_{i=1}^nZ_i}(t)=\mathrm{e}^{t^2/2} を示したい． Z_1,\dots,Z_n は独立かつ同一な分布をもつので \begin{align*} M_{\frac{1}{\sqrt{n}}\sum_{i=1}^nZ_i}(t) & :=\operatorname{E}\left(\mathrm{e}^{\frac{t}{\sqrt{n}}\sum_{i=1}^nZ_i}\right) \\ & =\operatorname{E}\left(\prod_{i=1}^n\mathrm{e}^{\frac{t}{\sqrt{n}}Z_i}\right) \\ & =\prod_{i=1}^n\operatorname{E}\left(\mathrm{e}^{\frac{t}{\sqrt{n}}Z_i}\right) \\ & =M_Z\left(\frac{t}{\sqrt{n}}\right)^n \end{align*} M_Z'(0)=0，M_Z''(0)=1 なので，マクローリン展開より \begin{align*} M_Z\left(\frac{t}{\sqrt{n}}\right) & =M_Z(0)+M_Z'(0)\frac{t}{\sqrt{n}} +\frac{M_Z''(0)}{2}\left(\frac{t}{\sqrt{n}}\right)^2 +\dotsb \\ & =1+\frac{t^2}{2n}+\dotsb \end{align*} したがって \begin{align*} \lim_{n \to \infty}M_Z\left(\frac{t}{\sqrt{n}}\right)^n & =\lim_{n \to \infty}\left(1+\frac{t^2}{2n}+\dotsb\right)^n \\ & =\mathrm{e}^{t^2/2} \end{align*}
注釈. 式変形すると \sqrt{n}\bar{Z}_n \stackrel{d}{\longrightarrow}\mathrm{N}(0,1)
系 1 \{X_i\} が平均 \mu，分散 \sigma^2 の独立かつ同一な分布をもつなら \frac{1}{\sqrt{n}}\sum_{i=1}^n\frac{X_i-\mu}{\sigma} \stackrel{d}{\longrightarrow}\mathrm{N}(0,1)
証明. Z_i:=(X_i-\mu)/\sigma として前定理を適用．
注釈. 式変形すると \frac{\bar{X}_n-\mu}{\sqrt{\sigma^2/n}} \stackrel{d}{\longrightarrow}\mathrm{N}(0,1)
定義 6 n が大きいときの X_n の近似分布を漸近分布という．
注釈. 中心極限定理より \begin{align*} \sqrt{n}\bar{Z}_n & \stackrel{a}{\sim}\mathrm{N}(0,1) \\ \frac{\bar{X}_n-\mu}{\sqrt{\sigma^2/n}} & \stackrel{a}{\sim}\mathrm{N}(0,1) \end{align*} すなわち \begin{align*} \bar{Z}_n & \stackrel{a}{\sim}\mathrm{N}\left(0,\frac{1}{n}\right) \\ \bar{X}_n & \stackrel{a}{\sim}\mathrm{N}\left(\mu,\frac{\sigma^2}{n}\right) \end{align*} ただし \stackrel{a}{\sim} は漸近分布を表す．
例 2 指数乱数の標本平均の分布（図 2）．
3.4 正規乱数の生成（p. 171）
\{U_i\} を [0,1] 上の一様乱数の列とすると \begin{align*} \operatorname{E}(U_i) & =\frac{1}{2} \\ \operatorname{var}(U_i) & =\frac{1}{12} \end{align*} X:=U_1+\dots+U_{12}-6 とすると \begin{align*} \operatorname{E}(X) & =0 \\ \operatorname{var}(X) & =1 \end{align*} 中心極限定理より X \stackrel{a}{\sim}\mathrm{N}(0,1) これを利用して一様乱数から標準正規乱数が生成できる（図 3）．
まとめ
今日のキーワード
標本平均， 確率収束， 大数の法則， 分布収束， 中心極限定理， 漸近分布
次回までの準備