第18回 点推定（11.1–11.2, 11.4）
- 標本から母数を定めることを母数の推定，推定に用いる統計量を推定量，推定量の実現値を推定値という．
- 母数と積率の関係を表す式で，積率を標本積率に置き換えて求めた解を母数の推定値とする手法を積率法（MM法）という．
- ある母数の下で標本の実現値を観測する確率（密度）を，その母数の尤度という．尤度を最大にする解を母数の推定値とする手法を最尤法（ML法）という．
1 推定
1.1 推定（p. 214）
定義 1 標本から母数を定めることを母数の推定という．
定義 2 母数を一意に定める推定を点推定という．
定義 3 母数を含む領域を定める推定を区間推定という．
1.2 推定量と推定値（p. 215）
定義 4 推定に用いる統計量を推定量という．
例 1 標本平均・標本分散は母平均・母分散の推定量．
定義 5 推定量の実現値を推定値という．
2 積率法
2.1 標本積率（p. 216）
k 次元の母数ベクトルを \bm \theta，1～k 次の積率を \mu_1,\dots,\mu_k とする．母数と積率の関係を次式で表す．
\begin{pmatrix} \mu_1 \\ \vdots \\ \mu_k \\ \end{pmatrix}=\bm g(\bm \theta) 左辺が分かれば連立方程式の解として \bm \theta が求まる．無作為標本を (X_1,\dots,X_n) とする．
定義 6 (X_1,\dots,X_n) の k 次の標本積率は \hat{\mu}_k:=\frac{1}{n}\sum_{i=1}^nX_i^k
2.2 積率法（p. 216）
定義 7 母数と積率の関係を表す式で，積率を標本積率に置き換えて求めた解を母数の推定値とする手法を積率法（method of moments, MM）という．
注釈. ノンパラメトリックな母集団分布でも，母平均・母分散の推定に MM 法を適用できる．
定義 8 MM 法による推定量を MM 推定量という．
注釈. \bm \theta の MM 推定量を \hat{\bm \theta} とすると \begin{pmatrix} \hat{\mu}_1 \\ \vdots \\ \hat{\mu}_k \\ \end{pmatrix}=\bm g\left(\hat{\bm \theta}\right)
定理 1 母平均 \mu と母分散 \sigma^2 の MM 推定量は \begin{align*} \hat{\mu} & =\bar{X} \\ \hat{\sigma}^2 & =\frac{1}{n}\sum_{i=1}^n\left(X_i-\bar{X}\right)^2 \end{align*}
証明. 母数と積率の関係は \begin{align*} \mu_1 & =\mu \\ \mu_2 & =\sigma^2+\mu^2 \end{align*} すなわち \begin{align*} \mu & =\mu_1 \\ \sigma^2 & =\mu_2-\mu^2 \end{align*} したがって MM 推定量は \begin{align*} \hat{\mu} & =\hat{\mu}_1 \\ & =\frac{1}{n}\sum_{i=1}^nX_i \\ & =\bar{X} \\ \hat{\sigma}^2 & =\hat{\mu}_2-\hat{\mu}_1^2 \\ & =\frac{1}{n}\sum_{i=1}^nX_i^2-\bar{X}^2 \\ & =\frac{1}{n}\sum_{i=1}^n\left(X_i-\bar{X}\right)^2 \end{align*}
注釈. 標本分散 s^2 は \sigma^2 の MM 推定量でない．
3 最尤法
3.1 尤度（p. 217）
パラメトリックな母集団分布を仮定する．すなわち母数を \theta，母集団分布の pmf・pdf を f(.;\theta) とする．無作為標本を (X_1,\dots,X_n)，その実現値を \bm x:=(x_1,\dots,x_n) とする．
定義 9 ある母数の下で標本の実現値を観測する確率（密度）を，その母数の尤度という．
注釈. (X_1,\dots,X_n)=\bm x を観測する確率（密度）は \prod_{i=1}^nf(x_i;\theta) これを \theta の「尤もらしさ」と解釈する．
例 2 男性の割合が p のベルヌーイ母集団から無作為に 10 人抽出したら全員男であった．この確率は p^{10}． すなわち p=0.9 なら 0.9^{10}，p=0.5 なら 0.5^{10}． したがって p=0.9 の方が「尤もらしい」．
3.2 最尤法（p. 217）
定義 10 標本の pmf・pdf を母数の尤度を表す関数とみたものを尤度関数という．
注釈. L(\theta;\bm x) と書く（\bm x と \theta の位置が pmf・pdf と逆）．
注釈. (X_1,\dots,X_n)=\bm x を観測したときの \theta の尤度関数は L(\theta;\bm x):=\prod_{i=1}^nf(x_i;\theta)
定義 11 尤度関数の対数を対数尤度関数という．
注釈. \ell(\theta;\bm x) と書く．
注釈. (X_1,\dots,X_n)=\bm x を観測したときの \theta の対数尤度関数は \begin{align*} \ell(\theta;\bm x) & :=\ln L(\theta;\bm x) \\ & =\sum_{i=1}^n\ln f(x_i;\theta) \end{align*}
定義 12 （対数）尤度関数を最大にする解を母数の推定値とする手法を最尤（maximum likelihood, ML）法という．
定義 13 ML 法による推定量を ML 推定量という．
3.3 ベルヌーイ母集団（p. 223）
定理 2 母集団分布が \mathrm{Bin}(1,p) なら p の ML 推定量は \hat{p}=\bar{X}
証明. (X_1,\dots,X_n)=\bm x の確率は \begin{align*} \Pr[(X_1,\dots,X_n)=\bm x] & =\prod_{i=1}^n\Pr[X_i=x_i] \\ & =\prod_{i=1}^np^{x_i}(1-p)^{1-x_i} \\ & =\prod_{i=1}^np^{x_i}\prod_{i=1}^n(1-p)^{1-x_i} \\ & =p^{\sum_{i=1}^nx_i}(1-p)^{n-\sum_{i=1}^nx_i} \end{align*} p の尤度関数は L(p;\bm x)=p^{\sum_{i=1}^nx_i}(1-p)^{n-\sum_{i=1}^nx_i} p の対数尤度関数は \ell(p;\bm x)=\sum_{i=1}^nx_i\ln p+\left(n-\sum_{i=1}^nx_i\right)\ln(1-p) 最大化の 1 階の条件は \frac{\sum_{i=1}^nx_i}{\hat{p}}-\frac{n-\sum_{i=1}^nx_i}{1-\hat{p}}=0 すなわち (1-\hat{p})\sum_{i=1}^nx_i-\hat{p}\left(n-\sum_{i=1}^nx_i\right)=0 したがって \hat{p}=\frac{\sum_{i=1}^nx_i}{n}
3.4 正規母集団（p. 223）
定理 3 母集団分布が \mathrm{N}\left(\mu,\sigma^2\right) なら \left(\mu,\sigma^2\right) の ML 推定量は \begin{align*} \hat{\mu} & =\bar{X} \\ \hat{\sigma}^2 & =\frac{1}{n}\sum_{i=1}^n\left(X_i-\bar{X}\right)^2 \end{align*}
証明. (X_1,\dots,X_n)=\bm x の確率密度は \begin{align*} f_{X_1,\dots,X_n}\left(\bm x;\mu,\sigma^2\right) & =\prod_{i=1}^nf_{X_i}\left(x_i;\mu,\sigma^2\right) \\ & =\prod_{i=1}^n\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\ & =\left(2\pi\sigma^2\right)^{-n/2} \exp\left(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\ & =(2\pi)^{-n/2}\left(\sigma^2\right)^{-n/2} \exp\left(-\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2}\right) \end{align*} \left(\mu,\sigma^2\right) の尤度関数は \begin{align*} L\left(\mu,\sigma^2;\bm x\right) & =\prod_{i=1}^n\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) \\ & =(2\pi)^{-n/2}\left(\sigma^2\right)^{-n/2} \exp\left(-\frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2}\right) \end{align*} \left(\mu,\sigma^2\right) の対数尤度関数は \ell\left(\mu,\sigma^2;\bm x\right) =-\frac{n}{2}\ln 2\pi-\frac{n}{2}\ln\sigma^2 -\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2 最大化の 1 階の条件は \begin{align*} \frac{1}{\hat{\sigma}^2}\sum_{i=1}^n(x_i-\hat{\mu}) & =0 \\ -\frac{n}{2\hat{\sigma}^2} +\frac{1}{2\hat{\sigma}^4}\sum_{i=1}^n(x_i-\hat{\mu})^2 & =0 \end{align*} すなわち \begin{align*} \sum_{i=1}^n(x_i-\hat{\mu}) & =0 \\ -n\hat{\sigma}^2+\sum_{i=1}^n(x_i-\hat{\mu})^2 & =0 \end{align*} この連立方程式を解けばよい．
注釈. 標本分散 s^2 は \sigma^2 の ML 推定量でない．
まとめ
推定， 点推定， 区間推定， 推定量， 推定値， 標本積率， 積率法（MM）， MM 推定量， 尤度， 尤度関数， 対数尤度関数， 最尤（ML）法， ML 推定量