中級統計学：復習テスト26
すべての質問に解答しなければ提出とは認めない．正答に修正した上で，復習テスト 21〜26 を順に重ねて左上でホチキス止めし，定期試験実施日（1月27日の予定）に提出すること．
- k 個の正規母集団（群） \mathrm{N}\left(\mu_1,\sigma^2\right),\dots,\mathrm{N}\left(\mu_k,\sigma^2\right) から独立に抽出した大きさ n_1,\dots,n_k の無作為標本を (y_{1,1},\dots,y_{1,n_1}),\dots,(y_{k,1},\dots,y_{k,n_k}) とする．n:=n_1+\dots+n_k とする．第 h 群の標本平均を \bar{y}_h，全群の標本平均を \bar{y} とする．
全変動 S，群間変動 S_b，群内変動 S_w をそれぞれ定義しなさい．
S=S_b+S_w が成り立つことを示しなさい．
\begin{align*} S & :=\sum_{h=1}^k\sum_{i=1}^{n_h}(y_{h,i}-\bar{y})^2 \\ S_b & :=\sum_{h=1}^k\sum_{i=1}^{n_h}(\bar{y}_h-\bar{y})^2 \\ S_w & :=\sum_{h=1}^k\sum_{i=1}^{n_h}(y_{h,i}-\bar{y}_h)^2 \end{align*}
\begin{align*} S & =\sum_{h=1}^k\sum_{i=1}^{n_h}(y_{h,i}-\bar{y}_h+\bar{y}_h-\bar{y})^2 \\ & =\sum_{h=1}^k\sum_{i=1}^{n_h}\left[ (y_{h,i}-\bar{y}_h)^2 +2(y_{h,i}-\bar{y}_h)(\bar{y}_h-\bar{y}) +(\bar{y}_h-\bar{y})^2 \right] \\ & =\sum_{h=1}^k\sum_{i=1}^{n_h}(y_{h,i}-\bar{y}_h)^2 +2\sum_{h=1}^k\sum_{i=1}^{n_h}(y_{h,i}-\bar{y}_h)(\bar{y}_h-\bar{y}) +\sum_{h=1}^k\sum_{i=1}^{n_h}(\bar{y}_h-\bar{y})^2 \\ & =S_w+2\sum_{h=1}^k(\bar{y}_h-\bar{y})\sum_{i=1}^{n_h}(y_{h,i}-\bar{y}_h)+S_b \end{align*}
ここで h=1,\dots,k について
\begin{align*} \sum_{i=1}^{n_h}(y_{h,i}-\bar{y}_h) & =\sum_{i=1}^{n_h}y_{h,i}-n_h\bar{y}_h \\ & =\sum_{i=1}^{n_h}y_{h,i}-\sum_{i=1}^{n_h}y_{h,i} \\ & =0 \end{align*}
したがって第 2 項は 0．
- 次の OLS 問題を考える．
\begin{align*} \min_{a,b} & \quad \sum_{i=1}^n(y_i-a-bx_i)^2 \\ \text{and} & \quad a,b \in \mathbb{R} \end{align*}
OLS 問題の解を (a^*,b^*)，回帰残差を e_i:=y_i-a^*-b^*x_i とする．また ((y_1,x_1),\dots,(y_n,x_n)) の標本平均を (\bar{y},\bar{x}) とする．以下の式を証明しなさい．
\begin{align*} \sum_{i=1}^ne_i & =0 \\ \sum_{i=1}^nx_ie_i & =0 \end{align*}
\sum_{i=1}^n(x_i-\bar{x})e_i=0
\sum_{i=1}^n(y_i-\bar{y})^2 ={b^*}^2\sum_{i=1}^n(x_i-\bar{x})^2+\sum_{i=1}^ne_i^2
- 1 階の条件より
\begin{align*} \sum_{i=1}^n(y_i-a^*-b^*x_i) & =0 \\ \sum_{i=1}^nx_i(y_i-a^*-b^*x_i) & =0 \end{align*}
すなわち
\begin{align*} \sum_{i=1}^ne_i & =0 \\ \sum_{i=1}^nx_ie_i & =0 \end{align*}
- 前問より
\begin{align*} \sum_{i=1}^n(x_i-\bar{x})e_i & =\sum_{i=1}^nx_ie_i-\bar{x}\sum_{i=1}^ne_i \\ & =0 \end{align*}
- y_i=a^*+b^*x_i+e_i より
\begin{align*} \bar{y} & :=\frac{1}{n}\sum_{i=1}^ny_i \\ & =\frac{1}{n}\sum_{i=1}^n(a^*+b^*x_i+e_i) \\ & =a^*+b^*\bar{x} \end{align*}
したがって
\begin{align*} \sum_{i=1}^n(y_i-\bar{y})^2 & =\sum_{i=1}^n[a^*+b^*x_i+e_i-(a^*+b^*\bar{x})]^2 \\ & =\sum_{i=1}^n[b^*(x_i-\bar{x})+e_i]^2 \\ & =\sum_{i=1}^n\left[ {b^*}^2(x_i-\bar{x})^2+2b^*(x_i-\bar{x})e_i+e_i^2 \right] \\ & ={b^*}^2\sum_{i=1}^n(x_i-\bar{x})^2+2b^*\sum_{i=1}^n(x_i-\bar{x})e_i +\sum_{i=1}^ne_i^2 \end{align*}
前問より第 2 項は 0．