第6回　単回帰分析（5）

目次

• 1 回帰モデル
  • 1.1 回帰（p. 99）
  • 1.2 回帰モデル（p. 100）
  • 1.3 線形回帰モデル（p. 100）
  • 1.4 単回帰と重回帰（p. 100）
• 2 限界効果と弾力性
  • 2.1 限界効果（p. 110）
  • 2.2 弾力性（p. 112）
• 3 回帰係数の推定
  • 3.1 積率（モーメント）法（p. 109）
  • 3.2 MM 推定（p. 107）
  • 3.3 OLS 推定（p. 116）
  • 3.4 回帰残差（p. 118）
  • 3.5 決定係数（p. 118）
• 4 OLS 推定量の標本分布（p. 121）
• 5 誤差分散の推定（p. 125）
• まとめ

今日のポイント

1. \operatorname{E}(Y|X) を与える式を，Y の X 上への回帰モデルという．線形な回帰モデルを線形回帰モデルという．線形回帰モデルの説明変数の係数を回帰係数という．
2. Y の X 上への線形回帰モデルの回帰係数は，X から Y への限界効果を表す．\ln Y の \ln X 上への線形回帰モデルの回帰係数は，X に対する Y の弾力性を表す．
3. 母数と積率の関係を表す式で，積率を標本積率に置き換えて求めた解を母数の推定値とする手法を積率法（MM法）という．残差 2 乗和を最小にするように回帰係数を定める方法を通常の最小 2 乗法（OLS）という．両者は同じ推定量を与える．
4. 総変動（TSS）は回帰変動（ESS）と残差変動（RSS）に分解できる（\mathrm{TSS}=\mathrm{ESS}+\mathrm{RSS}）．決定係数は R^2:=\mathrm{ESS}/\mathrm{TSS}=1-\mathrm{RSS}/\mathrm{TSS}．
5. 誤差分散 \sigma^2 の推定量は s^2:=[1/(n-k)]\sum_{i=1}^n(y_i-\hat{y}_i)^2．ただし k は推定する係数の数．

1 回帰モデル

1.1 回帰（p. 99）

(X,Y) を確率ベクトルとする．原因 X から結果 Y を予測したい（身長→体重，所得→消費など）．

定義 1 \operatorname{E}(Y|X) を求めることを，Y を X に 回帰する という．

注釈. X がカテゴリー変数ならカテゴリーごとの平均を求めるだけ．

注釈. F_{Y|X}(.|.) が求まれば理想的．

1.2 回帰モデル（p. 100）

定義 2 \operatorname{E}(Y|X) を与える式を，Y の X 上への 回帰モデル（回帰式，回帰関数）という．

注釈. すなわち \operatorname{E}(Y|X)=r(X)

定義 3 説明する方の変数を 説明変数 という．

定義 4 説明される方の変数を 被説明変数 という．

定義 5 U:=Y-\operatorname{E}(Y|X) を回帰の 誤差項 という．

定理 1 \operatorname{E}(U|X)=0

証明. 復習テスト．

注釈. 誤差項を用いて回帰モデルを表すと \begin{align*} Y & =r(X)+U \\ \operatorname{E}(U|X) & =0 \end{align*}

系 1 \operatorname{E}(U)=0

証明. 復習テスト．

注釈. \operatorname{E}(U|X)=\operatorname{E}(U) より U は X と「平均独立」．

1.3 線形回帰モデル（p. 100）

定義 6 線形な回帰モデルを 線形回帰モデル という．

注釈. すなわち \operatorname{E}(Y|X)=\alpha+\beta X

注釈. X,Y>0 なら \ln Y の \ln X 上への線形回帰モデルを考えることも多い． すなわち \operatorname{E}(\ln Y|\ln X)=\alpha+\beta\ln X

定義 7 線形回帰モデルの説明変数の係数を 回帰係数 という．

1.4 単回帰と重回帰（p. 100）

定義 8 定数項以外に説明変数が1つしかない線形回帰モデルを 単回帰モデル という．

定義 9 定数項以外に説明変数が複数ある線形回帰モデルを 重回帰モデル という．

注釈. すなわち \operatorname{E}(Y|X_1,\dots,X_k)=\alpha+\beta_1X_1+\dots+\beta_kX_k

定義 10 重回帰モデルの回帰係数を 偏回帰係数 という．

2 限界効果と弾力性

2.1 限界効果（p. 110）

定義 11 X の 1 単位の増加に対する Y の変化を，X から Y への 限界効果 という．

定理 2 Y の X 上への線形回帰モデルの回帰係数は，X から Y への限界効果を表す．

証明. Y の X 上への線形回帰モデルは \begin{align*} Y & =\alpha+\beta X+U \\ \operatorname{E}(U|X) & =0 \end{align*} X が 1 単位増えると Y は \beta 単位増える（X が連続なら微分する）．

2.2 弾力性（p. 112）

定義 12 X の 1 ％の増加に対するYの変化率を，X に対する Y の 弾力性 という．

注釈. 式で表すと \epsilon:=\frac{\mathrm{d}Y/Y}{\mathrm{d}X/X} \approx \frac{\Delta Y/Y}{\Delta X/X}

定理 3 \ln Y の \ln X 上への線形回帰モデルの回帰係数は，X に対する Y の弾力性を表す．

証明. \ln Y の \ln X 上への線形回帰モデルは \begin{align*} \ln Y & =\alpha+\beta\ln X+U \\ \operatorname{E}(U|\ln X) & =0 \end{align*} したがって \begin{align*} \beta & =\frac{\mathrm{d}\ln Y}{\mathrm{d}\ln X} \\ & =\frac{\mathrm{d}X}{\mathrm{d}\ln X}\frac{\mathrm{d}Y}{\mathrm{d}X}\frac{\mathrm{d}\ln Y}{\mathrm{d}Y} \\ & =\left(\frac{\mathrm{d}\ln X}{\mathrm{d}X}\right)^{-1} \frac{\mathrm{d}Y}{\mathrm{d}X}\frac{\mathrm{d}\ln Y}{\mathrm{d}Y} \\ & =\left(\frac{1}{X}\right)^{-1}\frac{\mathrm{d}Y}{\mathrm{d}X}\frac{1}{Y} \\ & =\frac{\mathrm{d}Y/Y}{\mathrm{d}X/X} \end{align*}

注釈. より直感的には \begin{align*} \frac{\mathrm{d}\ln Y}{\mathrm{d}\ln X} & \approx \frac{\Delta\ln Y}{\Delta\ln X} \\ & =\frac{\ln(Y+\Delta Y)-\ln Y}{\ln(X+\Delta X)-\ln X} \\ & =\frac{\ln[(Y+\Delta Y)/Y]}{\ln[(X+\Delta X)/X]} \\ & =\frac{\ln(1+\Delta Y/Y)}{\ln(1+\Delta X/X)} \\ & \approx \frac{\Delta Y/Y}{\Delta X/X} \end{align*}

3 回帰係数の推定

3.1 積率（モーメント）法（p. 109）

定義 13 (X_1,\dots,X_n) の k 次の標本積率 は \hat{\mu}_k:=\frac{1}{n}\sum_{i=1}^nX_i^k

定義 14 母数と積率の関係を表す式で，積率を標本積率に置き換えて求めた解を母数の推定値とする手法を 積率法（Method of Moments, MM）という．

定義 15 積率法による推定量を MM 推定量 という．

3.2 MM 推定（p. 107）

2変量データを ((y_1,x_1),\dots,(y_n,x_n)) とする．¹ y_i の x_i 上への単回帰モデルは \operatorname{E}(y_i|x_i)=\alpha+\beta x_i または \begin{align*} y_i & =\alpha+\beta x_i+u_i \\ \operatorname{E}(u_i|x_i) & =0 \end{align*} (\alpha,\beta) の MM 推定量を (a,b) とする．

定理 4 \begin{align*} \operatorname{E}(u_i) & =0 \\ \operatorname{E}(x_iu_i) & =0 \end{align*}

証明. 復習テスト．

注釈. u_i:=y_i-\alpha-\beta x_i を代入すると \begin{align*} \operatorname{E}(y_i-\alpha-\beta x_i) & =0 \\ \operatorname{E}(x_i(y_i-\alpha-\beta x_i)) & =0 \end{align*} 期待値（積率）を標本平均（標本積率）で置き換えると \begin{align*} \frac{1}{n}\sum_{i=1}^n(y_i-a-bx_i) & =0 \\ \frac{1}{n}\sum_{i=1}^nx_i(y_i-a-bx_i) & =0 \end{align*}

定理 5 x_1=\dots=x_n でなければ \begin{align*} a & =\bar{y}-b\bar{x} \\ b & =\frac{\hat{\sigma}_{xy}}{\hat{\sigma}_x^2} \end{align*} ただし \bar{x},\bar{y} は標本平均，\hat{\sigma}_x^2,\hat{\sigma}_{xy} は（n-1 でなく）n で割る標本分散と標本共分散，すなわち \begin{align*} \hat{\sigma}_x^2 & :=\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2 \\ \hat{\sigma}_{xy} & :=\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y}) \end{align*}

証明. (a,b) を与える連立方程式は \begin{align*} \bar{y}-a-b\bar{x} & =0 \\ \frac{1}{n}\sum_{i=1}^nx_iy_i-\bar{x}a-b\cdot\frac{1}{n}\sum_{i=1}^nx_i^2 & =0 \end{align*} 第 1 式より a=\bar{y}-b\bar{x}．第 2 式に代入すると \frac{1}{n}\sum_{i=1}^nx_iy_i-\bar{x}(\bar{y}-b\bar{x}) -b\cdot\frac{1}{n}\sum_{i=1}^nx_i^2=0 すなわち \frac{1}{n}\sum_{i=1}^nx_iy_i-\bar{x}\bar{y} =b\left(\frac{1}{n}\sum_{i=1}^nx_i^2-\bar{x}^2\right) 分散・共分散の計算公式より \hat{\sigma}_{xy}=b\hat{\sigma}_x^2 \hat{\sigma}_x^2 \ne 0 より b が求まる．

3.3 OLS 推定（p. 116）

定義 16 (\alpha,\beta)=(a,b) のときの y_i の 残差 は e_i:=y_i-a-bx_i

注釈. 誤差 u_i:=y_i-\alpha-\beta x_i とは異なる．

定義 17 残差 2 乗和を最小にするように回帰係数を定める方法を 通常の最小 2 乗法（Ordinary Least Squares, OLS）という．

注釈. すなわち OLS 問題は \begin{align*} \min_{a,b} & \quad \sum_{i=1}^n(y_i-a-bx_i)^2 \\ \text{and} & \quad a,b \in \mathbb{R} \end{align*}

定義 18 OLS 問題の 1 階の条件を整理した式を 正規方程式 という．

注釈. 残差 2 乗和は (a,b) に関する凸関数なので，1 階の条件は最小化の必要十分条件．

注釈. OLS 問題の 1 階の条件は \begin{align*} \sum_{i=1}^n(-1)2(y_i-a^*-b^*x_i) & =0 \\ \sum_{i=1}^n(-x_i)2(y_i-a^*-b^*x_i) & =0 \end{align*} すなわち \begin{align*} \sum_{i=1}^n(y_i-a^*-b^*x_i) & =0 \\ \sum_{i=1}^nx_i(y_i-a^*-b^*x_i) & =0 \end{align*} これは MM 推定量を与える連立方程式と同じ．

定義 19 OLS 問題の解を \beta の OLS 推定量（値）という．

3.4 回帰残差（p. 118）

定義 20 \hat{y}_i:=a^*+b^*x_i を y_i の 回帰予測 という．

定義 21 e_i:=y_i-\hat{y}_i を y_i の 回帰（OLS）残差 という．

補題 1 \begin{align*} \sum_{i=1}^ne_i & =0 \\ \sum_{i=1}^nx_ie_i & =0 \end{align*}

証明. 復習テスト．

系 2 \bar{y}=a^*+b^*\bar{x}

証明. 復習テスト．

3.5 決定係数（p. 118）

定義 22 (y_1,\dots,y_n) の 総変動（Total Sum of Squares, TSS）は \mathrm{TSS}:=\sum_{i=1}^n(y_i-\bar{y})^2

定義 23 (y_1,\dots,y_n) の 回帰変動（Explained Sum of Squares, ESS）は \mathrm{ESS}:=\sum_{i=1}^n(\hat{y}_i-\bar{y})^2

定義 24 (y_1,\dots,y_n) の 残差変動（Residual Sum of Squares, RSS）は \mathrm{RSS}:=\sum_{i=1}^ne_i^2

定理 6 \mathrm{TSS}=\mathrm{ESS}+\mathrm{RSS}

証明. 復習テスト．

定義 25 回帰の 決定係数 は R^2:=\frac{\mathrm{ESS}}{\mathrm{TSS}}

4 OLS 推定量の標本分布（p. 121）

((y_1,x_1),\dots,(y_n,x_n)) を無作為標本とする．簡単化のため定数項なしの単回帰モデルで考える．すなわち \begin{align*} y_i & =\beta x_i+u_i \\ \operatorname{E}(u_i|x_i) & =0 \end{align*} \beta の MM（＝OLS）推定量を b とする．繰り返し期待値の法則より \operatorname{E}(x_iu_i)=0 u_i:=y_i-\beta x_i を代入すると \operatorname{E}(x_i(y_i-\beta x_i))=0 期待値を標本平均で置き換えると \frac{1}{n}\sum_{i=1}^nx_i(y_i-bx_i)=0 すなわち \sum_{i=1}^nx_iy_i=b\sum_{i=1}^nx_i^2 したがって x_1=\dots=x_n=0 でなければ b=\frac{\sum_{i=1}^nx_iy_i}{\sum_{i=1}^nx_i^2} y_i=\beta x_i+u_i を代入すると \begin{align*} b & =\frac{\sum_{i=1}^nx_iy_i}{\sum_{i=1}^nx_i^2} \\ & =\frac{\sum_{i=1}^nx_i(\beta x_i+u_i)}{\sum_{i=1}^nx_i^2} \\ & =\beta+\frac{\sum_{i=1}^nx_iu_i}{\sum_{i=1}^nx_i^2} \end{align*}

定理 7 \operatorname{E}(b|x_1,\dots,x_n)=\beta

証明. 期待値の線形性より \begin{align*} \operatorname{E}(b|x_1,\dots,x_n) & =\operatorname{E}\left( \beta+\frac{\sum_{i=1}^nx_iu_i}{\sum_{i=1}^nx_i^2} |x_1,\dots,x_n\right) \\ & =\beta+\frac{\sum_{i=1}^nx_i\operatorname{E}(u_i|x_1,\dots,x_n)}{\sum_{i=1}^nx_i^2} \end{align*} x_1,\dots,x_n は独立だから \operatorname{E}(u_i|x_1,\dots,x_n)=\operatorname{E}(u_i|x_i)=0 したがって第 2 項は 0．

系 3 \operatorname{E}(b)=\beta

証明. 繰り返し期待値の法則と前定理より \begin{align*} \operatorname{E}(b) & =\operatorname{E}(\operatorname{E}(b|x_1,\dots,x_n)) \\ & =\operatorname{E}(\beta) \\ & =\beta \end{align*}

定理 8 \operatorname{var}(u_i|x_i)=\sigma^2なら \operatorname{var}(b|x_1,\dots,x_n)=\frac{\sigma^2}{\sum_{i=1}^nx_i^2}

証明. 線形変換の分散の公式より \begin{align*} \operatorname{var}(b|x_1,\dots,x_n) & =\operatorname{var}\left( \beta+\frac{\sum_{i=1}^nx_iu_i}{\sum_{i=1}^nx_i^2}|x_1,\dots,x_n \right) \\ & =\operatorname{var}\left( \frac{\sum_{i=1}^nx_iu_i}{\sum_{i=1}^nx_i^2} |x_1,\dots,x_n\right) \\ & =\frac{\operatorname{var}(\sum_{i=1}^nx_iu_i|x_1,\dots,x_n)}{(\sum_{i=1}^nx_i^2)^2} \end{align*} (x_1,u_1),\dots,(x_n,u_n) は独立だから \begin{align*} \operatorname{var}\left(\sum_{i=1}^nx_iu_i|x_1,\dots,x_n\right) & =\sum_{i=1}^n\operatorname{var}(x_iu_i|x_1,\dots,x_n) \\ & =\sum_{i=1}^n\operatorname{var}(x_iu_i|x_i) \\ & =\sum_{i=1}^nx_i^2\operatorname{var}(u_i|x_i) \\ & =\sum_{i=1}^nx_i^2\sigma^2 \end{align*} したがって \operatorname{var}(b|x_1,\dots,x_n) =\frac{\sum_{i=1}^nx_i^2\sigma^2}{(\sum_{i=1}^nx_i^2)^2} =\frac{\sigma^2}{\sum_{i=1}^nx_i^2}

例 1 (母平均の OLS 推定量) 平均 \mu，分散 \sigma^2 の母集団分布から抽出した無作為標本を (y_1,\dots,y_n) とする．\operatorname{E}(y_i)=\mu，\operatorname{var}(y_i)=\sigma^2 より \begin{align*} y_i & =\mu \cdot 1+u_i \\ \operatorname{E}(u_i) & =0 \\ \operatorname{var}(u_i) & =\sigma^2 \end{align*} これは x_1=\dots=x_n=1 とした定数項なしの単回帰モデル．\mu の OLS 推定量は \begin{align*} \hat{\mu} & =\frac{\sum_{i=1}^n1\cdot y_i}{\sum_{i=1}^n1^2} \\ & =\frac{\sum_{i=1}^ny_i}{n} \\ & =\bar{y} \end{align*} すなわち母平均の OLS 推定量は標本平均．\hat{\mu} の期待値と分散は \begin{align*} \operatorname{E}(\hat{\mu}) & =\operatorname{E}(\bar{y}) \\ & =\mu \\ \operatorname{var}(\hat{\mu}) & =\operatorname{var}(\bar{y}) \\ & =\frac{\sigma^2}{n} \end{align*}

5 誤差分散の推定（p. 125）

\sigma^2 の推定量は s^2:=\frac{1}{n-k}\sum_{i=1}^n(y_i-\hat{y}_i)^2 ただし k は推定する係数の数．標本分散は k=1，定数項ありの単回帰モデルは k=2．

定理 9 \operatorname{var}(u_i|x_i)=\sigma^2 なら \operatorname{E}\left(s^2\right)=\sigma^2

証明. 省略（行列の知識が必要）．

まとめ

今日のキーワード

回帰， 回帰モデル（回帰式，回帰関数）， 説明変数， 被説明変数， 誤差項， 線形回帰モデル， 回帰係数， 単回帰モデル， 重回帰モデル， 偏回帰係数， 限界効果， 弾力性， 標本積率， 積率法（MM）， MM推定量， 残差， 通常の最小2乗法（OLS）， 正規方程式， OLS推定量（値）， 回帰予測， 回帰（OLS）残差， 総変動（TSS）， 回帰変動（ESS）， 残差変動（RSS）， 決定係数

次回までの準備

• 提出：宿題 3
• 復習：教科書第 5 章，復習テスト 6
• 予習：教科書第 6 章 1–3 節

脚注

1. 多変量解析では太字の大文字で行列，太字の小文字でベクトル，細字の小文字でスカラーを表し，確率変数とその実現値の表記を区別しない．