第24回 回帰分析（3.4, 13.1–13.2.1）
今日のポイント
- \operatorname{E}(Y|X) を与える式を，Y の X 上への回帰モデルという．線形な回帰モデルを線形回帰モデルという．線形回帰モデルの説明変数の係数を回帰係数という．
- Y の X 上への線形回帰モデルにおける回帰係数は X から Y への限界効果を表す．\ln Y の \ln X 上への線形回帰モデルにおける回帰係数は X に対する Y の弾力性を表す．
- 残差2乗和を最小にするように回帰係数を定める方法を通常の最小2乗法（OLS）という．OLS 問題の1階の条件を整理した式を正規方程式という．OLS 問題の解を回帰係数の OLS 推定量（値）という．
1 回帰モデル
1.1 回帰（p. 258）
(X,Y) を確率ベクトルとする．X から Y を予測したい（身長→体重，所得→消費など）．
定義 1 \operatorname{E}(Y|X) を求めることを，Y を X に回帰するという．
注釈. X がカテゴリー変数ならカテゴリーごとの平均を求めるだけ．
注釈. F_{Y|X}(.|.) が求まれば理想的．
1.2 回帰モデル（p. 258）
定義 2 \operatorname{E}(Y|X) を与える式を，Y の X 上への回帰モデル（回帰式，回帰関数）という．
注釈. すなわち \operatorname{E}(Y|X)=r(X)
定義 3 説明する方の変数を説明変数という．
定義 4 説明される方の変数を被説明変数という．
定義 5 U:=Y-\operatorname{E}(Y|X) を回帰の誤差項という．
注釈. 誤差項を用いて回帰モデルを表すと \begin{align*} Y & =r(X)+U \\ \operatorname{E}(U|X) & =0 \end{align*}
1.3 線形回帰モデル（p. 258）
定義 6 線形な回帰モデルを線形回帰モデルという．
注釈. すなわち \operatorname{E}(Y|X)=\alpha+\beta X
注釈. X,Y>0 なら \ln Y の \ln X 上への線形回帰モデルを考えることも多い．すなわち \operatorname{E}(\ln Y|\ln X)=\alpha+\beta\ln X
定義 7 線形回帰モデルの説明変数の係数を回帰係数という．
定理 1 (X,Y)' \sim \mathrm{N}(\bm \mu,\bm \Sigma) とする．ただし \bm \mu:=\begin{pmatrix} \mu_X \\ \mu_Y \\ \end{pmatrix},\quad \bm \Sigma:=\begin{bmatrix} \sigma_X^2 & \sigma_{XY} \\ \sigma_{YX} & \sigma_Y^2 \\ \end{bmatrix} このとき Y|X \sim \mathrm{N}\left(\mu_{Y|X},\sigma_{Y|X}^2\right) ただし \begin{align*} \mu_{Y|X} & :=\mu_Y+\frac{\sigma_{XY}}{\sigma_X^2}(X-\mu_X) \\ \sigma_{Y|X}^2 & :=\sigma_Y^2-\frac{\sigma_{XY}^2}{\sigma_X^2} \end{align*}
証明. 同時 pdf を周辺 pdf で割って条件付き pdf を求める．詳細は略．
注釈. \operatorname{E}(Y|X) は X の1次式．\operatorname{var}(Y|X) は X に依存しない．
1.4 単回帰と重回帰（p. 270）
定義 8 定数項以外に説明変数が1つしかない線形回帰モデルを単回帰モデルという．
定義 9 定数項以外に説明変数が複数ある線形回帰モデルを重回帰モデルという．
注釈. すなわち \operatorname{E}(Y|X_1,\dots,X_k)=\alpha+\beta_1X_1+\dots+\beta_kX_k
定義 10 重回帰モデルの回帰係数を偏回帰係数という．
2 限界効果と弾力性
2.1 限界効果
定義 11 X の 1 単位の増加に対する Yの変化を X から Y への限界効果という．
定理 2 Y の X 上への線形回帰モデルにおける回帰係数は X から Y への限界効果を表す．
証明. Y の X 上への線形回帰モデルは \begin{align*} Y & =\alpha+\beta X+U \\ \operatorname{E}(U|X) & =0 \end{align*} X が 1 単位増えると Y は \beta 単位増える（X が連続なら微分する）．
2.2 弾力性（p. 259，p. 277）
定義 12 X の 1 ％の増加に対する Y の変化率を X に対する Y の弾力性という．
注釈. 式で表すと \epsilon:=\frac{\mathrm{d}Y/Y}{\mathrm{d}X/X} \approx \frac{\Delta Y/Y}{\Delta X/X}
定理 3 \ln Y の \ln X 上への線形回帰モデルにおける回帰係数は X に対する Y の弾力性を表す．
証明. \ln Y の \ln X 上への線形回帰モデルは \begin{align*} \ln Y & =\alpha+\beta\ln X+U \\ \operatorname{E}(U|\ln X) & =0 \end{align*} したがって \begin{align*} \beta & =\frac{\mathrm{d}\ln Y}{\mathrm{d}\ln X} \\ & =\frac{\mathrm{d}X}{\mathrm{d}\ln X}\frac{\mathrm{d}Y}{\mathrm{d}X}\frac{\mathrm{d}\ln Y}{\mathrm{d}Y} \\ & =\left(\frac{\mathrm{d}\ln X}{\mathrm{d}X}\right)^{-1} \frac{\mathrm{d}Y}{\mathrm{d}X}\frac{\mathrm{d}\ln Y}{\mathrm{d}Y} \\ & =\left(\frac{1}{X}\right)^{-1}\frac{\mathrm{d}Y}{\mathrm{d}X}\frac{1}{Y} \\ & =\frac{\mathrm{d}Y/Y}{\mathrm{d}X/X} \end{align*}
3 最小2乗法
3.1 定数項なしの単回帰モデル
2 変量データを ((y_1,x_1),\dots,(y_n,x_n)) とする．y_i の x_i 上への定数項なしの単回帰モデルは \operatorname{E}(y_i|x_i)=\beta x_i \beta を求めたい（図 1 左）．
定義 13 実際の y_i と適当な回帰係数を用いた y_i の予測値との差を y_i の残差という．
注釈. \beta=b としたら y_i の残差は e_i:=y_i-bx_i 誤差 u_i:=y_i-\beta x_i とは異なる．
定義 14 残差 2 乗和を最小にするように回帰係数を定める方法を通常の最小 2 乗法（Ordinary Least Squares, OLS）という．
注釈. すなわち OLS 問題は \begin{align*} \min_b & \quad \sum_{i=1}^n(y_i-bx_i)^2 \\ \text{and} & \quad b \in \mathbb{R} \end{align*} ただし \mathbb{R} は実数の集合．
定義 15 OLS 問題の 1 階の条件を整理した式を正規方程式という．
注釈. 残差 2 乗和は b に関する凸関数なので，1 階の条件は最小化の必要十分条件．
注釈. OLS 問題の 1 階の条件は \sum_{i=1}^n(-x_i)2(y_i-b^*x_i)=0 すなわち \sum_{i=1}^nx_i(y_i-b^*x_i)=0 正規方程式は \sum_{i=1}^nx_iy_i-b^*\sum_{i=1}^nx_i^2=0
定義 16 OLS 問題の解を回帰係数の OLS 推定量（値）という．
注釈. 正規方程式より \sum_{i=1}^nx_i^2 \ne 0 なら \beta の OLS 推定値は b^*=\frac{\sum_{i=1}^nx_iy_i}{\sum_{i=1}^nx_i^2} \sum_{i=1}^nx_i^2=0 だと解は存在しない．
定義 17 回帰係数の OLS 推定量（値）を用いた予測を回帰予測という．
注釈. y_i の回帰予測は \hat{y}_i:=b^*x_i．
定義 18 実際の値と回帰予測との差を回帰残差という．
注釈. y_i の回帰残差は e^*_i:=y_i-\hat{y}_i．
3.2 定数項ありの単回帰モデル（p. 260）
y_i の x_i 上への定数項ありの単回帰モデルは \operatorname{E}(y_i|x_i)=\alpha+\beta x_i (\alpha,\beta) を求めたい（図 1 右）．(\alpha,\beta)=(a,b) としたら y_i の残差は e_i:=y_i-a-bx_i OLS 問題は \begin{align*} \min_{a,b} & \quad \sum_{i=1}^n(y_i-a-bx_i)^2 \\ \text{and} & \quad a,b \in \mathbb{R} \end{align*} 1 階の条件は \begin{align*} \sum_{i=1}^n(-1)2(y_i-a^*-b^*x_i) & =0 \\ \sum_{i=1}^n(-x_i)2(y_i-a^*-b^*x_i) & =0 \end{align*} すなわち \begin{align*} \sum_{i=1}^n(y_i-a^*-b^*x_i) & =0 \\ \sum_{i=1}^nx_i(y_i-a^*-b^*x_i) & =0 \end{align*} 正規方程式は \begin{align*} \sum_{i=1}^ny_i-na^*-b^*\sum_{i=1}^nx_i & =0 \\ \sum_{i=1}^nx_iy_i-a^*\sum_{i=1}^nx_i-b^*\sum_{i=1}^nx_i^2 & =0 \end{align*} この連立方程式の解が (\alpha,\beta) の OLS 推定値．
注釈. 正規方程式の第 1 式を n で割ると \bar{y}-a^*-b^*\bar{x}=0 したがって a^*=\bar{y}-b^*\bar{x}．1 階の条件より \begin{align*} \sum_{i=1}^n(x_i-\bar{x})(y_i-a^*-b^*x_i) & =\sum_{i=1}^nx_i(y_i-a^*-b^*x_i)-\bar{x}\sum_{i=1}^n(y_i-a^*-b^*x_i) \\ & =0 \end{align*} a^*=\bar{y}-b^*\bar{x} を左辺に代入すると \sum_{i=1}^n(x_i-\bar{x})[(y_i-\bar{y})-b^*(x_i-\bar{x})]=0 これを解くと b^*=\frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n(x_i-\bar{x})^2} これは \sigma_{XY}/\sigma_X^2 の推定量（値）と理解できる．
例 1 某大学 1 年生の大学での GPA（colgpa）の高校での GPA（hsgpa）への単回帰（図 2）． \widehat{\mathrm{colgpa}}=0.920577+0.524173\cdot\mathrm{hsgpa}
まとめ
今日のキーワード
回帰， 回帰モデル， 説明変数， 被説明変数， 誤差項， 線形回帰モデル， 回帰係数， 単回帰モデル， 重回帰モデル， 偏回帰係数， 限界効果， 弾力性， 残差， 通常の最小2乗法（OLS）， 正規方程式， OLS 推定量（値）， 回帰予測， 回帰（OLS）残差
次回までの準備