第10回　不均一分散（7.4–7.5）

目次

• 1 不均一分散（p. 178）
• 2 標準誤差の修正
  • 2.1 OLS 推定量の漸近分散（p. 180）
  • 2.2 White の標準誤差（p. 180）
• 3 不均一分散の検定
  • 3.1 Breusch–Pagan の検定（p. 182）
  • 3.2 White の検定（p. 183）
• まとめ

重要今日のポイント

1. 回帰モデルで \operatorname{var}(Y|X) が X に依存することを条件付き不均一分散という．
2. 条件付き不均一分散があるなら標準誤差の修正が必要．White の標準誤差は条件付き不均一分散があっても（なくても）漸近的に正しい．
3. Breusch–Pagan の検定や White の検定 で条件付き不均一分散の有無を検定できる．

1 不均一分散（p. 178）

(Y,X) を確率ベクトルとする．Y の X 上への古典的線形回帰モデルは \begin{align*} \operatorname{E}(Y|X) & =\alpha+\beta X \\ \operatorname{var}(Y|X) & =\sigma^2 \end{align*} すなわち古典的線形回帰モデルでは，\operatorname{E}(Y|X) のみ X に依存し，\operatorname{var}(Y|X) は X に依存しないと 仮定 する．

定義 1 \operatorname{var}(Y|X) が X に依存せず，一定であることを 条件付き均一分散 という．

定義 2 \operatorname{var}(Y|X) が X に依存することを 条件付き不均一分散 という．

例 1 条件付き均一分散と条件付き不均一分散の例（図 1）．

図 1: （条件付き）均一分散と不均一分散

例 2 2 値応答モデル（＝線形／非線形確率モデル）．

2 標準誤差の修正

2.1 OLS 推定量の漸近分散（p. 180）

((y_1,x_1),\dots,(y_n,x_n)) を無作為標本とする．簡単化のため定数項なしの単回帰モデルで考える．すなわち \begin{align*} y_i & =\beta x_i+u_i \\ \operatorname{E}(u_i|x_i) & =0 \end{align*} \beta の OLS 推定量を b_n とすると b_n=\frac{\sum_{i=1}^nx_iy_i}{\sum_{i=1}^nx_i^2}

定理 1 \sqrt{n}(b_n-\beta) \stackrel{d}{\longrightarrow}\mathrm{N}\left(0,\frac{\operatorname{var}(x_iu_i)}{\operatorname{E}(x_i^2)^2}\right)

証明. b_n の式に y_i=\beta x_i+u_i を代入すると \begin{align*} b_n & =\frac{\sum_{i=1}^nx_i(\beta x_i+u_i)}{\sum_{i=1}^nx_i^2} \\ & =\beta+\frac{\sum_{i=1}^nx_iu_i}{\sum_{i=1}^nx_i^2} \end{align*} 式変形すると \sqrt{n}(b_n-\beta)=\frac{(1/\sqrt{n})\sum_{i=1}^nx_iu_i}{(1/n)\sum_{i=1}^nx_i^2} 大数の法則より \plim_{n \to \infty}\frac{1}{n}\sum_{i=1}^nx_i^2=\operatorname{E}\left(x_i^2\right) \operatorname{E}(u_i|x_i)=0 \Longrightarrow \operatorname{E}(x_iu_i)=0 なので中心極限定理より \frac{1}{\sqrt{n}}\sum_{i=1}^nx_iu_i \stackrel{d}{\longrightarrow}\mathrm{N}(0,\operatorname{var}(x_iu_i)) スルツキーの定理とクラーメルの定理より \frac{(1/\sqrt{n})\sum_{i=1}^nx_iu_i}{(1/n)\sum_{i=1}^nx_i^2} \stackrel{d}{\longrightarrow}\mathrm{N}\left(0,\frac{\operatorname{var}(x_iu_i)}{\operatorname{E}(x_i^2)^2}\right)

注釈. \operatorname{E}(u_i|x_i)=0 \Longrightarrow \operatorname{E}(x_iu_i)=0 より \begin{align*} \operatorname{var}(x_iu_i) & =\operatorname{E}\left((x_iu_i)^2\right) \\ & =\operatorname{E}\left(x_i^2u_i^2\right) \end{align*}

系 1 \operatorname{var}(u_i|x_i)=\sigma^2 なら \sqrt{n}(b_n-\beta) \stackrel{d}{\longrightarrow}\mathrm{N}\left(0,\frac{\sigma^2}{\operatorname{E}(x_i^2)}\right)

証明. 繰り返し期待値の法則より \begin{align*} \operatorname{var}(x_iu_i) & =\operatorname{E}\left(x_i^2u_i^2\right) \\ & =\operatorname{E}\left(x_i^2\operatorname{E}\left(u_i^2|x_i\right)\right) \\ & =\operatorname{E}\left(x_i^2\operatorname{var}(u_i|x_i)\right) \\ & =\operatorname{E}\left(x_i^2\sigma^2\right) \\ & =\sigma^2\operatorname{E}\left(x_i^2\right) \end{align*} したがって前定理の漸近分散は \begin{align*} \frac{\operatorname{var}(x_iu_i)}{\operatorname{E}(x_i^2)^2} & =\frac{\sigma^2\operatorname{E}\left(x_i^2\right)}{\operatorname{E}(x_i^2)^2} \\ & =\frac{\sigma^2}{\operatorname{E}(x_i^2)} \end{align*}

2.2 White の標準誤差（p. 180）

条件付き不均一分散の下で \operatorname{var}(x_iu_i)=\operatorname{E}\left(x_i^2u_i^2\right) を推定したい．OLS 残差を e_i とすると \begin{align*} e_i & :=y_i-b_nx_i \\ & =y_i-\beta x_i-(b_nx_i-\beta x_i) \\ & =u_i-(b_n-\beta)x_i \end{align*}

定義 3 \operatorname{var}(x_iu_i)の White の推定量 は \hat{\operatorname{var}}(x_iu_i):=\frac{1}{n}\sum_{i=1}^nx_i^2e_i^2

定理 2 \plim_{n \to \infty}\frac{1}{n}\sum_{i=1}^nx_i^2e_i^2=\operatorname{E}\left(x_i^2u_i^2\right)

証明. e_i と u_i の関係式より \begin{align*} e_i^2 & =[u_i-(b_n-\beta)x_i]^2 \\ & =u_i^2-2(b_n-\beta)x_iu_i+(b_n-\beta)^2x_i^2 \end{align*} したがって \begin{align*} \frac{1}{n}\sum_{i=1}^nx_i^2e_i^2 & =\frac{1}{n}\sum_{i=1}^nx_i^2\left[u_i^2-2(b_n-\beta)x_iu_i+(b_n-\beta)^2x_i^2\right] \\ & =\frac{1}{n}\sum_{i=1}^nx_i^2u_i^2 -2(b_n-\beta)\frac{1}{n}\sum_{i=1}^nx_i^3u_i +(b_n-\beta)^2\frac{1}{n}\sum_{i=1}^nx_i^4 \end{align*} n \to \infty とすると，第 1 項は大数の法則より \plim_{n \to \infty}\frac{1}{n}\sum_{i=1}^nx_i^2u_i^2=\operatorname{E}\left(x_i^2u_i^2\right) \plim_{n \to \infty}b_n=\beta なのでスルツキーの定理より第 2 項と第 3 項は 0 に確率収束．

注釈. したがって \sqrt{n}(b_n-\beta) \stackrel{a}{\sim}\mathrm{N}\left( 0,\frac{(1/n)\sum_{i=1}^nx_i^2e_i^2}{[(1/n)\sum_{i=1}^nx_i^2]^2} \right) または b_n \stackrel{a}{\sim}\mathrm{N}\left( \beta,\frac{\sum_{i=1}^nx_i^2e_i^2}{(\sum_{i=1}^nx_i^2)^2} \right)

定義 4 White の推定量を用いた標準誤差を White の標準誤差 という．

注釈. 条件付き不均一分散があっても（なくても）漸近的に正しい標準誤差．

3 不均一分散の検定

3.1 Breusch–Pagan の検定（p. 182）

(1+k) 変量データを ((y_1,\bm x_1),\dots,(y_n,\bm x_n)) とする．次のような y_i の \bm x_i 上への条件付き不均一分散をもつ線形回帰モデルを仮定する． \begin{align*} y_i & =\bm x_i'\bm \beta+u_i \\ \operatorname{E}(u_i|\bm x_i) & =0 \\ \operatorname{var}(u_i|\bm x_i) & =\sigma^2f(\bm x_i'\bm \gamma) \end{align*} ただし f(.)>0，f(0)=1．また \bm \gamma は \left(\bm \beta,\sigma^2\right) に依存しない．条件付き不均一分散の検定問題は H_0:\bm \gamma=\boldsymbol{0}\quad \text{vs} \quad H_1:\bm \gamma\ne \boldsymbol{0} \bm \beta の OLS 推定量を \bm b，OLS 残差を e_i:=y_i-\bm x_i'\bm b とする．H_0 の下での誤差分散の推定量は \hat{\sigma}^2:=\frac{1}{n}\sum_{i=1}^ne_i^2

定理 3 H_0 の下で \operatorname{E}\left(u_i^2-\sigma^2|\bm x_i\right)=0

証明. \operatorname{E}(u_i|\bm x_i)=0 より \operatorname{var}(u_i|\bm x_i)=\operatorname{E}\left(u_i^2|\bm x_i\right)．したがって H_0 の下で \operatorname{E}\left(u_i^2|\bm x_i\right)=\sigma^2

注釈. すなわち H_0 の下で u_i^2-\sigma^2 は \bm x_i で予測できない．u_i^2-\sigma^2 を e_i^2-\hat{\sigma}^2 に置き換えると，H_0 の下で \operatorname{E}\left(e_i^2-\hat{\sigma}^2|\bm x_i\right) \approx 0 これを回帰モデルとみなして「H_0：全ての回帰係数＝0」を検定すればよい．ただし古典的正規線形回帰モデルでないので F 検定でなく漸近 \chi^2 検定を用いる．

定義 5 e_i^2-\hat{\sigma}^2 の \bm x_i 上への線形回帰モデルにおける「H_0：全ての回帰係数＝0」の漸近 \chi^2 検定を Breusch–Paganの検定 という．

注釈. 正確には Breusch–Pagan の検定の Koenker による改良版．

定理 4 Breusch–Pagan の検定統計量を \mathit{LM} とすると，H_0 の下で \mathit{LM} \stackrel{a}{\sim}\chi^2(k)

証明. 省略．

3.2 White の検定（p. 183）

(1+k) 変量データを ((y_1,\bm x_1),\dots,(y_n,\bm x_n)) とする．y_i の \bm x_i 上への線形回帰モデルは \begin{align*} y_i & =\bm x_i'\bm \beta+u_i \\ \operatorname{E}(u_i|\bm x_i) & =0 \end{align*} 条件付き不均一分散の検定問題は H_0:\operatorname{var}(u_i|\bm x_i)=\sigma^2 \text{vs} \quad H_1:\operatorname{var}(u_i|\bm x_i)=\sigma^2(\bm x_i) \operatorname{E}(u_i|\bm x_i)=0 \Longrightarrow \operatorname{E}(\bm x_iu_i)=\boldsymbol{0} より \begin{align*} \operatorname{var}(\bm x_iu_i) & =\operatorname{E}(\bm x_iu_i(\bm x_iu_i)') \\ & =\operatorname{E}\left(u_i^2\bm x_i\bm x_i'\right) \end{align*} 繰り返し期待値の法則より \begin{align*} \operatorname{E}\left(u_i^2\bm x_i\bm x_i'\right) & =\operatorname{E}\left(\operatorname{E}\left(u_i^2\bm x_i\bm x_i'|\bm x_i\right)\right) \\ & =\operatorname{E}\left(\operatorname{E}\left(u_i^2|\bm x_i\right)\bm x_i\bm x_i'\right) \\ & =\operatorname{E}(\operatorname{var}(u_i|\bm x_i)\bm x_i\bm x_i') \end{align*} したがって条件付き不均一分散の検定問題は H_0:\operatorname{var}(\bm x_iu_i)=\sigma^2\operatorname{E}(\bm x_i\bm x_i') \text{vs} \quad H_1:\operatorname{var}(\bm x_iu_i)=\operatorname{E}\left(u_i^2\bm x_i\bm x_i'\right) 以下の行列を定義する． \begin{align*} \bm V_0 & :=\sigma^2\operatorname{E}(\bm x_i\bm x_i') \\ \bm V_1 & :=\operatorname{E}\left(u_i^2\bm x_i\bm x_i'\right) \end{align*} すると検定問題は H_0:\bm V_0=\bm V_1 \quad \text{vs} \quad H_1:\bm V_0 \ne \bm V_1 または H_0:\bm V_1-\bm V_0=\mathbf{O}\quad \text{vs} \quad H_1:\bm V_1-\bm V_0 \ne \mathbf{O} ここで \begin{align*} \bm V_1-\bm V_0 & =\operatorname{E}\left(u_i^2\bm x_i\bm x_i'\right)-\sigma^2\operatorname{E}(\bm x_i\bm x_i') \\ & =\operatorname{E}\left(\left(u_i^2-\sigma^2\right)\bm x_i\bm x_i'\right) \end{align*} ただし \bm x_i\bm x_i'=\begin{bmatrix} x_{i,1}^2 & \ldots & x_{i,1}x_{i,k} \\ \vdots & \ddots & \vdots \\ x_{i,k}x_{i,1} & \ldots & x_{i,k}^2 \\ \end{bmatrix} この k \times k 行列は対角線を挟んで対称なので，異なる成分は k(k+1)/2 個．これらを並べたベクトルを \bm z_i:=\operatorname{vech}(\bm x_i\bm x_i') とする．ただし\operatorname{vech}(.) は正方行列の下三角部分の成分を取り出して並べる関数．すると H_0 の下で \operatorname{E}\left(\left(u_i^2-\sigma^2\right)\bm z_i\right)=\boldsymbol{0} \bm \beta の OLS 推定量を \bm b，OLS 残差を e_i:=y_i-\bm x_i'\bm b とする．H_0 の下での誤差分散の推定量は \hat{\sigma}^2:=\frac{1}{n}\sum_{i=1}^ne_i^2

定理 5 H_0 の下で \operatorname{cov}\left(u_i^2-\sigma^2,\bm z_i\right)=\boldsymbol{0}

証明. \operatorname{E}(u_i|\bm x_i)=0 より \operatorname{var}(u_i|\bm x_i)=\operatorname{E}\left(u_i^2|\bm x_i\right)．したがって H_0 の下で \operatorname{E}\left(u_i^2|\bm x_i\right)=\sigma^2 両辺の期待値をとると，繰り返し期待値の法則より \operatorname{E}\left(u_i^2\right)=\sigma^2 したがって H_0 の下で \operatorname{cov}\left(u_i^2-\sigma^2,\bm z_i\right)=\operatorname{E}\left(\left(u_i^2-\sigma^2\right)\bm z_i\right) 既に見た通り右辺は \boldsymbol{0}．

注釈. u_i^2-\sigma^2 を e_i^2-\hat{\sigma}^2 に置き換えると，H_0 の下で \operatorname{cov}\left(e_i^2-\hat{\sigma}^2,\bm z_i\right) \approx 0 e_i^2-\hat{\sigma}^2 の \bm z_i 上への線形回帰モデルを考えると，H_0 の下で全ての回帰係数＝0．

定義 6 e_i^2-\hat{\sigma}^2 の \bm z_i:=\operatorname{vech}(\bm x_i\bm x_i') 上への線形回帰モデルにおける「H_0：全ての回帰係数＝0」の漸近 \chi^2 検定を White の検定 という．

注釈. e_i^2 の \left(\hat{y}_i,\hat{y}_i^2\right) 上への線形回帰モデルとして実行する方法もあるが，あまり一般的でない．

定理 6 White の検定統計量を W とすると，H_0 の下で W \stackrel{a}{\sim}\chi^2\left(\frac{k(k+1)}{2}\right)

証明. 省略．

注釈. どのような不均一分散でも使えるが，自由度が大きいため検出力が低い．

まとめ

ヒント今日のキーワード

条件付き均一分散， 条件付き不均一分散， White の推定量， White の標準誤差， Breusch–Pagan の検定， White の検定

警告次回までの準備

• 提出：宿題 7
• 復習：教科書第 7 章 4–5 節，復習テスト 10
• 予習：教科書第 8 章