第8回　回帰係数の検定（6.4–6.5）

作者

村澤康友

公開

2026年5月28日

今日のポイント

誤差項が独立に \mathrm{N}\left(0,\sigma^2\right) に従う線形回帰モデルを古典的正規線形回帰モデルという．古典的正規線形回帰モデルの回帰係数の OLS 推定量は正規分布に従う．誤差分散 \sigma^2 の不偏推定量 s^2 の分布は (n-k)s^2/\sigma^2 \sim \chi^2(n-k)．
H_0：「個別の回帰係数＝0」の片側／両側検定の t 統計量の値を t 値という．H_0 の下で t \sim \mathrm{t}(n-k)．
推定量の標準偏差の推定値を標準誤差という．t 値＝係数の推定値／標準誤差．
H_0：「定数項を除く全ての回帰係数＝0」の両側検定の F 統計量の値を F 値という．H_0 の下で F \sim \mathrm{F}(k-1,n-k)．
線形モデルで \operatorname{E}(\bm x_iu_i)=\boldsymbol{0} かつ無作為標本なら OLS 推定量は一致推定量．さらに \operatorname{var}(u_i|\bm x_i)=\sigma^2 なら OLS 推定量の漸近分布は古典的正規線形回帰モデルの場合の厳密な分布と同じ．

1 OLS 推定量の標本分布

1.1 古典的正規線形回帰モデル（p. 148）

(1+k) 変量データを ((y_1,\bm x_1),\dots,(y_n,\bm x_n)) とする．ただし \bm x_i:=(x_{i,1},\dots,x_{i,k})'．y_i の \bm x_i 上への線形回帰モデルは \operatorname{E}(y_i|\bm x_i)=\bm x_i'\bm \beta または \begin{align*} y_i & =\bm x_i'\bm \beta+u_i \\ \operatorname{E}(u_i|\bm x_i) & =0 \end{align*}

定義 1 (\bm x_1,\dots,\bm x_n) を所与として u_1,\dots,u_n が独立に \mathrm{N}\left(0,\sigma^2\right) に従う線形回帰モデルを 古典的正規線形回帰モデル という．

注釈. すなわち¹ \begin{align*} y_i & =\bm x_i'\bm \beta+u_i \\ \{u_i\}|\{\bm x_i\} & \sim \mathrm{IN}\left(0,\sigma^2\right) \end{align*} または \{y_i\}|\{\bm x_i\} \sim \mathrm{IN}\left(\bm x_i'\bm \beta,\sigma^2\right)

1.2 回帰係数の OLS 推定量（p. 148）

既に見た通り \bm b=\left(\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1}\sum_{i=1}^n\bm x_iy_i

定理 1 古典的正規線形回帰モデルなら \bm b|\{\bm x_i\} \sim \mathrm{N}\left(\bm \beta,\sigma^2\left(\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1}\right)

証明. 復習テスト．

1.3 誤差分散の不偏推定量

\hat{y}_i:=\bm x_i'\bm b とすると，\sigma^2 の不偏推定量は s^2:=\frac{1}{n-k}\sum_{i=1}^n(y_i-\hat{y}_i)^2 ただし k は推定する係数の数．

定理 2 古典的正規線形回帰モデルなら \frac{(n-k)s^2}{\sigma^2} \sim \chi^2(n-k)

証明. 省略（行列を使うと簡単）．

定理 3 古典的正規線形回帰モデルなら \bm b と s^2 は独立．

証明. 省略（行列を使うと簡単）．

1.4 標準誤差（p. 149）

定義 2 推定量の標準偏差の推定値を 標準誤差 という．

注釈. \bm b の分散は \sigma^2\left(\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1}．その推定値は s^2\left(\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1}．この対角成分の平方根が各係数の OLS 推定量の標準誤差．定数項なしの単回帰モデルなら b の標準誤差は \mathrm{s.e.}(b)=\sqrt{\frac{s^2}{\sum_{i=1}^nx_i^2}}

2 回帰係数の t 検定

2.1 分散が既知（p. 149）

簡単化のため定数項なしの単回帰モデルで考える．y_i の x_i 上への古典的正規線形回帰モデルは \begin{align*} y_i & =\beta x_i+u_i \\ \{u_i\}|\{x_i\} & \sim \mathrm{IN}\left(0,\sigma^2\right) \end{align*} 次の片側検定問題を考える． H_0:\beta=c \quad \text{vs} \quad H_1:\beta>c \beta の OLS 推定量を b とすると b|\{x_i\} \sim \mathrm{N}\left(\beta,\frac{\sigma^2}{\sum_{i=1}^nx_i^2}\right) 標準化すると \frac{b-\beta}{\sqrt{\sigma^2/\sum_{i=1}^nx_i^2}}|\{x_i\} \sim \mathrm{N}(0,1) \mathrm{N}(0,1) は \{x_i\} に依存しないので \frac{b-\beta}{\sqrt{\sigma^2/\sum_{i=1}^nx_i^2}} \sim \mathrm{N}(0,1) H_0:\beta=c を代入すると，検定統計量は Z:=\frac{b-c}{\sqrt{\sigma^2/\sum_{i=1}^nx_i^2}} H_0 の下で Z \sim \mathrm{N}(0,1) 標準正規分布表より棄却域を定める．

2.2 分散が未知（p. 149）

\sigma^2 の推定量 s^2 について \frac{(n-k)s^2}{\sigma^2} \sim \chi^2(n-k) また b と s^2 は独立．したがって \sigma^2 を s^2 に置き換えると \frac{b-\beta}{\sqrt{s^2/\sum_{i=1}^nx_i^2}} \sim \mathrm{t}(n-k) H_0:\beta=c を代入すると，検定統計量（t 統計量）は t:=\frac{b-c}{\sqrt{s^2/\sum_{i=1}^nx_i^2}} H_0 の下で t \sim \mathrm{t}(n-k) t 分布表より棄却域を定める．

2.3 t 値

定義 3 H_0:\beta=0 の片側／両側検定の t 統計量の値を t 値 という．

注釈. すなわち t=\frac{b}{\mathrm{s.e.}(b)}

3 回帰係数の F 検定

3.1 分散が既知

簡単化のため定数項なしの単回帰モデルで考える．y_i の x_i 上への古典的正規線形回帰モデルは \begin{align*} y_i & =\beta x_i+u_i \\ \{u_i\}|\{x_i\} & \sim \mathrm{IN}\left(0,\sigma^2\right) \end{align*} 次の両側検定問題を考える． H_0:\beta=c \quad \text{vs} \quad H_1:\beta \ne c \beta の OLS 推定量を b とすると b|\{x_i\} \sim \mathrm{N}\left(\beta,\frac{\sigma^2}{\sum_{i=1}^nx_i^2}\right) 標準化すると \frac{b-\beta}{\sqrt{\sigma^2/\sum_{i=1}^nx_i^2}}|\{x_i\} \sim \mathrm{N}(0,1) \mathrm{N}(0,1) は \{x_i\} に依存しないので \frac{b-\beta}{\sqrt{\sigma^2/\sum_{i=1}^nx_i^2}} \sim \mathrm{N}(0,1) 2 乗すると \frac{(b-\beta)^2\sum_{i=1}^nx_i^2}{\sigma^2} \sim \chi^2(1) H_0:\beta=c を代入すると，検定統計量は \chi^2:=\frac{(b-c)^2\sum_{i=1}^nx_i^2}{\sigma^2} H_0 の下で \chi^2 \sim \chi^2(1) \chi^2 分布表より棄却域を定める．

注釈. 重回帰モデルの複数の係数の両側検定に拡張できる（行列を使うと簡単）．r 個の係数の検定なら H_0 の下で \chi^2 \sim \chi^2(r)．

3.2 分散が未知（p. 154）

\sigma^2 の推定量 s^2 について \frac{(n-k)s^2}{\sigma^2} \sim \chi^2(n-k) また b と s^2 は独立．したがって \sigma^2 を s^2 sに置き換えると \frac{(b-\beta)^2\sum_{i=1}^nx_i^2}{s^2} =\frac{(b-\beta)^2\sum_{i=1}^nx_i^2/\sigma^2}{[(n-k)s^2/\sigma^2]/(n-k)} \sim \mathrm{F}(1,n-k) H_0:\beta=c を代入すると，検定統計量（F 統計量）は F:=\frac{(b-c)^2\sum_{i=1}^nx_i^2}{s^2} H_0 の下で F \sim \mathrm{F}(1,n-k) F 分布表より棄却域を定める．

注釈. 重回帰モデルの複数の係数の両側検定に拡張できる（行列を使うと簡単）．r 個の係数の検定なら H_0 の下で F \sim \mathrm{F}(r,n-k)．

3.3 F 値

定義 4 H_0:\beta=0 の両側検定の F 統計量の値を F 値 という．

注釈. 次の重回帰モデルを考える． \begin{align*} y_i & =\beta_1+\beta_2x_{i,2}+\dots+\beta_kx_{i,k}+u_i \\ \{u_i\} & \sim \mathrm{IN}\left(0,\sigma^2\right) \end{align*} ただし \beta_1 は定数項．次の両側検定問題を考える． H_0:\begin{pmatrix} \beta_2 \\ \vdots \\ \beta_k \\ \end{pmatrix}=\boldsymbol{0}\quad \text{vs} \quad H_1:\begin{pmatrix} \beta_2 \\ \vdots \\ \beta_k \\ \end{pmatrix} \ne \boldsymbol{0} このとき H_0 の下で F \sim \mathrm{F}(k-1,n-k)

4 OLS 推定量の漸近特性

4.1 線形モデル（p. 157）

(1+k) 変量データを ((y_1,\bm x_1),\dots,(y_n,\bm x_n)) とする．ただし \bm x_i:=(x_{i,1},\dots,x_{i,k})'．y_i の \bm x_i 上への線形モデルは \begin{align*} y_i & =\bm x_i'\bm \beta+u_i \\ \operatorname{E}(u_i) & =0 \end{align*}

定理 4 \operatorname{E}(\bm x_iu_i)=\boldsymbol{0} で \operatorname{E}(\bm x_i\bm x_i') の逆行列が存在すれば \bm \beta=\operatorname{E}(\bm x_i\bm x_i')^{-1}\operatorname{E}(\bm x_iy_i)

証明. u_i=y_i-\bm x_i'\bm \beta を代入すると \operatorname{E}(\bm x_i(y_i-\bm x_i'\bm \beta))=\boldsymbol{0} すなわち \operatorname{E}(\bm x_iy_i)=\operatorname{E}(\bm x_i\bm x_i')\bm \beta この連立方程式を \bm \beta について解けばよい．

4.2 MM（＝OLS）推定量

\bm \beta の MM（＝OLS）推定量を \bm b_n とすると \frac{1}{n}\sum_{i=1}^n\bm x_i(y_i-\bm x_i'\bm b_n)=\boldsymbol{0} すなわち \sum_{i=1}^n\bm x_iy_i=\sum_{i=1}^n\bm x_i\bm x_i'\bm b_n この連立方程式を \bm b_n について解くと \bm b_n=\left(\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1}\sum_{i=1}^n\bm x_iy_i

4.3 漸近演算（p. 152）

定理 5 (スルツキーの定理) \plim_{n \to \infty}X_n \to c で f(.) が c で連続なら \plim_{n \to \infty}f(X_n)=f(c)

証明. 省略（大学院レベル）．

注釈. すなわち \plim_{n \to \infty}f(X_n)=f\left(\plim_{n \to \infty}X_n\right)

定理 6 (クラーメルの定理) \plim_{n \to \infty}X_n \to c で Y_n \stackrel{d}{\longrightarrow}Y なら X_nY_n \stackrel{d}{\longrightarrow}cY

証明. 省略（大学院レベル）．

注釈. こちらをスルツキーの定理と呼ぶ場合もある．

例 1 例えば \plim_{n \to \infty}X_n \to c で Z_n \stackrel{d}{\longrightarrow}\mathrm{N}(0,1) なら X_nZ_n \stackrel{d}{\longrightarrow}\mathrm{N}\left(0,c^2\right)

定理 7 (連続写像定理) X_n \stackrel{d}{\longrightarrow}X で f(.) が連続なら f(X_n) \stackrel{d}{\longrightarrow}f(X)

証明. 省略（大学院レベル）．

例 2 例えば Z_n \stackrel{d}{\longrightarrow}\mathrm{N}(0,1) なら Z_n^2 \stackrel{d}{\longrightarrow}\chi^2(1)．

4.4 一致性（p. 156）

以下では無作為標本を仮定する．

定理 8 \operatorname{E}(\bm x_iu_i)=\boldsymbol{0} で \operatorname{E}(\bm x_i\bm x_i') の逆行列が存在すれば \plim_{n \to \infty}\bm b_n=\bm \beta

証明. 大数の法則より \begin{align*} \plim_{n \to \infty}\frac{1}{n}\sum_{i=1}^n\bm x_i\bm x_i' & =\operatorname{E}(\bm x_i\bm x_i') \\ \plim_{n \to \infty}\frac{1}{n}\sum_{i=1}^n\bm x_iy_i & =\operatorname{E}(\bm x_iy_i) \end{align*} スルツキーの定理より \begin{align*} \plim_{n \to \infty}\bm b_n & =\left(\plim_{n \to \infty}\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1} \plim_{n \to \infty}\sum_{i=1}^n\bm x_iy_i \\ & =\operatorname{E}(\bm x_i\bm x_i')^{-1}\operatorname{E}(\bm x_iy_i) \end{align*} \operatorname{E}(\bm x_iu_i)=\boldsymbol{0} よりこれは \bm \beta．

4.5 漸近正規性（p. 157）

補題 1 \operatorname{E}(\bm x_iu_i)=\boldsymbol{0} で \operatorname{var}(u_i|\bm x_i)=\sigma^2 なら \frac{1}{\sqrt{n}}\sum_{i=1}^n\bm x_iu_i \stackrel{d}{\longrightarrow}\mathrm{N}\left(\boldsymbol{0},\sigma^2\operatorname{E}(\bm x_i\bm x_i')\right)

証明. \operatorname{E}(\bm x_iu_i)=\boldsymbol{0} なので中心極限定理より \frac{1}{\sqrt{n}}\sum_{i=1}^n\bm x_iu_i \stackrel{d}{\longrightarrow}\mathrm{N}(\boldsymbol{0},\operatorname{var}(\bm x_iu_i)) 繰り返し期待値の法則より \begin{align*} \operatorname{var}(\bm x_iu_i) & =\operatorname{E}(\bm x_iu_i(\bm x_iu_i)') \\ & =\operatorname{E}\left(u_i^2\bm x_i\bm x_i'\right) \\ & =\operatorname{E}\left(\operatorname{E}\left(u_i^2\bm x_i\bm x_i'|\bm x_i\right)\right) \\ & =\operatorname{E}\left(\operatorname{E}\left(u_i^2|\bm x_i\right)\bm x_i\bm x_i'\right) \\ & =\operatorname{E}\left(\operatorname{var}(u_i|\bm x_i)\bm x_i\bm x_i'\right) \\ & =\operatorname{E}\left(\sigma^2\bm x_i\bm x_i'\right) \\ & =\sigma^2\operatorname{E}(\bm x_i\bm x_i') \end{align*}

定理 9 \operatorname{E}(\bm x_iu_i)=\boldsymbol{0} で \operatorname{E}(\bm x_i\bm x_i') の逆行列が存在し，\operatorname{var}(u_i|\bm x_i)=\sigma^2 なら \sqrt{n}(\bm b_n-\bm \beta) \stackrel{d}{\longrightarrow}\mathrm{N}\left(\boldsymbol{0},\sigma^2\operatorname{E}(\bm x_i\bm x_i')^{-1}\right)

証明. y_i=\bm x_i'\bm \beta+u_i より \begin{align*} \bm b_n & =\left(\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1} \sum_{i=1}^n\bm x_i(\bm x_i'\bm \beta+u_i) \\ & =\bm \beta+\left(\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1}\sum_{i=1}^n\bm x_iu_i \end{align*} 変形すると \sqrt{n}(\bm b_n-\bm \beta) =\left(\frac{1}{n}\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1} \frac{1}{\sqrt{n}}\sum_{i=1}^n\bm x_iu_i 大数の法則より \plim_{n \to \infty}\frac{1}{n}\sum_{i=1}^n\bm x_i\bm x_i'=\operatorname{E}(\bm x_i\bm x_i') 補題より \frac{1}{\sqrt{n}}\sum_{i=1}^n\bm x_iu_i \stackrel{d}{\longrightarrow}\mathrm{N}\left(\boldsymbol{0},\sigma^2\operatorname{E}(\bm x_i\bm x_i')\right) スルツキーの定理とクラーメルの定理より \left(\frac{1}{n}\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1} \frac{1}{\sqrt{n}}\sum_{i=1}^n\bm x_iu_i \stackrel{d}{\longrightarrow}\mathrm{N}\left(\boldsymbol{0},\sigma^2\operatorname{E}(\bm x_i\bm x_i')^{-1}\right)

注釈. したがって \bm b_n \stackrel{a}{\sim}\mathrm{N}\left(\bm \beta,\sigma^2(n\operatorname{E}(\bm x_i\bm x_i'))^{-1}\right) または \bm b_n|\{\bm x_i\} \stackrel{a}{\sim}\mathrm{N}\left( \bm \beta,\sigma^2\left(\sum_{i=1}^n\bm x_i\bm x_i'\right)^{-1} \right) すなわち OLS 推定量の漸近分布は古典的正規線形回帰モデルの場合と同じ．

まとめ

今日のキーワード

古典的正規線形回帰モデル，標準誤差， t値， F値

次回までの準備

提出：宿題 5，復習テスト 1–8
復習：教科書第 6 章 4–5 節，復習テスト 8
試験：(1) 教科書を読む (2) 用語の定義を覚える (3) 復習テストを自力で解く (4) 過去問に挑戦

脚注

IN は independent normal の略．↩︎