第12回 分布の再生性，多変量正規分布（7.3–7.4）
今日のポイント
- 独立に正規分布にしたがう確率変数の和は正規分布（再生性）．
- 1変量から多変量に正規分布を拡張する．
- 多変量正規分布の線形変換は正規分布．したがって周辺分布も正規分布．多変量正規分布では独立\Longleftrightarrow無相関．また条件つき分布も正規分布．
1 分布の再生性
1.1 畳み込み（p. 150）
定義 1 独立な確率変数の和の分布を求めることを畳み込みという．
注釈. 畳み込みは mgf を用いるのが簡単．
定理 1 X と Y が独立なら M_{X+Y}(t)=M_X(t)M_Y(t)
証明. \begin{align*} M_{X+Y}(t) & :=\operatorname{E}\left(\mathrm{e}^{t(X+Y)}\right) \\ & =\operatorname{E}\left(\mathrm{e}^{tX}\mathrm{e}^{tY}\right) \\ & =\operatorname{E}\left(\mathrm{e}^{tX}\right)\operatorname{E}\left(\mathrm{e}^{tY}\right) \\ & =M_X(t)M_Y(t) \end{align*}
1.2 再生性（p. 151）
定義 2 畳み込んでも分布の型が変わらない性質を再生性という．
例 1 成功確率が等しい2項分布，ポアソン分布，正規分布．
定理 2 X \sim \mathrm{N}\left(\mu_X,\sigma_X^2\right) と Y \sim \mathrm{N}\left(\mu_Y,\sigma_Y^2\right) が独立なら X+Y \sim \mathrm{N}\left(\mu_X+\mu_Y,\sigma_X^2+\sigma_Y^2\right)
証明. 前定理より，X+Y の mgf は \begin{align*} M_{X+Y}(t) & =M_X(t)M_Y(t) \\ & =\exp\left(\mu_Xt+\frac{\sigma_X^2t^2}{2}\right)\exp\left(\mu_Yt+\frac{\sigma_Y^2t^2}{2}\right) \\ & =\exp\left((\mu_X+\mu_Y)t+\frac{\left(\sigma_X^2+\sigma_Y^2\right)t^2}{2}\right) \end{align*} これは \mathrm{N}\left(\mu_X+\mu_Y,\sigma_X^2+\sigma_Y^2\right) の mgf．
2 行列
2.1 行列とベクトル
定義 3 m \times n 行列は \bm A:=\begin{bmatrix} a_{1,1} & \ldots & a_{1,n} \\ \vdots & & \vdots \\ a_{m,1} & \ldots & a_{m,n} \\ \end{bmatrix}
注釈. \bm A:=[a_{i,j}] とも書く．
定義 4 1 \times n 行列を（n 次元）行ベクトルという．
定義 5 n \times 1 行列を（n 次元）列ベクトルという．
2.2 ベクトルの内積
\bm x,\bm y を n 次元列ベクトルとする．
定義 6 \bm x と \bm y の内積は (\bm x,\bm y):=\sum_{i=1}^nx_iy_i
注釈. \bm x\cdot \bm y，\bm x'\bm y とも書く．
2.3 行列の演算
\bm A,\bm B を行列とする．
定義 7 m \times n 行列 \bm A,\bm B の各 (i,j) 成分について a_{i,j}=b_{i,j} なら \bm A と \bm B は等しいという．
定義 8 m \times n 行列 \bm A,\bm B の和は \bm A+\bm B:=[a_{i,j}+b_{i,j}]
定義 9 スカラー \alpha と \bm A のスカラー積は \alpha\bm A:=[\alpha a_{i,j}]
定義 10 l \times m 行列 \bm A と m \times n 行列 \bm B の積は \bm A\bm B:=[(\bm a_{i,.},\bm b_{.,j})]
注釈. 一般に \bm A\bm B\ne \bm B\bm A．そもそも l \ne n なら \bm B\bm A は定義できない．
定義 11 \bm A の転置は \bm A':=[a_{j,i}]
2.4 行列と連立1次方程式
n 個の未知変数 x_1,\dots,x_n をもつ m 本の連立1次方程式は \begin{align*} a_{1,1}x_1+\dots+a_{1,n}x_n & =b_1 \\ & \vdots \\ a_{m,1}x_1+\dots+a_{m,n}x_n & =b_m \end{align*} 次の行列・ベクトルを定義する． \begin{align*} \bm A & :=\begin{bmatrix} a_{1,1} & \ldots & a_{1,n} \\ \vdots & & \vdots \\ a_{m,1} & \ldots & a_{m,n} \\ \end{bmatrix}, \quad \bm x:=\begin{pmatrix} x_1 \\ \vdots \\ x_n \\ \end{pmatrix}, \quad \bm b:=\begin{pmatrix} b_1 \\ \vdots \\ b_m \\ \end{pmatrix} \end{align*} 連立1次方程式は \bm A\bm x=\bm b
3 行列式と逆行列
3.1 正方行列
定義 12 n \times n 行列を n 次正方行列という．
定義 13 \bm A'=\bm A なら \bm A は対称という．
定義 14 （n 次）単位行列は \bm I_n:=\begin{bmatrix} 1 & & 0 \\ & \ddots & \\ 0 & & 1 \\ \end{bmatrix}
3.2 行列式
\bm A を n 次正方行列とする．
定義 15 \bm A の行列式は \det(\bm A):=\sum_{p(.) \in P}\operatorname{sgn}(p(.))a_{1,p(1)} \dots a_{n,p(n)} ただし P は \{1,\dots,n\} のすべての置換（順列）の集合，\operatorname{sgn}(.) は置換の符号を表す（偶置換なら +1，奇置換なら -1）．
例 2 n=2 なら P=\{(1,2),(2,1)\} より \det(\bm A)=a_{1,1}a_{2,2}-a_{1,2}a_{2,1} 2元連立1次方程式は \begin{align*} a_{1,1}x_1+a_{1,2}x_2 & =b_1 \\ a_{2,1}x_1+a_{2,2}x_2 & =b_2 \end{align*} または \bm A\bm x=\bm b x_1 を消去すると (a_{1,2}a_{2,1}-a_{1,1}a_{2,2})x_2=a_{2,1}b_1-a_{1,1}b_2 x_2 を消去すると (a_{1,1}a_{2,2}-a_{1,2}a_{2,1})x_1=a_{2,2}b_1-a_{1,2}b_2 したがって解の存在の必要十分条件は \det(\bm A) \ne 0．
3.3 逆行列
定義 16 \bm A\bm B=\bm B\bm A=\bm I_n となる \bm B を \bm A の逆行列という．
注釈. \bm A の逆行列を \bm A^{-1} と書く．
注釈. 連立1次方程式 \bm A\bm x=\bm b の解は \bm x=\bm A^{-1}\bm b．
練習 1 n=2 なら \bm A^{-1}=\frac{1}{\det(\bm A)}\begin{bmatrix} a_{2,2} & -a_{1,2} \\ -a_{2,1} & a_{1,1} \\ \end{bmatrix} となることを確かめなさい．
4 多変量正規分布
4.1 確率ベクトル
多変量解析1では太字の大文字で行列，太字の小文字でベクトル，細字の小文字でスカラーを表し，確率変数とその実現値の表記を区別しない．\bm x を n 次元確率ベクトルとする．
定義 17 \bm x の平均ベクトルは \operatorname{E}(\bm x):=\begin{pmatrix} \operatorname{E}(x_1) \\ \vdots \\ \operatorname{E}(x_n) \\ \end{pmatrix}
注釈. \bm \mu と表す．
定義 18 \bm x の分散共分散行列は \operatorname{var}(\bm x):=\operatorname{E}((\bm x-\operatorname{E}(\bm x))(\bm x-\operatorname{E}(\bm x))')
注釈. \bm \Sigma と表す．
注釈. \bm \Sigma の (i,j) 成分は \sigma_{i,j}=\operatorname{cov}(x_i,x_j)．
4.2 多変量標準正規分布（p. 146）
定義 19 n 変量標準正規分布の同時 pdf は，任意の \bm z\in \mathbb{R}^n について f(\bm z):=(2\pi)^{-n/2}\exp\left(-\frac{\bm z'\bm z}{2}\right)
定理 3 \bm z が n 変量標準正規分布にしたがうなら，z_1,\dots,z_n は独立な \mathrm{N}(0,1) にしたがう．
証明. \bm z の同時 pdf を式変形すると \begin{align*} f(\bm z) & =(2\pi)^{-n/2}\exp\left(-\frac{z_1^2+\dots+z_n^2}{2}\right) \\ & =(2\pi)^{-n/2}\exp\left(-\frac{z_1^2}{2}\right)\dotsm \exp\left(-\frac{z_n^2}{2}\right) \\ & =\frac{1}{\sqrt{2\pi}}\mathrm{e}^{-z_1^2/2}\dotsm \frac{1}{\sqrt{2\pi}}\mathrm{e}^{-z_n^2/2} \\ & =\phi(z_1)\dotsm\phi(z_n) \end{align*} したがって z_1,\dots,z_n は独立な \mathrm{N}(0,1)．
系 1 \bm z が n 変量標準正規分布にしたがうなら \begin{align*} \operatorname{E}(\bm z) & =\boldsymbol{0}\\ \operatorname{var}(\bm z) & =\bm I_n \end{align*}
4.3 多変量正規分布（p. 147）
定義 20 n 変量正規分布の同時 pdf は，任意の \bm x\in \mathbb{R}^n について f(\bm x):=(2\pi)^{-n/2}\det(\bm \Sigma)^{-1/2}\exp\left(-\frac{1}{2}(\bm x-\bm \mu)'\bm \Sigma^{-1}(\bm x-\bm \mu)\right) ただし \bm \Sigma は対称行列．
注釈. \mathrm{N}(\bm \mu,\bm \Sigma) と書く．\mathrm{N}(\boldsymbol{0},\bm I_n) は n 変量標準正規分布．
注釈. n=2 なら \bm x:=\begin{pmatrix} x_1 \\ x_2 \\ \end{pmatrix}, \quad \bm \mu:=\begin{pmatrix} \mu_1 \\ \mu_2 \\ \end{pmatrix}, \quad \bm \Sigma:=\begin{bmatrix} \sigma_1^2 & \sigma_{12} \\ \sigma_{21} & \sigma_2^2 \\ \end{bmatrix} 行列式と逆行列は \begin{align*} \det(\bm \Sigma) & =\sigma_1^2\sigma_2^2-\sigma_{12}^2 \\ \bm \Sigma^{-1} & =\frac{1}{\sigma_1^2\sigma_2^2-\sigma_{12}^2}\begin{bmatrix} \sigma_2^2 & -\sigma_{12} \\ -\sigma_{12} & \sigma_1^2 \\ \end{bmatrix} \end{align*} 指数部は楕円の方程式．
例 3 2 変量正規分布の同時 pdf（3Dグラフ・等高線）と 2 変量正規乱数の散布図は 図 1 の通り．
4.4 積率
\bm x を n 次元確率ベクトルとする．
定義 21 \bm x の積率母関数（mgf）は M_{\bm x}(\bm t):=\operatorname{E}\left(\mathrm{e}^{\bm t'\bm x}\right)
定理 4 \mathrm{N}(\bm \mu,\bm \Sigma) の mgf は，任意の \bm t\in \mathbb{R}^n について M(\bm t)=\exp\left(\bm \mu'\bm t+\frac{\bm t'\bm \Sigma\bm t}{2}\right)
証明. 省略．
定理 5 \bm x\sim \mathrm{N}(\bm \mu,\bm \Sigma) なら \begin{align*} \operatorname{E}(\bm x) & =\bm \mu\\ \operatorname{var}(\bm x) & =\bm \Sigma \end{align*}
証明. mgf を用いるのが簡単．
5 多変量正規分布の性質
5.1 線形変換
定理 6 \bm x\sim \mathrm{N}(\bm \mu,\bm \Sigma) なら \bm A\bm x+\bm b\sim \mathrm{N}(\bm A\bm \mu+\bm b,\bm A\bm \Sigma\bm A')
証明. \bm A\bm x+\bm b の mgf は \begin{align*} M_{\bm A\bm x+\bm b}(\bm t) & :=\operatorname{E}\left(\mathrm{e}^{\bm t'(\bm A\bm x+\bm b)}\right) \\ & =\operatorname{E}\left(\mathrm{e}^{\bm t'\bm A\bm x}\right)\mathrm{e}^{\bm t'\bm b} \\ & =M_{\bm x}(\bm A'\bm t)\mathrm{e}^{\bm b'\bm t} \\ & =\exp\left(\bm \mu'(\bm A'\bm t)+\frac{(\bm A'\bm t)'\bm \Sigma(\bm A'\bm t)}{2}\right) \mathrm{e}^{\bm b'\bm t} \\ & =\exp\left((\bm A\bm \mu+\bm b)'\bm t+\frac{\bm t'(\bm A\bm \Sigma\bm A')\bm t}{2}\right) \end{align*} これは \mathrm{N}(\bm A\bm \mu+\bm b,\bm A\bm \Sigma\bm A') の mgf．
系 2 \bm x\sim \mathrm{N}(\bm \mu,\bm \Sigma) なら i=1,\dots,n について x_i \sim \mathrm{N}\left(\mu_i,\sigma_i^2\right)
証明. 前定理において \begin{align*} \bm A& :=(1,0,\dots,0) \\ \bm b& :=0 \end{align*} などとすればよい．
5.2 独立と無相関
定理 7 \bm x\sim \mathrm{N}(\bm \mu,\bm \Sigma) なら \text{$x_1,\dots,x_n$ は独立} \Longleftrightarrow \text{$x_1,\dots,x_n$ は無相関}
証明. 「\Longrightarrow」 すでに見た（正規分布でなくても成立）． 「\Longleftarrow」 無相関なので \bm \Sigma は対角． したがって \begin{align*} \det(\bm \Sigma) & =\sigma_1^2\dotsm\sigma_n^2 \\ \bm \Sigma^{-1} & =\begin{bmatrix} 1/\sigma_1^2 & & 0 \\ & \ddots & \\ 0 & & 1/\sigma_n^2 \\ \end{bmatrix} \end{align*} 同時 pdf に代入すると，任意の \bm x\in \mathbb{R}^n について \begin{align*} f(\bm x) & :=(2\pi)^{-n/2}\det(\bm \Sigma)^{-1/2}\exp\left(-\frac{1}{2}(\bm x-\bm \mu)'\bm \Sigma^{-1}(\bm x-\bm \mu)\right) \\ & =(2\pi)^{-n/2}\left(\sigma_1^2\dotsm\sigma_n^2\right)^{-1/2} \exp\left(-\frac{1}{2}\sum_{i=1}^n\frac{(x_i-\mu_i)^2}{\sigma_i^2}\right) \\ & =(2\pi)^{-1/2}\left(\sigma_1^2\right)^{-1/2}\exp\left(-\frac{(x_1-\mu_1)^2}{2\sigma_1^2}\right)\dotsm (2\pi)^{-1/2}\left(\sigma_n^2\right)^{-1/2}\exp\left(-\frac{(x_n-\mu_n)^2}{2\sigma_n^2}\right) \\ & =f_1(x_1) \dotsm f_n(x_n) \end{align*} ただし f_1(.),\dots,f_n(.) は x_1,\dots,x_n の周辺 pdf．
5.3 条件つき分布
定理 8 (\bm x_1',\bm x_2')' \sim \mathrm{N}(\bm \mu,\bm \Sigma) なら \bm x_1|\bm x_2 \sim \mathrm{N}\left(\bm \mu_{1|2},\bm \Sigma_{11|2}\right) ただし \begin{align*} \bm \mu_{1|2} & :=\bm \mu_1+\bm \Sigma_{12}\bm \Sigma_{22}^{-1}(\bm x_2-\bm \mu_2) \\ \bm \Sigma_{11|2} & :=\bm \Sigma_{11}-\bm \Sigma_{12}\bm \Sigma_{22}^{-1}\bm \Sigma_{21} \end{align*}
証明. 条件つき pdf の定義より f_{1|2}(\bm x_1|\bm x_2):=\frac{f_{1,2}(\bm x_1,\bm x_2)}{f_2(\bm x_2)} これをひたすら計算する（かなり面倒）．
注釈. この結果が回帰分析の理論的基礎となる．
まとめ
今日のキーワード
平均ベクトル， 分散共分散行列， n変量標準正規分布， n変量正規分布， 正規分布の性質（線形変換，周辺分布，独立と無相関，条件つき分布）， 畳み込み， 再生性（2項分布，ポアソン分布，正規分布）
次回までの準備
脚注
多変量解析は回帰分析・主成分分析・因子分析・判別分析などを含む多変量データの分析手法の総称であり，多変量正規分布の理論を基礎とする．↩︎