第11回 多変量分布（7.1–7.2）
今日のポイント
- (X,Y) の同時 cdf は F_{X,Y}(x,y):=\Pr[X \le x,Y \le y]．X または Y のみの cdf を周辺 cdf という．(X,Y) の同時 pmf は p_{X,Y}(x,y):=\Pr[X=x,Y=y]．X または Y のみの pmf を周辺 pmf という．多重積分すると同時 cdf が得られる関数（同時 cdf の交差偏導関数）を同時 pdf という．
- g(X,Y) の期待値は，(X,Y) が離散なら \sum_x\sum_yg(x,y)p_{X,Y}(x,y)， 連続なら \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y．X と Y の共分散は \operatorname{cov}(X,Y):=\operatorname{E}((X-\operatorname{E}(X))(Y-\operatorname{E}(Y)))．標準化した確率変数の共分散を相関係数という．
- Y=y が与えられたときの X の条件付き pmf は p_{X|Y}(x|Y=y):=p_{X,Y}(x,y)/p_Y(y)，条件付き pdf は f_{X|Y}(x|Y=y):=f_{X,Y}(x,y)/f_Y(y)．Y=y が与えられたときの X の条件付き期待値 \operatorname{E}(X|Y=y) は，X が離散なら \sum_xxp_{X|Y}(x|Y=y)，連続なら \int_{-\infty}^{\infty}xf_{X|Y}(x|Y=y)\mathrm{d}x．p_{X|Y}(x|Y=y)=p_X(x) または f_{X|Y}(x|Y=y)=f_X(x) なら X と Y は独立という．
1 多変数関数の微分
1.1 偏微分
2変数関数 z=f(x,y) において，1つの独立変数のみに注目し，他の独立変数を定数とみなした微分を考える．
定義 1 (x,y) における f(.,.) の x に関する偏微分係数は f_x(x,y):=\lim_{h \to 0}\frac{f(x+h,y)-f(x,y)}{h}
定義 2 f_x(.,.) を f(.,.) の x に関する偏導関数という．
注釈. \mathrm{D}_xf(.,.), \partial f/\partial x(.,.) などとも表記する．
定義 3 偏導関数を求めることを関数の偏微分という．
1.2 2階偏微分
定義 4 偏導関数の偏導関数を2階偏導関数という．
注釈. f_{xx}(.,.), \mathrm{D}^2_{xx}f(.,.), \partial^2f/\partial x^2(.,.) などと表記する．
定義 5 x に関する偏導関数 f_x(.,.) の y に関する偏導関数を x と y に関する交差偏導関数という．
注釈. f_{xy}(.,.), \mathrm{D}^2_{xy}f(.,.), \partial^2f/\partial x\partial y(.,.) などと表記する．
定理 1 (ヤングの定理) f_{xy}(.,.), f_{yx}(.,.) が連続なら f_{xy}(.,.)=f_{yx}(.,.)
2 多変数関数の積分
2.1 累次積分
2変数関数 z=f(x,y) の矩形 [a,b] \times [c,d] 上の定積分を考える．このとき積分の順番は2通りある．
- y を所与として f(.,y) の区間 [a,b] 上の定積分は F(y):=\int_a^bf(x,y)\mathrm{d}x F(.) の区間 [c,d] 上の定積分は \int_c^dF(y)\mathrm{d}y=\int_c^d\int_a^bf(x,y)\mathrm{d}x\mathrm{d}y
- x を所与として f(x,.) の区間 [c,d] 上の定積分は G(x):=\int_c^df(x,y)\mathrm{d}y G(.) の区間 [a,b] 上の定積分は \int_a^bG(x)\mathrm{d}x=\int_a^b\int_c^df(x,y)\mathrm{d}y\mathrm{d}x
矩形 [a,b] \times [c,d] 上で f(.,.) が連続なら両者は等しい．すなわち \int_c^d\int_a^bf(x,y)\mathrm{d}x\mathrm{d}y=\int_a^b\int_c^df(x,y)\mathrm{d}y\mathrm{d}x
2.2 重積分
2つの累次積分が等しければ定積分は一意に定まる．すなわち \begin{align*} \iint_{[a,b] \times [c,d]}f(x,y)\mathrm{d}x\mathrm{d}y & =\int_c^d\int_a^bf(x,y)\mathrm{d}x\mathrm{d}y \\ & =\int_a^b\int_c^df(x,y)\mathrm{d}y\mathrm{d}x \end{align*}
注釈. 矩形 [a,b] \times [c,d] 上で z=0 と z=f(x,y) に挟まれた領域の体積を表す．
3 同時分布と周辺分布
3.1 累積分布関数
(X,Y) を確率ベクトルとする．
定義 6 (X,Y) の同時（結合）cdf は，任意の (x,y) について F_{X,Y}(x,y):=\Pr[X \le x,Y \le y]
例 1 F_{X,Y}(.,.) のグラフの例 図 1．
定義 7 X の周辺 cdf は，任意の x について F_X(x):=\Pr[X \le x]
注釈. 同時 cdf と周辺 cdf の関係は \begin{align*} F_X(x) & :=\Pr[X \le x] \\ & =\Pr[X \le x,Y<\infty] \\ & =F_{X,Y}(x,\infty) \end{align*}
3.2 確率質量関数（p. 134）
(X,Y) を離散確率ベクトルとする．
定義 8 (X,Y) の同時（結合）pmf は，任意の (x,y) について p_{X,Y}(x,y):=\Pr[X=x,Y=y]
定義 9 X の周辺 pmf は，任意の x について p_X(x):=\Pr[X=x]
注釈. 同時 pmf と周辺 pmf の関係は p_X(x)=\sum_yp_{X,Y}(x,y)
例 2 2つのサイコロを投げたときの大きい目（X）と小さい目（Y）の同時分布 表 1．
| X \backslash Y | 1 | 2 | 3 | 4 | 5 | 6 | 計 |
|---|---|---|---|---|---|---|---|
| 1 | 1/36 | 0 | 0 | 0 | 0 | 0 | 1/36 |
| 2 | 2/36 | 1/36 | 0 | 0 | 0 | 0 | 3/36 |
| 3 | 2/36 | 2/36 | 1/36 | 0 | 0 | 0 | 5/36 |
| 4 | 2/36 | 2/36 | 2/36 | 1/36 | 0 | 0 | 7/36 |
| 5 | 2/36 | 2/36 | 2/36 | 2/36 | 1/36 | 0 | 9/36 |
| 6 | 2/36 | 2/36 | 2/36 | 2/36 | 2/36 | 1/36 | 11/36 |
| 計 | 11/36 | 9/36 | 7/36 | 5/36 | 3/36 | 1/36 | 1 |
3.3 確率密度関数（p. 135）
(X,Y) を連続確率ベクトルとする．
定義 10 任意の (x,y) について F_{X,Y}(x,y)=\int_{-\infty}^x\int_{-\infty}^yf_{X,Y}(s,t)\mathrm{d}s\mathrm{d}t となる f_{X,Y}(.,.) を (X,Y) の同時（結合）pdf という．
注釈. 任意の a,b,c,d について \Pr[a<X \le b,c<Y \le d]=\int_c^d\int_a^bf_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y
注釈. F_{X,Y}(.,.) が微分可能なら f_{X,Y}(x,y)=\frac{\partial^2F_{X,Y}}{\partial x\partial y}(x,y)
例 3 f_{X,Y}(.,.) のグラフの例 図 2．
定義 11 X の周辺 pdf は，任意の x について f_X(x):=\int_{-\infty}^{\infty}f_{X,Y}(x,y)\mathrm{d}y
4 積率
4.1 期待値
定義 12 g(X,Y) の期待値は \begin{align*} \operatorname{E}(g(X,Y)) & :=\begin{cases} \sum_x\sum_yg(x,y)p_{X,Y}(x,y) & \text{（離散）} \\ \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y & \text{（連続）} \\ \end{cases} \end{align*}
定理 2 (期待値の線形性) \operatorname{E}(aX+bY)=a\operatorname{E}(X)+b\operatorname{E}(Y)
証明. 復習テスト．
4.2 共分散（p. 136）
定義 13 X と Y の共分散は \operatorname{cov}(X,Y):=\operatorname{E}((X-\operatorname{E}(X))(Y-\operatorname{E}(Y)))
注釈. \sigma_{XY} と表す．
注釈. X が大きいと Y も大きいなら共分散は正，X が大きいと Y は小さいなら共分散は負．
定理 3 \operatorname{cov}(X,Y)=\operatorname{E}(XY)-\operatorname{E}(X)\operatorname{E}(Y)
証明. 復習テスト．
補題 1 \operatorname{cov}(X,Y+Z)=\operatorname{cov}(X,Y)+\operatorname{cov}(X,Z)
証明. \begin{align*} \operatorname{cov}(X,Y+Z) & :=\operatorname{E}((X-\operatorname{E}(X))(Y+Z-\operatorname{E}(Y+Z))) \\ & =\operatorname{E}((X-\operatorname{E}(X))(Y-\operatorname{E}(Y)+Z-\operatorname{E}(Z))) \\ & =\operatorname{E}((X-\operatorname{E}(X))(Y-\operatorname{E}(Y)))+\operatorname{E}((X-\operatorname{E}(X))(Z-\operatorname{E}(Z))) \\ & =\operatorname{cov}(X,Y)+\operatorname{cov}(X,Z) \end{align*}
補題 2 \operatorname{cov}(aX,bY)=ab\operatorname{cov}(X,Y)
証明. \begin{align*} \operatorname{cov}(aX,bY) & :=\operatorname{E}((aX-\operatorname{E}(aX))(bY-\operatorname{E}(bY))) \\ & =\operatorname{E}((aX-a\operatorname{E}(X))(bY-b\operatorname{E}(Y))) \\ & =\operatorname{E}(a(X-\operatorname{E}(X))b(Y-\operatorname{E}(Y))) \\ & =ab\operatorname{E}((X-\operatorname{E}(X))(Y-\operatorname{E}(Y))) \\ & =ab\operatorname{cov}(X,Y) \end{align*}
定理 4 \operatorname{var}(aX+bY)=a^2\operatorname{var}(X)+2ab\operatorname{cov}(X,Y)+b^2\operatorname{var}(Y)
証明. 前2補題より \begin{align*} \operatorname{var}(aX+bY) & =\operatorname{cov}(aX+bY,aX+bY) \\ & =\operatorname{cov}(aX+bY,aX)+\operatorname{cov}(aX+bY,bY) \\ & =\operatorname{cov}(aX,aX)+\operatorname{cov}(bY,aX)+\operatorname{cov}(aX,bY)+\operatorname{cov}(bY,bY) \\ & =a^2\operatorname{cov}(X,X)+ab\operatorname{cov}(Y,X)+ab\operatorname{cov}(X,Y)+b^2\operatorname{cov}(Y,Y) \\ & =a^2\operatorname{var}(X)+2ab\operatorname{cov}(X,Y)+b^2\operatorname{var}(Y) \end{align*}
4.3 相関係数（p. 137）
定義 14 標準化した確率変数の共分散を相関係数という．
注釈. すなわち X と Y の相関係数は \operatorname{corr}(X,Y) :=\operatorname{cov}\left(\frac{X-\mu_X}{\sigma_X},\frac{Y-\mu_Y}{\sigma_Y}\right)
注釈. \rho_{XY} と表す．
注釈. X と Y の関係の強さを表す．
定理 5 \rho_{XY}=\frac{\sigma_{XY}}{\sigma_X\sigma_Y}
証明. \begin{align*} \rho_{XY} & :=\operatorname{cov}\left(\frac{X-\mu_X}{\sigma_X},\frac{Y-\mu_Y}{\sigma_Y}\right) \\ & =\operatorname{E}\left(\frac{X-\mu_X}{\sigma_X}\frac{Y-\mu_Y}{\sigma_Y}\right) \\ & =\frac{\operatorname{E}((X-\mu_X)(Y-\mu_Y))}{\sigma_X\sigma_Y} \\ & =\frac{\sigma_{XY}}{\sigma_X\sigma_Y} \end{align*}
定義 15 \rho_{XY}=0 なら X と Y は無相関という．
定理 6 (コーシー＝シュワルツの不等式) |\operatorname{cov}(X,Y)| \le \operatorname{var}(X)^{1/2}\operatorname{var}(Y)^{1/2}
証明. 教科書 p. 138 参照．
系 1 |\rho_{XY}| \le 1
5 条件付き分布と確率変数の独立性
5.1 条件付き分布（p. 141）
定義 16 Y \le y が与えられたときの X の条件付き cdf は， 任意の x について F_{X|Y}(x|Y \le y):=\frac{F_{X,Y}(x,y)}{F_Y(y)}
注釈. 条件付き確率で定義する．
定義 17 Y=y が与えられたときの X の条件付き pmf は，任意の x について p_{X|Y}(x|Y=y):=\frac{p_{X,Y}(x,y)}{p_Y(y)}
定義 18 Y=y が与えられたときの X の条件付き pdf は，任意の x について f_{X|Y}(x|Y=y):=\frac{f_{X,Y}(x,y)}{f_Y(y)}
注釈. 条件付き確率と同様に定義する．
定義 19 Y=y が与えられたときの X の条件付き期待値は \operatorname{E}(X|Y=y):=\begin{cases} \sum_xxp_{X|Y}(x|Y=y) & \text{（離散）} \\ \int_{-\infty}^{\infty}xf_{X|Y}(x|Y=y)\mathrm{d}x & \text{（連続）} \\ \end{cases}
定義 20 Y=y が与えられたときの X の条件付き分散は \operatorname{var}(X|Y=y):=\operatorname{E}\left((X-\operatorname{E}(X|Y=y))^2|Y=y\right)
5.2 確率変数の独立性（p. 143）
定義 21 任意の (x,y) について f_{X|Y}(x|Y=y)=f_X(x) なら X と Y は独立という．
注釈. 条件付き pdf の定義より f_{X|Y}(x|Y=y)=f_X(x) \Longleftrightarrow f_{X,Y}(x,y)=f_X(x)f_Y(y)
定義 22 任意の (x_1,\dots,x_n) について f_{X_1,\dots,X_n}(x_1,\dots,x_n)=f_{X_1}(x_1) \dotsm f_{X_n}(x_n) なら X_1,\dots,X_n は独立という．
注釈. cdf で定義してもよい．
定理 7 X と Y が独立なら，任意の f(.) と g(.) について \operatorname{E}(f(X)g(Y))=\operatorname{E}(f(X))\operatorname{E}(g(Y))
証明. (X,Y) が連続なら \begin{align*} \operatorname{E}(f(X)g(Y)) & :=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f(x)g(y)f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y \\ & =\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f(x)g(y)f_X(x)f_Y(y)\mathrm{d}x\mathrm{d}y \\ & =\int_{-\infty}^{\infty}f(x)f_X(x)\mathrm{d}x \int_{-\infty}^{\infty}g(y)f_Y(y)\mathrm{d}y \\ & =\operatorname{E}(f(X))\operatorname{E}(g(Y)) \end{align*} 離散の場合も同様．
系 2 X と Y が独立なら \operatorname{cov}(X,Y)=0
注釈. すなわち独立なら無相関．逆は必ずしも成立しない．
まとめ
今日のキーワード
同時 cdf， 周辺 cdf， 同時 pmf， 周辺 pmf， 同時 pdf， 周辺 pdf， 期待値の線形性， 共分散， 確率変数の線形結合の分散， 相関係数， 条件付き cdf， 条件付き pmf， 条件付き pdf， 条件付き期待値， 条件付き分散， 確率変数の独立性， 独立と無相関
次回までの準備