第8回 チェビシェフの不等式，確率変数の変換（5.4–5.5）
今日のポイント
- マルコフ／チェビシェフの不等式は，分布の裾の確率の上限を与える．
- Y:=g(X) の分布は，X が離散なら pmf，連続なら cdf で導出する．
- [0,1] 上の一様乱数 U を F^{-1}(U) と変換した乱数の cdf は F(.)（逆関数法）．
1 チェビシェフの不等式
1.1 分布の裾の確率
確率変数 X の分布の裾の確率を求めたい（図 1）．
- 分布が既知なら cdf・pmf・pdf から \Pr[|X| \ge c] が正確に求まる．
- 分布が未知でも積率から \Pr[|X| \ge c] の上限が求まる．
1.2 マルコフの不等式
補題 1 (マルコフの不等式) 任意の c>0 について \Pr[|X| \ge c] \le \frac{\operatorname{E}(|X|)}{c}
証明. X が連続なら \begin{align*} c\Pr[|X| \ge c] & =c\int_{|x| \ge c}f_X(x)\mathrm{d}x \\ & =\int_{|x| \ge c}cf_X(x)\mathrm{d}x \\ & \le \int_{|x| \ge c}|x|f_X(x)\mathrm{d}x \\ & \le \int_{-\infty}^{\infty}|x|f_X(x)\mathrm{d}x \\ & =\operatorname{E}(|X|) \end{align*} 離散の場合も同様．
注釈. X の分布にかかわらず \Pr[|X| \ge c] の上限を与える．
1.3 チェビシェフの不等式（p. 104）
定理 1 (チェビシェフの不等式) 任意の c>0 について \Pr[|X-\mu_X| \ge c] \le \frac{\sigma_X^2}{c^2}
証明. マルコフの不等式より \begin{align*} \Pr[|X-\mu_X| \ge c] & =\Pr\left[|X-\mu_X|^2 \ge c^2\right] \\ & \le \frac{\operatorname{E}\left(|X-\mu_X|^2\right)}{c^2} \\ & =\frac{\operatorname{var}(X)}{c^2} \end{align*}
注釈. c が大きいときマルコフの不等式よりシャープな上限を与える． また大数の法則（第8章）の証明に用いる．
例 1 標準化変量を Z とすると偏差値は 10Z+50． 例えば
- |Z| \ge 2 \Longleftrightarrow 偏差値 30 以下か 70 以上
- |Z| \ge 3 \Longleftrightarrow 偏差値 20 以下か 80 以上
チェビシェフの不等式より \begin{align*} \Pr[|Z| \ge 2] & \le \frac{1}{4} \\ \Pr[|Z| \ge 3] & \le \frac{1}{9} \end{align*}
2 確率変数の変換
2.1 離散分布
X を離散確率変数，g(.) を1対1の関数とする． Y:=g(X) の分布を求めたい． Y の pmf は \begin{align*} p_Y(y) & :=\Pr[Y=y] \\ & =\Pr[g(X)=y] \\ & =\Pr\left[X=g^{-1}(y)\right] \\ & =p_X\left(g^{-1}(y)\right) \end{align*}
例 2 次の確率変数を考える． X:=\begin{cases} 1 & \text{with pr.\ $1/2$} \\ 0 & \text{with pr.\ $1/2$} \\ \end{cases} X の pmf は p_X(x)=\begin{cases} 1/2 & \text{for $x=0,1$} \\ 0 & \text{for $x \ne 0,1$} \\ \end{cases} Y:=2X とすると Y=\begin{cases} 2 & \text{with pr.\ $1/2$} \\ 0 & \text{with pr.\ $1/2$} \\ \end{cases} Y の pmf は \begin{align*} p_Y(y) & :=\Pr[Y=y] \\ & =\Pr[2X=y] \\ & =\Pr\left[X=\frac{y}{2}\right] \\ & =p_X\left(\frac{y}{2}\right) \\ & =\begin{cases} 1/2 & \text{for $y=0,2$} \\ 0 & \text{for $y \ne 0,2$} \\ \end{cases} \end{align*} X,Y の pmf のグラフは 図 2 の通り．
2.2 連続分布（p. 106）
X を連続確率変数，g(.) を1対1の関数とする． また g(.),F_X(.) は微分可能とする． Y:=g(X) の分布を求めたい． 連続確率変数の変換では，まず cdf を変換し，それから pdf を求める．
g(.) が厳密な増加関数なら，Y の cdfは \begin{align*} F_Y(y) & :=\Pr[Y \le y] \\ & =\Pr[g(X) \le y] \\ & =\Pr\left[X \le g^{-1}(y)\right] \\ & =F_X\left(g^{-1}(y)\right) \end{align*} pdf は \begin{align*} f_Y(y) & =F_Y'(y) \\ & =\mathrm{D}g^{-1}(y)f_X\left(g^{-1}(y)\right) \end{align*}
g(.) が厳密な減少関数なら，Y の cdf は \begin{align*} F_Y(y) & :=\Pr[Y \le y] \\ & =\Pr[g(X) \le y] \\ & =\Pr\left[X \ge g^{-1}(y)\right] \\ & =1-F_X\left(g^{-1}(y)\right) \end{align*} pdf は \begin{align*} f_Y(y) & =F_Y'(y) \\ & =-\mathrm{D}g^{-1}(y)f_X\left(g^{-1}(y)\right) \end{align*}
まとめると f_Y(y)=\left|\mathrm{D}g^{-1}(y)\right|f_X\left(g^{-1}(y)\right) \left|\mathrm{D}g^{-1}(y)\right|を変換のヤコビアンという． これがないと f_Y(.) を全範囲で積分しても 1 にならない．
例 3 X を [0,1] 上の一様確率変数とする． X の pdf は f_X(x)=\begin{cases} 1 & \text{for $x \in [0,1]$} \\ 0 & \text{for $x \notin [0,1]$} \\ \end{cases} Y:=2X とすると \begin{align*} F_Y(y) & :=\Pr[Y \le y] \\ & =\Pr[2X \le y] \\ & =\Pr\left[X \le \frac{y}{2}\right] \\ & =F_X\left(\frac{y}{2}\right) \\ f_Y(y) & =F_Y'(y) \\ & =\frac{1}{2}f_X\left(\frac{y}{2}\right) \\ & =\begin{cases} 1/2 & \text{for $y \in [0,2]$} \\ 0 & \text{for $y \notin [0,2]$} \\ \end{cases} \end{align*} X,Y の cdf と pdf のグラフは 図 3 の通り．
2.3 乱数の生成（p. 106）
確率分布（cdf）F(.) からの乱数を生成したい． 一様乱数はコンピューターで生成できる． U を [0,1] 上の一様確率変数とする． U の cdf は F_U(u):=\begin{cases} 0 & \text{for $u<0$} \\ u & \text{for $0 \le u \le 1$} \\ 1 & \text{for $u>1$} \\ \end{cases}
定理 2 X:=F^{-1}(U) の cdf は F(.)．
証明. F(.) は増加関数なので \begin{align*} F_X(x) & :=\Pr[X \le x] \\ & =\Pr[F^{-1}(U) \le x] \\ & =\Pr[U \le F(x)] \\ & =F_U(F(x)) \\ & =F(x) \end{align*}
定義 1 一様乱数 U を F^{-1}(U) と変換して F(.) からの乱数を生成する方法を逆関数法という．
例 4 x>0 について F(x):=1-\mathrm{e}^{-x} とすれば F(.) は cdf（指数分布）． F(.) の逆関数は F^{-1}(y)=-\ln(1-y) したがって U が一様乱数なら -\ln(1-U) は指数分布にしたがう．
まとめ
今日のキーワード
マルコフの不等式， チェビシェフの不等式， 確率変数の変換（離散・連続）， 変換のヤコビアン， 逆関数法
次回までの準備