第3回　確率・確率変数・確率分布（3.1–3.2, 3.4）

目次

• 1 確率
  • 1.1 標本空間（p. 33）
  • 1.2 事象（p. 33）
  • 1.3 集合算（p. 36）
  • 1.4 確率（p. 34）
• 2 条件つき確率と事象の独立性
  • 2.1 条件つき確率（p. 39）
  • 2.2 事象の独立性（p. 41）
• 3 確率分布
  • 3.1 確率変数（p. 42）
  • 3.2 累積分布関数（p. 46）
  • 3.3 離散分布の確率質量関数（p. 44）
  • 3.4 連続分布の確率密度関数（p. 58）
• 4 期待値
  • 4.1 期待値（p. 46）
  • 4.2 確率変数の関数の期待値
  • 4.3 期待値の線形性（p. 55）
• 5 積率
  • 5.1 積率
  • 5.2 中心積率（p. 48）
• まとめ

今日のポイント

1. 試行において起こりうる結果を標本点，標本点全体の集合を標本空間，標本空間の部分集合を事象という．事象に対して定義され，確率の公理を満たす関数を確率という．
2. B が起こったという条件の下での A の条件つき確率は P(A|B):=P(A \cap B)/P(B)．P(A|B)=P(A) なら A と B は独立という．P(A \cap B)=P(A)P(B) で定義してもよい．
3. 試行の結果によって値が決まる変数を確率変数という．確率変数の分布を確率分布という．
4. 任意の x に対して \Pr[X \le x] を与える関数を X の累積分布関数（cdf），\Pr[X=x] を与える関数をXの確率質量関数（pmf），積分すると累積分布関数が得られる関数（累積分布関数の導関数）を確率密度関数（pdf）という．それぞれ F_X(.), p_X(.), f_X(.) で表す．
5. 確率変数 X の期待値は，離散なら \operatorname{E}(X):=\sum_xxp_X(x)，連続なら \operatorname{E}(X):=\int_{-\infty}^{\infty}xf_X(x)\mathrm{d}x．
6. 確率変数の特徴は積率で表せる．X の k 次の積率は \operatorname{E}\left(X^k\right)，中心積率は \operatorname{E}\left((X-\mu_X)^k\right)．1 次の積率を平均，2 次の中心積率を分散という．

1 確率

1.1 標本空間（p. 33）

定義 1 結果が偶然に支配される実験を 試行 という．

例 1 コイントス，サイコロ，電球の寿命，明日の天気．

定義 2 試行において起こりうる結果を 標本点 という．

定義 3 標本点全体の集合を 標本空間 という．

例 2 コイントスなら \{H,T\}， サイコロなら \{1,\dots,6\}， 電球の寿命なら (0,\infty)．

注釈. 標本点を \omega，標本空間を \Omega で表すことが多い．

1.2 事象（p. 33）

定義 4 標本空間の部分集合を 事象 という．

例 3 コイントスの事象は \emptyset,\{H\},\{T\},\Omega.

定義 5 空集合の事象を 空事象 という．

定義 6 標本空間全体の事象を 全事象 という．

定義 7 ただ 1 つの標本点から成る事象を 根元事象 という．

定義 8 複数の標本点から成る事象を 複合事象 という．

1.3 集合算（p. 36）

ある試行の事象を A,B,C とする．

定義 9 A \cup B を A と B の 和事象 という．

定義 10 A \cap B を A と B の 積事象 という．

定義 11 A \cap B=\emptyset なら A と B は 排反 という．

定義 12 A^c を A の 余事象 という．

定理 1 (交換法則) \begin{align*} A \cup B & =B \cup A \\ A \cap B & =B \cap A \end{align*}

定理 2 (結合法則) \begin{align*} (A \cup B) \cup C & =A \cup (B \cup C) \\ (A \cap B) \cap C & =A \cap (B \cap C) \end{align*}

定理 3 (分配法則) \begin{align*} A \cap (B \cup C) & =(A \cap B) \cup (A \cap C) \\ A \cup (B \cap C) & =(A \cup B) \cap (A \cup C) \end{align*}

定理 4 (ド・モルガンの法則) \begin{align*} (A \cup B)^c & =A^c \cap B^c \\ (A \cap B)^c & =A^c \cup B^c \end{align*}

1.4 確率（p. 34）

定義 13 事象に対して定義され，以下の公理を満たす関数 P(.) を 確率 という．

1. 0 \le P(.) \le 1
2. P(\Omega)=1
3. （\sigma 加法性）A_1,A_2,\dots が排反なら P\left(\bigcup_{i=1}^{\infty}A_i\right)=\sum_{i=1}^{\infty}P(A_i)

例 4 公正なコイントスなら P(A):=\begin{cases} 0 & \text{for $A=\emptyset$} \\ 1/2 & \text{for $A=\{H\},\{T\}$} \\ 1 & \text{for $A=\Omega$} \\ \end{cases}

定理 5 P(A)+P(A^c)=1

証明. 省略．

定理 6 P(\emptyset)=0

証明. 省略．

定理 7 A \subset B \Longrightarrow P(A) \le P(B)

証明. 省略．

定理 8 (加法定理) P(A \cup B)=P(A)+P(B)-P(A \cap B)

証明. ベン図で確認できる．

2 条件つき確率と事象の独立性

2.1 条件つき確率（p. 39）

ある試行の事象を A,B とする．

定義 14 B が起こったという条件の下での A の 条件つき確率 は P(A|B):=\frac{P(A \cap B)}{P(B)} ただし P(B)>0．

注釈. B を標本空間としたときの A \cap B の確率．

定理 9 (乗法定理) \begin{align*} P(A \cap B) & =P(A|B)P(B) \\ & =P(B|A)P(A) \end{align*}

証明. 条件つき確率の定義より明らか．

2.2 事象の独立性（p. 41）

定義 15 P(A|B)=P(A) なら A と B は 独立 という．

注釈. B において A \cap B が起こる確率と，\Omega において A が起こる確率が等しい．そのため B が起こったという情報が，A が起こる確率に影響しない．

注釈. 乗法定理より，以下の 3 つは同値． \begin{align*} P(A|B) & =P(A) \\ P(B|A) & =P(B) \\ P(A \cap B) & =P(A)P(B) \end{align*}

3 確率分布

3.1 確率変数（p. 42）

定義 16 試行の結果によって値が決まる変数を 確率変数 という．

例 5 コイントスに対して X:=\begin{cases} 1 & \text{（表）} \\ 0 & \text{（裏）} \\ \end{cases} とすれば X は確率変数．

定義 17 確率変数の分布を 確率分布 という．

注釈. 度数分布と似た概念．

3.2 累積分布関数（p. 46）

確率変数 X の確率分布を表現する．

定義 18 任意の x に対して \Pr[X \le x] を与える関数を X の 累積分布関数（cumulative distribution function, cdf） という．

注釈. F_X(.) で表す．すなわち F_X(x):=\Pr[X \le x]．

注釈. 弱い不等号 \le で定義する．

注釈. 度数分布の累積相対度数に相当．

例 6 X をサイコロの目の数とすると X:=\begin{cases} 1 & \text{with pr.\ 1/6} \\ \vdots & \\ 6 & \text{with pr.\ 1/6} \\ \end{cases} X の cdf は F_X(x)=\begin{cases} 0 & \text{for $x<1$} \\ 1/6 & \text{for $1 \le x<2$} \\ \vdots & \\ 5/6 & \text{for $5 \le x<6$} \\ 1 & \text{for $6 \le x$} \\ \end{cases} F_X(.) のグラフは 図 1 の通り．

図 1: サイコロの目の cdf

F_X(.) は以下の性質をもつ．

定理 10 (増加関数) x_1<x_2 \Longrightarrow F_X(x_1) \le F_X(x_2)

証明. 省略．

定理 11 \lim_{x \to -\infty}F_X(x)=0, \quad \lim_{x \to \infty}F_X(x)=1

証明. 省略．

定理 12 (右連続) 任意の x_0 において \lim_{x \downarrow x_0}F_X(x)=F_X(x_0)

証明. 省略．

注釈. 左連続とは限らない．

注釈. 逆に以上の性質をもつ F(.) は cdf．

3.3 離散分布の確率質量関数（p. 44）

定義 19 取りうる値の集合が可算である確率変数を 離散確率変数 という．

定義 20 離散確率変数の確率分布を 離散分布 という．

定義 21 任意の x に対して \Pr[X=x] を与える関数を X の 確率質量関数（probability mass function, pmf） という．

注釈. p_X(.) で表す．すなわち p_X(x):=\Pr[X=x]．

注釈. 度数分布の相対度数に相当．

注釈. cdf の定義より \begin{align*} F_X(x) & :=\Pr[X \le x] \\ & =\sum_{x' \le x}\Pr[X=x'] \\ & =\sum_{x' \le x}p_X(x') \end{align*} また \sum_xp_X(x)=1 逆にこれを満たす非負の p(.) は pmf．

例 7 X をサイコロの目の数とすると，X の pmf は p_X(x)=\begin{cases} 1/6 & \text{for $x=1,\dots,6$} \\ 0 & \text{elsewhere} \\ \end{cases} p_X(.) のグラフは 図 2 の通り．

図 2: サイコロの目の pmf

3.4 連続分布の確率密度関数（p. 58）

ルーレットの円周は非可算無限個の点から成る．この場合，個々の点で止まる確率は 0（無限小）なので，pmf は役に立たない．

定義 22 連続な cdf をもつ確率変数を 連続確率変数 という．

定義 23 連続確率変数の確率分布を 連続分布 という．

定義 24 任意の x について F_X(x)=\int_{-\infty}^xf_X(t)\mathrm{d}t となる f_X(.) を X の 確率密度関数（probability density function, pdf） という．

注釈. 任意の a,b について \Pr[a<X \le b]=\int_a^bf_X(x)\mathrm{d}x 図 3 を参照． また \int_{-\infty}^{\infty}f_X(x)\mathrm{d}x=1 逆にこれを満たす非負の f(.) はpdf．

図 3: pdfによる確率の評価の例：Pr[0<X≦1]

注釈. F_X(.) が微分可能なら，微分積分学の基本定理より f_X(x):=F_X'(x)

4 期待値

4.1 期待値（p. 46）

X を確率変数とする．

定義 25 X の 期待値 は \operatorname{E}(X):=\begin{cases} \sum_xxp_X(x) & \text{（離散）} \\ \int_{-\infty}^{\infty}xf_X(x)\mathrm{d}x & \text{（連続）} \\ \end{cases}

注釈. pmf・pdf を重みとした加重平均．

例 8 次の確率変数を考える． X:=\begin{cases} 1 & \text{with pr.\ $p$} \\ 0 & \text{with pr.\ $1-p$} \\ \end{cases} X の期待値は \begin{align*} \operatorname{E}(X) & :=1 \cdot p+0 \cdot (1-p) \\ & =p \end{align*}

4.2 確率変数の関数の期待値

定義 26 g(X) の 期待値 は \operatorname{E}(g(X)):=\begin{cases} \sum_xg(x)p_X(x) & \text{（離散）} \\ \int_{-\infty}^{\infty}g(x)f_X(x)\mathrm{d}x & \text{（連続）} \\ \end{cases}

4.3 期待値の線形性（p. 55）

定理 13 任意の a,b について \operatorname{E}(aX+b)=a\operatorname{E}(X)+b

証明. 復習テスト．

注釈. より一般的に (X,Y) の 2 変量分布について \operatorname{E}(aX+bY)=a\operatorname{E}(X)+b\operatorname{E}(Y)

5 積率

5.1 積率

定義 27 X の k 次の積率 は \mu_{X,k}:=\operatorname{E}\left(X^k\right)

定義 28 1 次の積率を 平均 という．

注釈. \mu_X と表す．

注釈. 確率変数の平均は期待値であり，データの（算術）平均とは異なる．

5.2 中心積率（p. 48）

定義 29 X の k 次の中心積率 は \mu'_{X,k}:=\operatorname{E}\left((X-\mu_X)^k\right)

定義 30 2 次の中心積率を 分散 という．

注釈. \operatorname{var}(X) と書く．すなわち \operatorname{var}(X):=\operatorname{E}\left((X-\mu_X)^2\right)

定義 31 分散の正の平方根を 標準偏差 という．

注釈. \sigma_X と表す．

例 9 次の確率変数を考える． X:=\begin{cases} 1 & \text{with pr.\ $p$} \\ 0 & \text{with pr.\ $1-p$} \\ \end{cases} \mu_X=p より X の分散は \begin{align*} \operatorname{var}(X) & :=(1-p)^2 \cdot p+(0-p)^2 \cdot (1-p) \\ & =p(1-p)^2+p^2(1-p) \\ & =p(1-p) \end{align*}

定理 14 \operatorname{var}(X)=\operatorname{E}\left(X^2\right)-\mu_X^2

証明. 復習テスト．

定理 15 任意の a,b について \operatorname{var}(aX+b)=a^2\operatorname{var}(X)

証明. 復習テスト．

まとめ

今日のキーワード

試行， 標本点， 標本空間， 事象， 空事象， 全事象， 根元事象， 複合事象， 和事象， 積事象， 排反， 余事象， 確率， 条件つき確率， 独立， 確率変数， 確率分布， 累積分布関数（cdf）， 離散確率変数， 離散分布， 確率質量関数（pmf）， 連続確率変数， 連続分布， 確率密度関数（pdf）， 期待値， 積率， 平均， 中心積率， 分散， 標準偏差

次回までの準備

• 復習：教科書第 3 章 1–2, 4 節，復習テスト 3
• 予習：教科書第 3 章 3, 5 節