【統計学】離散分布　確率質量関数　同時分布・周辺分布・条件付き分布

離散確率変数のもつ確率質量関数についてみていく。

確率質量関数の定義を与えて、同時確率質量関数や条件付き確率質量関数などを具体例とともに解説する。

確率密度関数については以下を参照されたい。

: 【統計学】連続分布　確率密度関数　同時分布・周辺分布・条件付き分布
連続確率変数のもつ確率密度関数についてみていく。確率密度関数の定義を与えて、同時確率密度関数や条件付き確率密度関数などを具体例とともに解説する。確率密度関数については以下を参照されたい。確率密度 ...
続きを見る

確率質量関数

定義1　確率質量関数

確率質量関数

\(X\)を離散確率変数とする。次の関数\(f(x)\)を\(X\)の確率質量関数と呼ぶ。

\begin{align}\label{eq1} f(x) = \mathrm{Pr}\{X = x\}\tag{1}\end{align}

例えば、10枚のコインを投げた時に表が出る回数の確率変数を\(X\)とすると、確率質量関数は次で与えることができる。

\begin{gather}f(0) = \cfrac{1}{1024}, \quad f(1) = \cfrac{5}{512}, \quad f(2) = \cfrac{45}{1024}, \quad f(3) = \cfrac{15}{128}, \quad f(4) = \cfrac{105}{512},\quad f(5) = \cfrac{63}{256},\\ f(6) = \cfrac{105}{512}, \quad f(7) = \cfrac{15}{128}, \quad f(8) = \cfrac{45}{1024}, \quad f(9) = \cfrac{5}{512}, \quad f(10) = \cfrac{1}{1024}.\end{gather}

また、関数\(f(x)\)は次のようにグラフで表される。

コイン確率質量関数

\(X\)が(5\)となる確率が一番大きく、\(0\)または\(10\)に向かうにつれて確率は小さくなるのが一目で分かる。

\(X=x\)となるような点についての確率を考えたが、\(X\in R\)となるような区間に関する確率を導入する。確率質量関数の定義より、事象\(X\in R\)の確率は次で与えられる。

\begin{align} \mathrm{Pr}\{X \in R\} = \sum_{x\in R} f(x),\end{align}

ここに、右辺の\(\sum_{x\in R}\)は\(R\)に属する\(x\)に関するすべての和である。上式より、先ほどのコインが8枚以上出る確率\(\mathrm{Pr}\{X \geq 8\}\)は次のように計算できる。

\begin{align}\mathrm{Pr}\{X \geq 8\} &= \sum_{x \geq 8} f(x) \\ &= \cfrac{45}{1024} + \cfrac{5}{512} + \cfrac{1}{1024}\\ &= \cfrac{56}{1024}.\end{align}

区間に関する確率を導入したことによって、\(X\)の分布関数\(F(x)\)は次のように定義できる。

コイン分布関数

分布関数

\(X\)を離散確率変数とし確率質量関数\(f(x)\)と持つとする。次の関数\(F(x)\)を\(X\)の分布関数と呼ぶ。

\begin{align}\label{eq2} F(x) = \mathrm{Pr}\{X \leq x\} = \sum_{t\leq x}f(x) .\tag{2}\end{align}

分布関数はある値\(x\)以下の確率を表す。すなわち\(x\)までの累積確率である。先ほどのコインの例の分布関数は次となる。

\begin{gather}F(0) =\cfrac{1}{1024}, \quad F(1) = \cfrac{11}{1024}, \quad F(2) = \cfrac{28}{512}, \quad F(3) = \cfrac{11}{64}, \quad F(4) = \cfrac{193}{512},\quad F(5) = \cfrac{319}{512},\\ F(6) = \cfrac{106}{128}, \quad F(7) = \cfrac{121}{128}, \quad F(8) = \cfrac{1013}{1024}, \quad F(9) = \cfrac{1023}{1024}, \quad F(10) = 1. \end{gather}

これらの値をグラフで表すと次の図のようになる。\(0\)より小さいときは\(0\)であり、\(10\)に近づくにつれて分布関数は\(1\)に近づくことが分かる。

2変量以上の確率質量関数

ここでは2変量以上の確率質量関数の同時確率質量関数や条件付き確率質量関数をみていく。ここでは簡便のため確率変数\(X\)と\(Y\)の2変量についてのみ扱う。

同時確率質量関数

\(X\)と\(Y\)を離散確率変数とする。次の関数\(f(x, y)\)を同時確率質量関数と呼ぶ。

\begin{align}\label{eq3} f( x, y ) = \mathrm{Pr}\{X = x , Y = y \}.\tag{3}\end{align}

例として、白玉2個と黒玉4個の中から2つの玉を取り出す確率を考える。確率変数\(X\)は一回目の抽出の結果、\(Y\)は二回目の抽出の結果を表すものとする。白を\(0\)、黒を\(1\)に対応させると同時確率質量関数は次で与えられる。

\begin{align}f(0, 0 ) &= \cfrac{2}{5}, \\ f(0, 1) &= \cfrac{4}{15},\\ f(1, 0) &= \cfrac{4}{15}, \\ f(1, 1 ) &= \cfrac{1}{15}.\end{align}

また、図で表すと\(f(x, y)\)は次のようになる。

2変量確率質量関数

同様に、\eqref{eq3}のある一点についての確率を拡張し、領域\(X \in A\)、\(Y \in B\)に関する確率を考える。事象\(X \in A\)かつ\(Y \in B\)の確率\(\mathrm{Pr}\{X \in A, Y \in B \}\)は次で与えられる。

\begin{align}\mathrm{Pr}\{X \in A, Y \in B\} &= \sum_{x \in A} \sum_{y \in B} f(x, y)\end{align}

\(X\)と\(Y\)の確率質量関数をそれぞれ\(f_X(x)\)、\(f_Y(y)\)とする。このときすべての\(x\)、\(y\)に対して\(\mathrm{Pr}\{X = x, Y = y\} = \mathrm{Pr}\{X = x\} \cdot\mathrm{Pr}\{ Y = y\}\)が成り立つとき、確率変数\(X\)と\(Y\)は独立であるという。また、一般的に\(n\)変量同時確率質量関数について次が成り立つ。

独立性

離散確率変数\(X_1, \ldots, X_n\)の同時確率質量関数を\(f(x_1, \ldots, x_n)\)とする。また、\(X_1, \ldots, X_n\)のそれぞれの確率質量関数を\(f_1(x_1), \ldots, f_n(x_n)\)とする。

\begin{align}f(x_1, \ldots, x_n) = \prod_{i = 1}^nf_i(x_i)\end{align}

が成り立つとき、\(X_1, \ldots, X_n\)はそれぞれ互いに独立であるという。

白玉2個、黒玉2個、赤玉2個の中から2個の玉を取り出す。取り出した白玉の数、黒玉の数をそれぞれ\(X\)、\(Y\)とすると、\(X\)と\(Y\)の同時確率質量関数\(f(x, y)\)は次となる。

\begin{align}f( x , y) = \cfrac{\begin{pmatrix}2\\ x\end{pmatrix}\begin{pmatrix}2 \\ y\end{pmatrix}\begin{pmatrix}2 \\ 2 - x- y\end{pmatrix}}{\begin{pmatrix} 6\\ 2\end{pmatrix}}.\end{align}

また、\(X\)と\(Y\)の確率質量関数はそれぞれ

\begin{align}f_X(x) &= \cfrac{\begin{pmatrix}2 \\ x\end{pmatrix}\begin{pmatrix}4 \\ 2 - x\end{pmatrix}}{\begin{pmatrix}6 \\ 2\end{pmatrix}}, \\ f_Y(y) &= \cfrac{\begin{pmatrix}2 \\ y\end{pmatrix}\begin{pmatrix}4 \\ 2 - y\end{pmatrix}}{\begin{pmatrix}6 \\ 2\end{pmatrix}}.\end{align}

\(f_X(x)\)と\(f_Y(y)\)の積は常に\(f(x, y )\)とならないことから、

\begin{align}f(x, y) \neq f_X(x) \cdot f_Y(y) .\end{align}

よって確率変数\(X\)と\(Y\)は独立ではないことがいえる。

周辺確率質量関数と条件付き確率質量関数

次に周辺確率質量関数と条件付き確率質量関数を導入する。2つの事象\(A\)と\(B\)を考える。ベイズの定理より、事象\(X \in A \cap Y \in B\)の確率\(\mathrm{Pr}\{A \cap B\}\)は次のように表現できる。

\begin{align} \mathrm{Pr}\{X\in A \cap Y \in B\} = \mathrm{Pr}\{X\in A\} \cdot \mathrm{Pr}\{Y\in B | X \in A\}.\end{align}

ここで\(A\)と\(B\)をそれぞれある値\(x\)、\(y\)に対応させる。\(\mathrm{Pr}\{X \in A \cap Y \in B\}\)は2つの確率変数\(X\)と\(Y\)がそれぞれ\(x\)、\(y\)をとる値となるため、同時確率質量関数は次のように表されることが分かる。

\begin{align}f(x , y) = f_X(x) f_Y(y | x),\end{align}

ここに\(f_Y(y | x)\)は\(X = x\)を与えた時の\(Y\)の確率質量関数である。\(f_X(x)\)は\(X\)の確率質量関数であり、特に2変量以上を扱う場合に周辺確率質量関数と呼ばれる。\(_Yf(y | x)\)をすべての\(y\)に関して和をとると\(1\)となるため、\(f(x, y)\)を\(y\)について和をとったものが\(X\)の周辺確率質量関数として定義される。これらの結果を以下にまとめる。

周辺確率質量関数

\(X\)と\(Y\)を離散確率変数とし、同時確率質量関数\(f(x, y)\)をもつとする。このとき\(X\)の周辺確率質量関数は次の\(f(x)\)で定義される。

\begin{align} f_X(x) = \sum_{y} f( x, y ) \end{align}

同様にして、\(Y\)の周辺確率質量関数を\(f_Y(y) = \sum_{x}f(x, y)\)として与えられる。今、2変量で考えているが\(n\)変量の場合でも同様のことが成り立つ。

条件付き確率質量関数

\(X\)と\(Y\)を離散確率変数とし、同時確率質量関数\(f(x, y)\)をもつとする。また\(f_X(x)\)を\(X\)の周辺確率質量関数とする。このとき\(X=x\)を与えた下での\(Y\)の条件付き確率質量関数は次の\(f_Y(y|x)\)で定義される。

\begin{align} f_Y(y | x) = \cfrac{f(x, y)}{f_X(x)}.\end{align}

白玉と黒玉の例だと、\(X\)は一回目の抽出の結果であり、\(Y\)は二回目の抽出の結果であるため、\(X\)の周辺確率質量関数は次のように計算される。

\begin{align}f_X(0) &= f(0, 0 ) + f(0, 1) = \cfrac{2}{5} + \cfrac{4}{15} = \cfrac{2}{3},\\ f_X(1) &= f(1, 0) + f(1, 1) = \cfrac{4}{15} + \cfrac{1}{15} = \cfrac{1}{3}.\end{align}

同様に\(Y\)の周辺確率質量関数は

\begin{align} f_Y(0) &= f(0, 0 ) + f(1, 0) = \cfrac{2}{5} + \cfrac{4}{15} = \cfrac{2}{3},\\ f_Y(1) &= f(0, 1) + f(1,1 ) = \cfrac{4}{15} + \cfrac{1}{15} = \cfrac{1}{3}. \end{align}

\(X\)と\(Y\)の周辺確率質量関数はそれぞれ\(y\)、\(x\)軸に関して質量の和を取ったものになっているのが理解できる。

また、\(X=x\)を与えた下での\(Y\)の条件付き確率質量関数を\(f_Y(0 | 1) \)とすると

\begin{align}f_Y(0 | 0) &= \cfrac{f(0 , 0)}{f_X(0)} = \cfrac{2/ 5}{2/3} = \cfrac{3}{5},\\ f_Y(1 | 0) &= \cfrac{f(1, 0)}{f_X(0)} = \cfrac{4 / 15}{2/3} = \cfrac{2}{5}, \\ f_Y(0 | 1) &= \cfrac{f(1, 0)}{f_X(1)} = \cfrac{4 / 15}{1 / 3} = \cfrac{4}{5},\\ f_Y(1 | 1) &= \cfrac{f(1, 1)}{f_X(1)} = \cfrac{1/15}{1/3} = \cfrac{1}{5}\end{align}

となる。