【統計学】連続分布　確率密度関数　同時分布・周辺分布・条件付き分布

連続確率変数のもつ確率密度関数についてみていく。

確率密度関数の定義を与えて、同時確率密度関数や条件付き確率密度関数などを具体例とともに解説する。

確率密度関数については以下を参照されたい。

: 【統計学】離散分布　確率質量関数　同時分布・周辺分布・条件付き分布
離散確率変数のもつ確率質量関数についてみていく。確率質量関数の定義を与えて、同時確率質量関数や条件付き確率質量関数などを具体例とともに解説する。確率密度関数については以下を参照されたい。確率質量 ...
続きを見る

改訂版日本統計学会公式認定統計検定2級対応統計学基礎

統計学の基礎を学習したい方へ

¥2,420 （2022/06/08 18:12時点 | Amazon調べ）

Amazon

楽天市場

Yahooショッピング

ポチップ

改訂版日本統計学会公式認定統計検定3級対応データの分析

¥2,420 （2022/06/11 02:09時点 | Amazon調べ）

Amazon

楽天市場

Yahooショッピング

ポチップ

確率密度関数

定義1　確率密度関数

確率密度関数

\(X\)を連続確率変数とする。次の関数\(f(x)\)を\(X\)の確率密度関数と呼ぶ。

\begin{gather}\label{eq1} f(x) \geq 0,\\ \int_{-\infty}^{\infty}f(x) dx = 1,\\ \int_a^b f(x) dx = \mathrm{Pr}\{ a < X< b\}, \end{gather}

ここに、\(a\)と\(b\)は\(a<b\)を満たす定数。

例えば、\(0\)から\(1\)の値を等確率でとるような分布を考える（連続一様分布）。この確率密度関数\(f(x)\)は次で与えられる。

\begin{align}f(x) = \left\{ \begin{array}{cc} 1, & 0 \leq x \leq 1, \\ 0, & \mathrm{otherwise}.\end{array} \right. \end{align}

また、この関数は次の図のグラフのようになる。

\(-\infty\)から\(\infty\)までの積分は次のように明らかに\(1\)であり、確率変数\(X\)のとる実数空間上での積分が\(1\)である。

\begin{align}\int_{-\infty}^{\infty} f(x) dx &= \int_{0}^{1} 1dx \\ &= [x]_0^1 = 1.\end{align}

さらに、\(0 \leq a < b \leq 1\)を満たす定数\(a\)と\(b\)を考える。事象\(a < X< b\)の確率\(\mathrm{Pr}\{a < X < b\}\)は

\begin{align}\mathrm{Pr}\{a < X< b\} &= \int_{a}^b f(x) dx\\ &= b-a\end{align}

となる。今、\(a = 0.2\)、\(b=0.5\)とすると、\(\mathrm{Pr}\{a < X < b\} = 0.5 - 0.2 = 0.3\)である。上の図のx軸が(0.2\)から\(0.5\)までの青色の面積が\(a\)から\(b\)までの区間の確率となっていることが確認できる。

また、連続確率変数\(X\)の分布関数は次のように定義される。

分布関数

\(X\)を連続確率変数とし確率密度関数\(f(x)\)と持つとする。次の関数\(F(x)\)を\(X\)の分布関数と呼ぶ。

\begin{align}\label{eq2} F(x) = \mathrm{Pr}\{X \leq x\} = \int_{-\infty}^x f(t) dt .\tag{2}\end{align}

先ほどの連続一様分布の場合、\(f(x) = 1,\ 0\leq x\leq 1\)であることから、分布関数\(F(x)\)は次となる。

\begin{align}F(x) &= \int_{-\infty}^xf(t)dt \\ &= \int_{0}^xdt \\ &= x - 0 = x .\end{align}

1つ前の図の確率密度関数に対応する分布関数は次のような直線的なグラフとなる。

\(0\)より小さいときは\(0\)であり、\(1\)に近づくにつれて分布関数は\(1\)に近づくことが分かる。

連続確率変数の分布関数の重要な性質として、確率密度関数との関係がある。確率密度関数\(f(x)\)が\(x\)の連続関数であるとき

\begin{align}\cfrac{d F(x)}{dx} = f(x).\end{align}

上の性質は離散確率変数に対しては成り立たないことに注意する必要がある。

2変量以上の確率密度関数

ここでは2変量以上の確率密度関数の同時確率密度関数や条件付き確率密度関数をみていく。ここでは簡便のため確率変数\(X\)と\(Y\)の2変量についてのみ扱う。

同時確率密度関数

\(X\)と\(Y\)を連続確率変数とする。次の関数\(f(x, y)\)を同時確率密度関数と呼ぶ。

\begin{gather} f( x, y ) \geq 0,\\ \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} = f(x , y) dxdy,\\ \underset{R}{\int\int} f(x, y) dxdy = \mathrm{Pr}\{(X, Y) \in R \},\end{gather}

ここに、\(R\)は\(X\)と\(Y\)がとる実数の全ての集合である。

集合\(R\)を\(x_1 < x< x_2\)かつ\( y_1< y< y_2\)とした場合、\(\mathrm{Pr}\{(X, Y) \in R \}\)は

\begin{align} \mathrm{Pr}\{(X, Y ) \in R\} &= \mathrm{Pr}\{x_1 < X < x_2, y_1< Y < y_2\} \\ &= \int_{x_1}^{x_2} \int_{y_1}^{y_2} f(x, y) dx dy.\end{align}

例として、次の確率変数\(X\)と\(Y\)は次の同時確率密度関数をもつとする。

\begin{align}f(x, y) = \left\{\begin{array}{cc} xy , & 0 \leq x \leq 1 ,\ 0\leq y \leq 2, \\ 0, & \mathrm{otherwise}.\end{array}\right.\end{align}

このとき、事象\(0 \leq X \leq 1/2\)、\(0 \leq Y \leq 1\)の確率\(\mathrm{Pr}\{ 0\leq X \leq 1/2 , 0 \leq Y \leq 1\}\)は次のように計算できる。

\begin{align}\mathrm{Pr}\{ 0\leq X \leq 1/2 , 0 \leq Y \leq 1\} &= \int_{0}^{1/2}\int_0^{1} f(x, y) dx dy \\ &= \int_{0}^{1/2}\int_0^{1} xy dx dy\\ &= \int_0^{1/2} \left[ \cfrac{1}{2}y^2\right]_0^1 x dy\\ &= \cfrac{1}{2}\left[ \cfrac{1}{2}x^2\right]_0^{1/2} \\ &= \cfrac{1}{16}.\end{align}

この同時確率密度関数\(f(x, y)\)は次の図のようになり、\(\mathrm{Pr}\{ 0\leq X \leq 1/2 , 0 \leq Y \leq 1\}\)は図の青色の領域内の体積となることが分かる。

\(X\)と\(Y\)の確率密度関数をそれぞれ\(f_X(x)\)、\(f_Y(y)\)とする。このときすべての\(x\)、\(y\)に対して\(\mathrm{Pr}\{X = x, Y = y\} = \mathrm{Pr}\{X = x\} \cdot\mathrm{Pr}\{ Y = y\}\)が成り立つとき、確率変数\(X\)と\(Y\)は独立であるという。また、一般的に\(n\)変量同時確率密度関数について次が成り立つ。

独立性

連続確率変数\(X_1, \ldots, X_n\)の同時確率密度関数を\(f(x_1, \ldots, x_n)\)とする。また、\(X_1, \ldots, X_n\)のそれぞれの確率密度関数を\(f_1(x_1), \ldots, f_n(x_n)\)とする。

\begin{align}f(x_1, \ldots, x_n) = \prod_{i = 1}^nf_i(x_i)\end{align}

が成り立つとき、\(X_1, \ldots, X_n\)はそれぞれ互いに独立であるという。

先ほどの例の\(f(x, y) = xy\)について独立性が成り立つかどうか確かめる。離散分布の確率質量関数でみたように、確率変数\(Y\)の取りうる実数空間上で\(f(x, y )\)を積分したものを\(X\)の確率密度関数（周辺確率密度関数）とする。また、同様に\(Y\)の確率密度関数を与えると

\begin{align}f_X(x) &= \int_{-\infty}^{\infty} f(x. y) dy \\ &= \int_{0}^{2} f(x, y) dy \\ &= \left[\cfrac{1}{2}y^2\right]_0^2 x\\ &= 2x,\\ f_Y(y) &= \int_{0}^{1} f(x, y)dy \\ &= \left[\cfrac{1}{2}x^2\right]_0^1y \\ &= \cfrac{1}{2}y.\end{align}

故に

\begin{align}f(x, y ) = f(x) \cdot f(y)\end{align}

となり、確率変数\(X\)と\(Y\)は独立であることが示せた。

周辺確率密度関数と条件付き確率密度関数

次に周辺確率密度関数と条件付き確率密度関数を導入する。2つの事象\(A\)と\(B\)を考える。ベイズの定理より、事象\(X \in A \cap Y \in B\)の確率\(\mathrm{Pr}\{A \cap B\}\)は次のように表現できる。

\begin{align} \mathrm{Pr}\{X\in A \cap Y \in B\} = \mathrm{Pr}\{X\in A\} \cdot \mathrm{Pr}\{Y\in B | X \in A\}.\end{align}

ここで\(A\)と\(B\)をそれぞれある値\(x\)、\(y\)に対応させる。\(\mathrm{Pr}\{X \in A \cap Y \in B\}\)は2つの確率変数\(X\)と\(Y\)がそれぞれ\(x\)、\(y\)をとる値となるため、同時確率密度関数は次のように表されることが分かる。

\begin{align}f(x , y) = f_X(x) f_Y(y | x),\end{align}

ここに\(f_Y(y | x)\)は\(X = x\)を与えた時の\(Y\)の確率密度関数である。\(f_X(x)\)は\(X\)の確率密度関数であり、特に2変量以上を扱う場合に周辺確率密度関数と呼ばれる。\(f_Yf(y | x)\)を\(y\)に関して積分をとると\(1\)となるため、\(f(x, y)\)を\(y\)に積分をとったものが\(X\)の周辺確率密度関数として定義される。これらの結果を以下にまとめる。

周辺確率密度関数

\(X\)と\(Y\)を離散確率変数とし、同時確率密度関数\(f(x, y)\)をもつとする。このとき\(X\)の周辺確率密度関数は次の\(f(x)\)で定義される。

\begin{align} f_X(x) = \int_{-\infty}^{\infty} f( x, y ) dy \end{align}

同様にして、\(Y\)の周辺確率密度関数を\(f_Y(y) = \int_{-\infty}^{\infty} f(x, y) dx\)として与えられる。今、2変量で考えているが\(n\)変量の場合でも同様のことが成り立つ。

条件付き確率密度関数

\(X\)と\(Y\)を離散確率変数とし、同時確率密度関数\(f(x, y)\)をもつとする。また\(f_X(x)\)を\(X\)の周辺確率密度関数とする。このとき\(X=x\)を与えた下での\(Y\)の条件付き確率密度関数は次の\(f_Y(y|x)\)で定義される。

\begin{align} f_Y(y | x) = \cfrac{f(x, y)}{f_X(x)}.\end{align}

周辺確率密度関数と条件付き確率密度関数の例として、次の同時確率密度関数を考える。

\begin{align}f(x, y ) = \left\{\begin{array}{cc} 8xy , 0\leq x \leq 1,\ 0\leq y \leq x,\\ 0,& \mathrm{otherwise} \end{array}\right.\end{align}

ひとつ前の例と同様にして、\(X\)と\(Y\)の周辺確率密度関数は次のように求められる。

\begin{align}f_X(x) &= \int_{0}^x f(x, y) dy\\ &= 8x \left[\cfrac{1}{2}y^2 \right]_0^x \\ &= 4x^3,\\ f_Y(y) &= \int_y^1 f(x, y)dx\\ &= 8\left[\cfrac{1}{2}x^2\right]_y^1 y \\ &= 4y(1-y^2).\end{align}

\(Y\)の周辺確率密度関数を求める際は積分範囲に注意する必要がある。\(x\)と\(y\)の積分範囲は\((0,0)\)、\((1,0)\)、\((1,1)\)を3点とする三角形となるため、\(0\leq y \leq1\)のとき\( y\leq x \leq 1\)が成り立つ。また、\(Y=y\)を与えたときの\(X\)の条件付き確率密度関数と\(X=x\)を与えたときの\(Y\)の条件付き確率密度関数を\(f(0 | 1) \)とすると

\begin{align}f_X(x | y) &= \cfrac{f(x , y)}{f_Y(y)} = \cfrac{8xy}{4y(1-y^2)} = \cfrac{2x}{1-y^2},\\ f_Y(y | x) &= \cfrac{f(x, y)}{f_X(x)} = \cfrac{8xy}{4x^3 } = \cfrac{4y}{x^2}.\end{align}

となる。