最小値・最大値の分布
確率変数\(X, X_1, X_2, \ldots, X_n\)は互いに独立、同一の分布に従うとする。これら\(n\)個の確率変数の\(i\)番目の順序統計量を\(X_{(i)}\)で表記する。このとき、一番最初の順序統計量、すなわち\(i=1\)のとき、\(X_{(1)}\)は
\begin{align}X_{(1)} = \min\{X_1, \ldots, X_n\}\end{align}
である。また、\(n\)番目の順序統計量\(X_{(n)}\)は
\begin{align} X_{(n)} = \max\{X_1, \ldots, X_n\}\end{align}
である。これらの最大値・最小値の統計量を含め、順序統計量の分布を導出していく。
統計学の入門書におすすめ！
¥3,080 （2022/06/27 19:34時点 | Amazon調べ）
ポチップ 最大値の分布
\(X\)の確率密度関数を\(f_X(x)\)、分布関数を\(F_X(x)\)とする。\(X_{(n)}=\max\{X_1, ldots, X_n\}\)とするとき、確率変数\(X_{(n)}\)の分布関数\(F_{X_{(n)}}(x)\)は次となる。
\begin{align}F_{X_{(n)}}(x)&=\mathrm{Pr}[X_{(n)} \leq x]\\&= \mathrm{Pr}[\max(X_1, X_2, \ldots, X_n) \leq x]\\&=\mathrm{Pr}[X_1 \leq x, X_2 \leq x, \ldots, X_n \leq x]\\&=\prod_{k = 1}^n\mathrm{Pr}[X_k \leq x]\\&=\prod_{k = 1}^nF_X(x)\\\label{eq1}&=F_X^n(x).\tag{1}\end{align}
また、\(X_{(n)}\)の確率密度関数は\eqref{eq1}の分布関数を\(x\)について微分することで得られる。確率密度関数\(f_{X_{(n)}}(x)\)は次となる。
\begin{align}f_{X_(n)}(x) &= \cfrac{dF_{X_{(n)}}(x)}{dx}\\&=nF_{X}^{n-1}(x)\cfrac{dF_{X}(x)}{dx}\\&=nF_{X}^{n-1}(x)f_{X}(x).\end{align}
最小値の分布
最大値の分布と同様に最小値\(X_{(n)}\)の確率密度関数と分布関数を導出することができる。\(X_{(1)}=\min\{X_1, ldots, X_n\}\)とするとき、確率変数\(X_{(1)}\)の分布関数\(F_{X_{(1)}}(x)\)は次となる。
\begin{align}F_{X_{(1)}}(x) &= \mathrm{Pr}\{X_{(1)} \leq x\}\\&=1 - \mathrm{Pr}\{X_{(1)} > x\}\\&=1-\mathrm{Pr}[X_1 > x, X_2 > x, \ldots, X_n > x]\\&=1-\prod_{k=1}^n\mathrm{Pr}[X_k > x]\\&=1-\prod_{k=1}^n\bigl\{1-F_{X}(x)\bigr\}\\\label{eq2}&= 1 -\bigl\{1-F_X(x)\bigr\}^n.\tag{2}\end{align}
\eqref{eq2}を\(x\)について微分することで、次の\(X_{(1)}\)の確率密度関数\(f_{X_{(1)}}(x)\)を得る。
\begin{align}f_{X_{(1)}}(x) &= \cfrac{dF_{X_{(1)}}(x)}{dx}\\&=-n\bigl\{1-F_X(x)\bigr\}^{n-1}\cfrac{d\bigl\{1-F_X(x)\bigr\}}{dx}\\&=n\bigl\{1-F_X(x)\bigr\}^{n-1}f_X(x).\end{align}
順序統計量の分布
次に順序統計量\(X_{(i)}, i = 1,\ldots n\)の分布を導出する。すなわち、最大値や最小値の分布の一般化を行う。確率変数\(X_1, \ldots, X_n\)は独立に同一の分布に従っていることから、事象\(X_{(k)} \leq x\)は\(x\)以下の\(X_i,\ i = 1, \ldots, n\)が少なくとも\(k\)個以上存在することを意味する。\(x\)以下の\(X_i,\ i = 1, \ldots, n\)が\(k\)個のときの確率は、\(_nC_k[\mathrm{Pr}\{X \leq x\}]^k[\mathrm{Pr}\{X \leq x\}]^{n-k}\)\(k\)番目の順序統計量の分布関数\(F_{X_{(k)}}(x)\)は次で与えられる。
\begin{align}&F_{X_{(k)}}(x)\\&= \mathrm{Pr}\{X_{(k)} \leq x \}\\ &= \sum_{i=k}^n\begin{pmatrix}n\\i\end{pmatrix}\bigl[\mathrm{Pr}\{X \leq x\}\bigr]^i \bigl[\mathrm{Pr}\{X > x\}\bigr]^{n-i}\\&= \sum_{i=k}^n\begin{pmatrix}n\\i\end{pmatrix}F_{X}^i(x)\bigl\{1- F_X(x)\bigr\}^{n-i}.\end{align}
また、次に確率密度関数\(f_{X_{(k)}}(x)\)を導出する。分布関数\(F_{X_{(k)}}(x)\)を\(x\)について微分することで次を得る。
\begin{align}f_{X_{(k)}}(x)&= \cfrac{d}{dx}F_{X_{(k)}}(x) \\ &=\cfrac{d}{dx}\Bigl[\sum_{i=k}^n\begin{pmatrix}n\\i\end{pmatrix}F_{X}^i(x)\bigl\{1- F_X(x)\bigr\}^{n-i}\Bigr]\\&=\sum_{i=k}^n\begin{pmatrix}n\\i\end{pmatrix}\left[iF_{X}(x)^{i-1}\cfrac{dF_X(x)}{dx}\bigl\{1- F_X(x)\bigr\}^{n-i} - (n-i)F_X^i(x)\bigl\{1-F_X(x)\bigr\}^{n-i-1} \cfrac{dF_X(x)}{dx}\right]\\&= \sum_{i=k}^n\begin{pmatrix}n\\i\end{pmatrix}\left[iF_{X}(x)^{i-1}f_X(x)\bigl\{1- F_X(x)\bigr\}^{n-i} - (n-i)F_X^i(x)(x)\bigl\{1-F_X(x)\bigr\}^{n-i-1}f_X(x)\right]\\&=\begin{pmatrix}n\\k\end{pmatrix}kF_{X}(x)^{k-1}\bigl\{1- F_X(x)\bigr\}^{n-k}f_X(x) - \begin{pmatrix}n\\k\end{pmatrix}(n-k)F_X^k(x)\bigl\{1-F_X(x)\bigr\}^{n-k-1}f_X(x)\\&\ \ \ \ + \sum_{i=k+1}^n\begin{pmatrix}n\\i\end{pmatrix}iF_{X}(x)^{i-1}\bigl\{1- F_X(x)\bigr\}^{n-i}f_X(x) -\sum_{i=k+1}^n\begin{pmatrix}n\\i\end{pmatrix} (n-i)F_X^i(x)\bigl\{1-F_X(x)\bigr\}^{n-i-1}f_X(x)\\&=\begin{pmatrix}n\\k\end{pmatrix}kF_{X}(x)^{k-1}\bigl\{1- F_X(x)\bigr\}^{n-k}f_X(x) \\&\ \ \ \ + \sum_{i=k+1}^n\begin{pmatrix}n\\i\end{pmatrix}iF_{X}(x)^{i-1}\bigl\{1- F_X(x)\bigr\}^{n-i}f_X(x) -\sum_{i=k}^{n-1}\begin{pmatrix}n\\i\end{pmatrix} (n-i)F_X^i(x)\bigl\{1-F_X(x)\bigr\}^{n-i-1}f_X(x)\\\\&=\begin{pmatrix}n\\k\end{pmatrix}kF_{X}(x)^{k-1}\bigl\{1- F_X(x)\bigr\}^{n-k}f_X(x) \\ \label{eq3}&\ \ \ \ + \sum_{j=k-1}^n\begin{pmatrix}n\\j+1\end{pmatrix}(j+1)F_{X}(x)^{j}\bigl\{1- F_X(x)\bigr\}^{n-j-1}f_X(x) -\sum_{i=k+1}^{n-1}\begin{pmatrix}n\\i\end{pmatrix} (n-i)F_X^i(x)\bigl\{1-F_X(x)\bigr\}^{n-i-1}f_X(x) \tag{3}\end{align}
ここで二項係数について
\begin{align}\begin{pmatrix}n\\j+1\end{pmatrix}(j+1) &= \cfrac{n!}{(j+1)!(n-j-1)!}(j+1)\\&=\cfrac{n!}{k!(n-j)!}(n-j)\\&=\begin{pmatrix}n\\j\end{pmatrix}(n-j)\end{align}
が成り立つことから、\eqref{eq3}は次となる。
\begin{align}&\begin{pmatrix}n\\k\end{pmatrix}kF_{X}(x)^{k-1}\bigl\{1- F_X(x)\bigr\}^{n-k}f_X(x) \\&\ \ \ \ + \sum_{j=k-1}^n\begin{pmatrix}n\\j+1\end{pmatrix}(j+1)F_{X}(x)^{j}\bigl\{1- F_X(x)\bigr\}^{n-j-1}f_X(x) -\sum_{i=k+1}^{n-1}\begin{pmatrix}n\\i\end{pmatrix} (n-i)F_X^i(x)\bigl\{1-F_X(x)\bigr\}^{n-i-1}f_X(x) \\&=\cfrac{n!}{(k-1)!(n-k)!}F_{X}(x)^{k-1}\bigl\{1- F_X(x)\bigr\}^{n-k}f_X(x) \\&\ \ \ \ + \sum_{j=k-1}^n\begin{pmatrix}n\\j\end{pmatrix}(n-j)F_{X}(x)^{j}\bigl\{1- F_X(x)\bigr\}^{n-j-1}f_X(x) -\sum_{i=k+1}^{n-1}\begin{pmatrix}n\\i\end{pmatrix} (n-i)F_X^i(x)\bigl\{1-F_X(x)\bigr\}^{n-i-1}f_X(x) \\&=\cfrac{n!}{(k-1)!(n-k)!}F_{X}(x)^{k-1}\bigl\{1- F_X(x)\bigr\}^{n-k}f_X(x)\end{align}
したがって、\(k\)番目の順序統計量\(X_{(k)}\)の確率密度関数と分布関数が導出された。
定理1 順序統計量の確率密度関数・分布関数
\(k=1\)のとき
\(k=1\)のときの\eqref{eq4}と\eqref{eq5}で示される確率密度関数と分布関数が最小値の確率密度関数と分布関数に一致することを確認する。\eqref{eq4}に\(k=1\)を代入すると、次を得る。
\begin{align}f_{X_{(1)}}(x)&=\cfrac{n!}{(n-1)!}\bigl\{1- F_X(x)\bigr\}^{n-1}f_X(x)\\&=n\bigl\{1- F_X(x)\bigr\}^{n-1}f_X(x).\end{align}
また、\eqref{eq5}に\(k=1\)を代入すると、次を得る。
\begin{align}F_{X_{(1)}}(x)&= \sum_{i=1}^n\begin{pmatrix}n\\i\end{pmatrix}F_{X}^i(x)\bigl\{1- F_X(x)\bigr\}^{n-i}\\&=\sum_{i=0}^n\begin{pmatrix}n\\i\end{pmatrix}F_{X}^i(x)\bigl\{1- F_X(x)\bigr\}^{n-i}-\begin{pmatrix}n\\0\end{pmatrix}F_{X}^0(x)\bigl\{1- F_X(x)\bigr\}^{n-0}\\\label{eq6}&=\sum_{i=0}^n\begin{pmatrix}n\\i\end{pmatrix}F_{X}^i(x)\bigl\{1- F_X(x)\bigr\}^{n-i}-\bigl\{1- F_X(x)\bigr\}^{n}.\tag{6}\end{align}
二項係数
\begin{align}(y+z)^n =\sum_{i=0}^n\begin{pmatrix}n\\i\end{pmatrix}y^iz^{n-i} \end{align}より、\eqref{eq6}は\begin{align}&\sum_{i=0}^n\begin{pmatrix}n\\i\end{pmatrix}F_{X}^i(x)\bigl\{1- F_X(x)\bigr\}^{n-i}-\bigl\{1- F_X(x)\bigr\}^{n} \\ &= \bigl\{F_X(x)+(1-F_X(x))\bigr\}^n-\bigl\{1- F_X(x)\bigr\}^{n} \\&=1-\bigl\{1- F_X(x)\bigr\}^{n} \end{align}
である。これは最小値の分布の確率密度関数と分布関数である。
\(k=n\)のとき
\(k=n\)のときの\eqref{eq4}と\eqref{eq5}で示される確率密度関数と分布関数が最大値の確率密度関数と分布関数に一致することを確認する。\eqref{eq4}に\(k=n\)を代入すると、次を得る。
\begin{align}f_{X_{(n)}}(x)&=\cfrac{n!}{(n-1)!}F_{X}(x)^{n-1}f_X(x)\\&=nF_{X}(x)^{n-1}f_X(x)\end{align}
また、\eqref{eq5}に\(k=n\)を代入すると、次を得る。
\begin{align}F_{X_{(n)}}(x)&= \sum_{i=n}^n\begin{pmatrix}n\\i\end{pmatrix}F_{X}^i(x)\bigl\{1- F_X(x)\bigr\}^{n-i}\\&= \begin{pmatrix}n\\n\end{pmatrix}F_{X}^n(x)\\&= F_{X}^n(x).\end{align}
これは最大値の分布の確率密度関数と分布関数である。
一様分布の例
最大値の分布（一様分布）
確率変数\(X_1, \ldots, X_n\)が独立にすべて一様分布\(U(0, 1)\)に従っているとする。このとき最大値の\(\max\{X_1, \ldots, X_n\}\)の確率密度関数は、最大値の分布より次で与えられる。
\begin{align}f_{X_(n)}(x) &=n x^{n-1}.\end{align}
最小値の分布（一様分布）
確率変数\(X_1, \ldots, X_n\)が独立にすべて一様分布\(U(0, 1)\)に従っているとする。このとき最大値の\(\min\{X_1, \ldots, X_n\}\)の確率密度関数は、最小値の分布より次で与えられる。
\begin{align}F_{X_{(1)}}(x) &= 1 -(1-x)^n.\end{align}
k番目の順序統計量（一様分布）
確率変数\(X_1, \ldots, X_n\)が独立にすべて一様分布\(U(0, 1)\)に従っているとする。このとき\(X_1, \ldots, X_n\)の\(k\)番目の順序統計量を\(X_{(k)}, k=1, \ldots, n\)で表わす。\(X_{(k)}\)の確率密度関数は
\begin{align}f_{X_{(k)}}(x) &=\cfrac{n!}{(k-1)!(n-k)!}x^{k-1}(1- x)^{n-k}\\&=\cfrac{1}{B(k, n-k+1)}x^{k-1}(1- x)^{n-k}.\end{align}
であり、これは\(Beta(k, n-k +1)\)の確率密度関数でもある。したがって\(X_{(k)}\sim Beta(k, n-k+1)\)である。
