仮説検定【統計学】

母集団分布のパラメータを推定する方法に一つである統計的仮説検定をみていく。

ここでは、ネイマン・ピアソンの定理に基づく尤度比検定の概要を解説していく。

また、仮説検定で重要な定理であるネイマン・ピアソンの補題とその証明も紹介する。

仮説検定の種類

仮説検定は以下の2種類の仮説から成る。

帰無仮説　棄却（無効化）させ、対立仮説を立証するための仮説。一般に経験的事実とは反対の仮説を設定する。
対立仮説　帰無仮説の反対。

次に、母集団分布のパラメータの推定の方法に関して、仮説検定を2種類に分類する。

定義１　単純仮説と複合仮設

母集団分布のパラメータにある特定の数値を指定するものを単純仮説とよぶ。また、そうでない仮説を複合仮設と呼ぶ。

上の定義で説明した単純仮説と複合仮説を理解するために、次の例を考える。

ある国の男性の身長に関する仮説検定を行う。2種類の帰無仮説と対立仮説を次で与える。

例1

帰無仮説\(H_0\)　身長の母平均（\(\mu\)）は170cmである（\(\mu = 170\)）。
対立仮説\(H_1\)　身長の母平均（\(\mu\)）は170cmではない（\(\mu \neq 170\)）。

例2

帰無仮説\(H_0\)　身長の母平均（\(\mu\)）は170cm未満である（\(\mu < 170\)）。
帰無仮説\(H_0\)　身長の母平均（\(\mu\)）は170cm未満ではない（\(\mu \geq 170\)）。

上の例1の帰無仮説\(H_0\)は、\(\mu = 170\)という特定の値を指定しているため、単純仮説である。また、例2の帰無仮説\(H_0\)は、\(\mu < 170\)のように特定の数値ではなく不等式で与えている。そのため例2の帰無仮説は複合仮説である。

上の例では、帰無仮説が単純仮説から成る例と複合仮説から成る例の両方を紹介した。次では、帰無仮説が単純仮説である場合の最良な検定と、単純仮説と複合仮説のどちらに対しても最良である検定についてみていく。

帰無仮説が単純仮説

帰無仮説が単純仮説である場合の裁量検定の与え方についてみていく。第一種の過誤の大きさが\(\alpha\)であり、その中で第2種の過誤の大きさ\(\beta\)を最小にする検定を裁量検定であるとする。最良検定は後に紹介するネイマン・ピアソンの補題に基づく。ここでは、標本\(x_1, \ldots, x_n\)は独立同一に、パラメータ\(\theta\)をもち確率密度関数\(f(x; \theta)\)をもつ母集団分布に従うと仮定する。パラメータが複数の場合については\(\theta\)をベクトルとすれば、容易にわかるので後の証明では省く。仮定より、\(x_1, \ldots, x_n\)は、確率密度関数\(f(x; \theta)\)の母集団からの\(n\)個の無作為標本であるとわかる。

ここで、次の帰無仮説が単純仮説である仮説検定を考える。

\begin{align}&H_0:\ \theta = \theta_0, \\&H_1:\ \theta = \theta_1 .\end{align}

この検定の最良検定の与え方を次の補題に示す。

定理１　ネイマン・ピアソンの補題

ネイマン・ピアソンの補題

\begin{align}\label{eq1}&Aの内部で\ \ \cfrac{\prod_{i=1}^n f(x_i; \theta_1)}{\prod_{i=1}^n f(x_i; \theta_0)} \geq k,\tag{1}\\ \label{eq2}&Aの外部で\ \ \cfrac{\prod_{i=1}^n f(x_i; \theta_1)}{\prod_{i=1}^n f(x_i; \theta_0)} \leq k \tag{2}\end{align}を満たす大きさ\(\alpha\)の棄却域\(A\)定数\(k\)が存在するとき、\(A\)は大きさ\(\alpha\)の最良棄却域である。

証明　大きさ\(\alpha\)の他の任意の棄却域を\(A^*\)とする。領域\(A\)と\(A^*\)は幾何学的に図１に示すような領域として表される。

ここで、帰無仮説\(H_0\)のときの尤度関数と対立仮説\(H_1\)のときの尤度関数をそれぞれ次で与える。

\begin{align}L_0 &= \prod_{i=1}^n f(x_i; \theta_0),\\L_1 &= \prod_{i=1}^n f(x_i; \theta_1).\end{align}

さらに、棄却域についての積分を次のように表す。

\begin{align}\int_A L_0d\boldsymbol{x} = \int \underset{A}{\cdots} \int \prod_{i=1}^n f(x_i; \theta_0) dx_1 \cdots dx_n.\end{align}

今、\(A\)と\(A^*\)は大きさ\(\alpha\)の棄却域であることから

\begin{align} \int_A L_0d\boldsymbol{x} = \int_{A^*} L_0 d\boldsymbol{x}\end{align}

である。また、図1の\(A\)と\(A^*\)の2つの領域の共通部分を相殺することにより、次の関係が成り立つ。

\begin{align}\label{eq3}\int_aL_0 d\boldsymbol{x} = \int_c L_0 d\boldsymbol{x}.\tag{3}\end{align}

次に、\(A\)と\(A^*\)に対する第2種の過誤の大きさを計算する。第2種の過誤の大きさは、対立仮説\(H_1\)が真であるとき\(H_0\)を採択する確率である。すなわち、\(H_1\)が真であるとき\(H_0\)を棄却する確率を\(1\)から引いたものに等しい。このことから、\(A\)と\(A^*\)に対する第2種の過誤の大きさはそれぞれ

\begin{align}\beta &= 1 - \int_A L_1 d\boldsymbol{x},\\ \beta^* &=1 - \int_{A^*} L_1 d\boldsymbol{x} \end{align}

である。故に

\begin{align}\beta^* - \beta &= 1 - \int_{A^*} L_1 d\boldsymbol{x}- \left(1 - \int_A L_1 d\boldsymbol{x}\right)\\ &=\int_A L_1 d\boldsymbol{x} - \int_{A^*} L_1 d\boldsymbol{x}. \end{align}

また、\eqref{eq1}と同様に、領域\(a\)と\(c\)を用いることで、次のようにも書ける。

\begin{align}\beta^* - \beta &= \int_{a\cup{b}} L_1 d\boldsymbol{x} - \int_{b\cup{c}} L_1 d\boldsymbol{x}\\\label{eq4} &= \int_aL_1 d\boldsymbol{x} - \int_b L_1d\boldsymbol{x}.\tag{4}\end{align}

領域\(a\)は\(A\)内にあるたる。よって、\eqref{eq1}より、\(a\)内に関し次が成り立つ。

\begin{align}& \cfrac{L_1}{L_0} \geq k\\&\Leftrightarrow L_1 \geq kL_0. \end{align}

したがって

\begin{align}\int_a L_1 d\boldsymbol{x}\geq k\int_a L_0d\boldsymbol{x}\end{align}

である。同様に、\(c\)は\(A\)の外側の領域であるため、\(c\)内に関し次が成り立つ。

\begin{align} L_1 \leq kL_0.\end{align}

したがって

\begin{align}\int_c L_1d\boldsymbol{x}\leq k \int_cL_0 d\boldsymbol{x}\end{align}

である。\eqref{eq4}にこれらを代入すると

\begin{align}\beta^* - \beta &= \int_a L_1d\boldsymbol{x} - \int_c L_1 d\boldsymbol{x} \\ & \geq k\int_a L_0d\boldsymbol{x} - k\int_c L_0 d\boldsymbol{x}\\&= k \left( \int_a L_0d\boldsymbol{x} - \int_c L_0 d\boldsymbol{x}\right)\end{align}

を得る。\eqref{eq3}より、上式の右辺は\(0\)となるため、

\begin{align}&\beta^* -\beta \geq 0\\& \Leftrightarrow \beta^* \geq \beta.\end{align}

\(\beta^*\)は大きさ\(\alpha\)の任意の棄却域に対する第2種の過誤の大きさであるので、大きさ\(\alpha\)の棄却域\(A\)に対する第2種の過誤の大きさ\(\beta\)は最小であり、\(A\)は大きさ\(\alpha\)の最良棄却域であることが示された。□

第1の過誤の大きさ\(\alpha\)は定数\(k\)により決定される。\eqref{eq1}と\eqref{eq2}の左辺は\(0\)以上の値を取ることが分かる。\(k\)が\(0\)から\(\infty\)になるにつれて、\(\alpha\)は\(1\)から\(0\)になる。このことから、\(k\)に対応する大きさ\(\alpha\)の最良棄却域を作ることが可能である。

例　母集団が正規分布のときの最良棄却域

標本\(x_1, \ldots, x_n\)を正規母集団\(N(\theta , 1)\)からの無作為標本とする。このとき、帰無仮説\(H_0:\ \theta = \theta_0\)のときの尤度関数と対立仮説\(H_1:\ \theta = \theta_1\ (\theta_1 < \theta_0)\)のときの尤度関数はそれぞれ次で与えられる。

\begin{align}L_0 &= \prod_{i=1}^n f(x_i; \theta_0) = (2\pi)^{-\frac{1}{2}n}e^{-\frac{1}{2}\sum_{i=1}^n(x_i-\theta_0)^2}\\ L_1&= \prod_{i=1}^n f(x_i; \theta_1) = (2\pi)^{-\frac{1}{2}n}e^{-\frac{1}{2}\sum_{i=1}^n(x_i-\theta_1)^2}\end{align}

しがたって、最良棄却域\(A\)は次の不等式を満たす領域である。

\begin{align}\cfrac{L_1}{L_0} &=\cfrac{(2\pi)^{-\frac{1}{2}n}e^{-\frac{1}{2}\sum_{i=1}^n(x_i-\theta_1)^2}}{ (2\pi)^{-\frac{1}{2}n}e^{-\frac{1}{2}\sum_{i=1}^n(x_i-\theta_0)^2}}\\&= \cfrac{ e^{-\frac{1}{2}\sum_{i=1}^n(x_i-\theta_1)^2}}{e^{-\frac{1}{2}\sum_{i=1}^n(x_i-\theta_0)^2}}\\&= e^{\frac{1}{2}\bigl[\sum_{i=1}^n(x_i-\theta_0)^2 - \sum_{i=1}^n(x_i - \theta_1)^2\bigr]}\geq k.\end{align}

また、上式の両辺に対数をとると次を得る。

\begin{align} &\sum_{i=1}^n(x_i-\theta_0)^2 - \sum_{i=1}^n(x_i - \theta_1)^2 \geq 2\log k\\ &\Leftrightarrow \sum_{i=1}^nx_i^2 -2\theta_0\sum_{i=1}^nx_i + n\theta_0^2 - \sum_{i=1}^nx_i^2 + 2\theta_1\sum_{i=1}^nx_i - n\theta_1^2\geq 2\log k\\ &\Leftrightarrow 2(\theta_1-\theta_0)\sum_{i=1}^nx_i \geq 2\log k + n(\theta_1^2 - \theta_0^2)\\ &\Leftrightarrow \bar{x}\leq \cfrac{2\log k+ n(\theta_1^2 - \theta_0^2)}{2n(\theta_1 - \theta_0)}.\end{align}

上式の右辺を\(\bar{x}_0\)とおく。\(H_0\)は真のとき\(\bar{X}\)が右辺の\(\bar{x}_0\)より小さくなる確率が\(0.05\)となるように\(k\)を決めてあげればよいことが分かる。また、\(\bar{x}_0\)より小さくなるような\(\bar{X}\)の分布の領域が棄却域であることから、最良棄却域は\(\bar{X}\)の分布の左袖の部分である。

上の結果から、\(\theta_1 > \theta_0\)のときも同様の結果が得られることが容易にわかる。しかし、\(H_0:\ \theta = \theta_0\)、\(H_1:\ \theta \neq \theta_0\)に対しては、\(\theta_1 < \theta_0\)のとき分布の左袖が最良棄却域、\(\theta_1 > \theta_0\)のとき分布の右袖が最良棄却域になる。そのため、任意の\(\theta_1\)に対する最良棄却域が存在しないことが分かる。

帰無仮説が単純仮説または複合仮説

ネイマン・ピアソンの補題によって最良検定が得られないときや、帰無仮説が複合仮説から成る場合は、検定に制約を加えたり他の原理に基づいた検定を考える必要がある。ネイマン・ピアソンの補題に加えて新たな原理を導入する。

確率変数\(X\)は\(k\)個のパラメータから成る分布に従うとする。\(X\)の確率密度関数を\(f(x; \theta_1,\ldots, \theta_k)\)とする。このとき、次の複合仮説から成る仮説検定を考える。

\begin{align}H_0: \theta_i = \theta_{i0}\ \ (i = 1, \ldots, k)\end{align}

\(H_0\)が真のとき\(f(x; \theta_{10}, \ldots, \theta_{k0})\)は\(X\)の確率密度関数となる。

\(\hat{\theta}_i\)を尤度関数\(L(X, \boldsymbol{\theta}) = \prod_{i = 1}^nf(X_i , \theta_1, \ldots, \theta_k)\)に対する\(\theta_i\)の最尤推定量とする。同様に、\(\hat{\theta}_{i0}\)を\(H_0\)が真のときの\(\theta_i\)の最尤推定量とする。すなわち、尤度関数\(L(X, \boldsymbol{\theta}_0) = \prod_{i = 1}^nf(X_i , \theta_{10}, \ldots, \theta_{k0})\)に対する最尤推定量とする。ここで、次の尤度比を考える。

\begin{align}\label{eq5}\lambda = \cfrac{L(X, \hat{\boldsymbol{\theta}})}{L(X, \hat{\boldsymbol{\theta}}_0)}.\tag{5}\end{align}

最尤推定量\(\boldsymbol{\theta}\)と\(\boldsymbol{\theta}_0\)は観測値\(X_1, \ldots, X_n\)の関数であることから、\(\lambda\)は統計量としてみることができる。

\(\lambda\)の分母はすべてのパラメータに対しての尤度関数の最大値である。一方、分子はパラメータの一部を制約したときの尤度関数の最大値である。そのため、分子の値が分母の値を超えることはない。よって\(\lambda\)は\(0\)と\(1\)の間を取りうる。\(\lambda\)が\(0\)に近い場合、分子の\(H_0\)の下での尤度関数の最大値が小さいといえる。すなわち\(H_0\)の下での観測値\(x_1, \ldots, x_n\)が起こる確率密度は小さい。\(\lambda\)が\(1\)に近い場合、逆のことが言える。

今、\(H_0\)が真とし、\(\lambda\)の確率密度関数がわかっているとする。次の累積確率\(\alpha\)を考える。

\begin{align}\label{eq6}\int_0^{\lambda_0}g(\lambda) d\lambda = \alpha.\tag{6}\end{align}

このように、累積確率が\(\alpha\)となるような\(\lambda_0\)を見つけることが可能である。よって、棄却域として区間\([0, \lambda_0]\)を選択することで、大きさ\(\alpha\)の棄却域の\(H_0\)の仮説検定ができる。この結果を次に与える。

尤度比検定

単純仮説、複合仮説に関係なく、\eqref{eq5}で与えた\(\lambda\)を用いた大きさ\(\alpha\)の棄却域の仮説\(H_0\)の検定または棄却域は、\eqref{eq6}を満たす\(\alpha\)と\(\lambda_0\)によって与えられる。すなわち、次のようにまとめられる。\begin{align}&\lambda \leq \lambda_0 のとき H_0を棄却,\\ &\lambda > \lambda_0 のときH_0を採択.\end{align}

次に、尤度比検定統計量の例をみていく。ネイマン・ピアソンの補題のときは、対立仮説\(H_1\)の\(\theta_1\)の大きさによって不等式が変わるため、一意に最良棄却域を決めることはできなかった。\eqref{eq6}で与えた累積確率によって最良棄却域を見つけるとはどのようなことなのかを見ていく。

例　母集団が正規分布のときの尤度比検定

母集団が正規分布である場合の尤度比検定を見ていく。ネイマン・ピアソンの補題と同様に、仮説\(H_0: \theta = \theta_0\)の検定を考える。標本\(x_1, \ldots, x_n\)は正規分布の観測値であり、\(x_1, \ldots, x_n\)の分布は次の確率密度関数をもつ。

\begin{align}f(x; \theta) = \cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}(x-\theta)^2}\end{align}

このとき、尤度関数は

\begin{align}L(x; \theta) = (2\pi)^{- n / 2} e^{-\frac{1}{2}\sum_{i=1}^n(x_i-\theta)^2}\end{align}

である。\(\theta\)の最尤推定量を求めるために、\(\log L(x, \theta)\)が最大値となる\(\theta\)を求める。

\begin{align}\cfrac{d \log L(x, \theta)}{d\theta} &= \cfrac{d}{d\theta}\left[-\cfrac{n}{2}\log 2\pi -\cfrac{1}{2}\sum_{i=1}^n (x_i-\theta)^2\right] \\&= \sum_{i = 1}^n(x_i- \theta)\end{align}

であることから

\begin{align} & \cfrac{d \log L(x, \theta)}{d\theta} = \sum_{i = 1}^n(x_i- \theta) = 0 \\&\Leftrightarrow \theta= \cfrac{1}{n}\sum_{i = 1}^nx_i = \bar{x} \end{align}

したがって、\(\hat{\theta} = \bar{x}\)とすると

\begin{align}L(x, \bar{x}) &= (2\pi)^{-\frac{n}{2}} e^{-\frac{1}{2}\sum_{i=1}^n(x_i- \bar{x})^2 }.\end{align}

また、\(H_0\)の下では\(X\)の分布のパラメータが全て与えられているので、最大尤度は

\begin{align}L(x, \hat{\theta}_0) &= L(x, \theta)= (2\pi)^{-\frac{n}{2}} e^{-\frac{1}{2} \sum_{i=1}^n(x_i-\theta_0)^2}\end{align}

となる。故に、尤度比\(\lambda\)は次となる。

\begin{align}\lambda &= \cfrac{L(x, \hat{\theta})}{L(x, \hat{\theta}_0)}\\&= e^{-\frac{1}{2}\left[\sum_{i=1}^n(x_i-\theta_0)^2 - \sum_{i=1}^n (x_i-\bar{x})^2\right]}\\&= e^{-\frac{n}{2}(\bar{x} - \theta_0)^2}.\end{align}

この尤度比は次のグラフのような振る舞いをする。\(\bar{x} = \theta_0\)のときに最大値\(1\)を取り、\(\theta_0\)から離れるほど\(0\)に向かう。\eqref{eq6}より\(\alpha = 0.05\)のときは上のグラフの両端部分である\(\exp[-n(\bar{x}-\theta_0)^2/2]<= \lambda_0\)の面積が\(0.05\)となるような\(\lambda_0\)を選べばよい。

仮説検定【統計学】

仮説検定の種類

定義１ 単純仮説と複合仮設