統計学

【統計学】一致推定量・統計量の一致性

  1. HOME >
  2. 統計学 >

【統計学】一致推定量・統計量の一致性

スポンサーリンク

統計量における推定量の1つである一致推定量についてみていく。

推定量の一致性はZ検定などの大標本においてきわめて重要である。

この記事では、一致推定量の定義を与えて種々の推定量(標本平均や標本分散)が一致性をもつかどうか確かめる。

統計量の不偏性については次の記事を参照されたい。

【統計学】不偏推定量 推定量の不偏性

点推定において重要な推定量である不偏推定量について解説する。 不偏推定量やバイアスの定義を与えて、標本平均や不偏標本分散などの推定量の不偏性を確かめる。 また、標本分散が不偏推定量ではないことも説明す ...

続きを見る

統計学の入門書におすすめ!
¥3,080 (2022/06/27 19:34時点 | Amazon調べ)

一致推定量

定義1 一致推定量

一致推定量

パラメータ\(\theta\)とその推定量\(t_n\)が与えられているとする。\(t_n\)が次を満たすとき、\(t_n\)を\(\theta\)の一致推定量と呼ぶ。

\begin{align}\label{eq1} \lim_{n\to \infty} \mathrm{Pr}\{ |t_n - \theta| < \varepsilon \} = 1,\tag{1}\end{align}

ここに、\(\forall \varepsilon>0\)である。

\eqref{eq1}は標本数\(n\)を大きくすると、推定量\(t_n\)はパラメータ\(\theta\)に収束することを意味する。定義を見れば分かるように、一致推定量は次に示す確率収束を満たす推定量である。

\(X_n\)と\(X\)を同一確率空間における確率変数とする。\(\forall \varepsilon >0\)に対して次を満たすとき、確率変数列\(X_n\)は\(X\)に確率収束するという。

\begin{align}\label{eq2}\mathrm{Pr}\{|X_n - X| > \varepsilon \} = 0,\ \ {\mathrm as}\ n\to \infty,\tag{2}\end{align}

また、上式を\(X_n \overset{p}{\to} X\)として表す。

例として、独立同一な確率変数\(X_1, \ldots, X_n\)がそれぞれ平均\(\mu\)と分散\(\sigma^2\)をもつとき、\((1/n)\sum_{i=1}^nX_i\)(標本平均)は\(\mu\)に対して\eqref{eq2}の確率収束の定義を満たすので、標本平均は平均\(\mu\)の一致推定量であることが言える。\eqref{eq1}の一致推定量の定義を用いて様々な推定量の一致性を示していく。

様々な一致推定量

様々な推定量が一致性を持つことを示す。点推定でたびたび用いられる標本平均\(\bar{x}\)、標本分散\(s^2\)、不偏標本分散\(u^2\)の一致性を示す。ここでは、確率変数\(X_1, \ldots, X_n\)は独立同一であり平均\(\mu\)と分散\(\sigma^2\)をもつとする。

標本平均の一致性

標本平均の一致性

標本平均の確率変数列\(\bar{X}_n\)を\( \bar{X}_n= \cfrac{1}{n}\sum_{i=1}^n X_i\)とする。このとき

\begin{align}\bar{X}_n\overset{p}{\to} \mu\end{align}

が成り立つ。

証明 次のマルコフの不等式を用いる。

\begin{align}\label{eq3}\mathrm{Pr}\{ X  \geq a \} \leq \cfrac{\mathrm{E}[X]}{a},\tag{3}\end{align}

ここに、\(a > 0\)である。\eqref{eq3}に\(X = (X - \mu)^2\)、\(a = \varepsilon^2\)とおくと、次の不等式が得られる。

\begin{align}&\mathrm{Pr}\{ (X - \mu)^2  \geq \varepsilon^2 \} \leq \cfrac{\mathrm{E}\bigl[(X - \mu)^2\bigr]}{\varepsilon^2}\\\label{eq4} &=\mathrm{Pr}\{ |X - \mu| \geq \varepsilon \} \leq \cfrac{\mathrm{Var}[X]}{\varepsilon^2} \tag{4},\end{align}

ここに、\(\forall \varepsilon >0\)である。標本平均の分布より、\(\bar{X}_n\)の期待値と分散はそれぞれ次である。

\begin{align}\mathrm{E}[\bar{X}_n ]&= \mu,\\\mathrm{Var}[\bar{X}_n ] &= \cfrac{1}{n}\sigma^2.\end{align}

\eqref{eq4}の不等式に\(X=\bar{X}_n\)を適用すると、次の不等式が得られる。

\begin{align}\mathrm{Pr}\{ |\bar{X}_n - \mu| \geq \varepsilon \} \leq \cfrac{\sigma^2 / n}{\varepsilon^2}\end{align}

\(n\to \infty\)のとき、上式は

\begin{align}& \lim_{n\to \infty} \mathrm{Pr}\{ |\bar{X}_n - \mu| \geq \varepsilon \} \leq \cfrac{\sigma^2 / n}{\varepsilon^2} \\  &\Leftrightarrow \mathrm{Pr}\{ |\bar{X} - \mu| \geq \varepsilon \} \leq 0\\ &\Leftrightarrow  \mathrm{Pr}\{ |\bar{X} - \mu| \geq \varepsilon \} =  0\\ \label{eq5} &\Leftrightarrow \mathrm{Pr}\{ |\bar{X} - \mu| < \varepsilon \} = 1\tag{5} \end{align}

ここに、\(\bar{X} = \lim_{n\to\infty} X_n\)である。\eqref{eq5}は\eqref{eq1}の一致推定量の定義であり、故に\(\bar{X}_n = (1/n)\sum_{i=1}^n X_i\)は平均\(\mu\)の一致推定量である。□

標本分散の一致性

標本分散の一致性

標本分散の確率変数列\(\bar{S}_n\)を\( \bar{S}_n= \cfrac{1}{n}\sum_{i=1}^n (X_i - \bar{X}_n)^2\)とする。このとき

\begin{align}\bar{S}_n\overset{p}{\to} \sigma^2\end{align}

が成り立つ。

証明 標本分散\(S_n^2\)は次のように書き換えられる。

\begin{align}S_n^2 &=\cfrac{1}{n}\sum_{i=1}^{n} (X_i - \mu)^2 - (\bar{X} - \mu)^2\end{align}

\(\mathrm{E}[(\bar{X} - \mu)^2] = o(1)\)かつ\(\mathrm{Var}[(\bar{X} - \mu)^2] = o(1)\)より、\(n \to \infty\)のとき第二項は\(0\)である。よって、第一項の確率極限のみを考えればよい。第一項を\(A_n^2\)とすると、その期待値と分散はそれぞれ次となる。

\begin{align}\mathrm{E}[A_n^2] &=\mathrm{E}\left[\cfrac{1}{n}\sum_{i=1}^{n} (X_i - \mu)^2 \right]\\&=\cfrac{1}{n} \sum_{i=1}^{n} \mathrm{E}[(X_i - \mu)^2] \\&= \sigma^2 ,\\ \mathrm{Var}[A_n^2] &= \mathrm{Var}\left[\cfrac{1}{n}\sum_{i=1}^{n}  (X_i - \mu)^2\right] \\&= \cfrac{1}{n^2}\sum_{i=1}^{n-1} \mathrm{Var}[(X_i - \mu)^2] \\&=  \cfrac{1}{n^2}\sum_{i=1}^{n-1}\left[ \mathrm{E}[(X_i - \mu)^4] - \bigl(\mathrm{E}[(X_i - \mu)^2]\bigr)^2\right]\\ &= \cfrac{1}{n^2}\sum_{i=1}^{n} \left[\mu_4 -4\mu_3\mu + 6\mu_2\mu^2 - 3\mu^4  - \sigma^4\right]  \\ &=\cfrac{1}{n}(\mu_4 -4\mu_3\mu + 6\mu_2\mu^2 - 3\mu^4  - \sigma^4) ,\end{align}

ここに、\(\mu_j,\ j = 1, 2,\ldots\)は\(X_i,\ i=1,\ldots, n\)の\(j\)次モーメントである。よって、\eqref{eq4}の不等式に\(X = A_n^2\)を適用すると次を得る。

\begin{align} \mathrm{Pr}\left\{ |A_n^2 - \sigma^2| \geq \varepsilon \right\} \leq \cfrac{(\mu_4 -4\mu_3\mu + 6\mu_2\mu^2 - 3\mu^4  - \sigma^4) /n}{\varepsilon^2}\end{align}

したがって、\(n\to\infty\)のとき

\begin{align}&\lim_{n \to \infty} \mathrm{Pr}\left\{ |A_n^2 - \sigma^2| \geq \varepsilon \right\} \leq \cfrac{(\mu_4 -4\mu_3\mu + 6\mu_2\mu^2 - 3\mu^4  - \sigma^4) /n}{\varepsilon^2} \\ &\Leftrightarrow \mathrm{Pr}\left\{ |A^2 - \sigma^2| \geq \varepsilon \right\} \leq 0 \\ &\Leftrightarrow \mathrm{Pr}\left\{ |A^2 - \sigma^2| \geq \varepsilon \right\} =  0\\ &\Leftrightarrow \mathrm{Pr}\left\{ |A^2 - \sigma^2|  < \varepsilon \right\} =  1,\end{align}

ここに、\(A^2 = \lim_{n\to \infty} A_n^2\)である。上式は\eqref{eq1}の一致推定量の定義であることから、\(A_n^2\)は分散\(\sigma^2\)に確率収束する。故に、\(n \to\infty\)のとき標本分散\(S_n^2\)に対して次が成り立つ

\begin{align}\lim_{n\to \infty}\mathrm{Pr}\left\{|S_n - \sigma^2 <\varepsilon \right\} = 1.\end{align}

よって、標本分散\(s^2\)は\(\sigma^2\)の一致推定量である。□

不偏標本分散の一致性

不偏標本平均の一致性

不偏標本分散の確率変数列\(U_n^2\)を\( U_n^2= \cfrac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2\)とする。このとき

\begin{align}U_n^2 \overset{p}{\to} \sigma^2\end{align}

が成り立つ。

証明 不偏標本分散\(U_n^2\)は次のように表さる。

\begin{align}S_n^2 &=\cfrac{1}{n-1}\sum_{i=1}^{n} (X_i - \mu)^2 - \cfrac{n}{n-1}(\bar{X} - \mu)^2\end{align}

標本分散の一致性と同様に、第二項は\(0\)に確率収束する。第一項を\(A_n^2\)とおくと、その期待値と分散はぞれぞれ次となる。

\begin{align}\mathrm{E}[A_n^2] &=\cfrac{n-1}{n} \sigma^2\\&= \sigma^2 ,\\ \mathrm{Var}[A_n^2] &= \cfrac{n}{(n-1)^2}(\mu_4 -4\mu_3\mu + 6\mu_2\mu^2 - 3\mu^4  - \sigma^4).\end{align}

よって、\eqref{eq4}の不等式に\(X = U_n^2\)を適用すると次を得る。

\begin{align} \mathrm{Pr}\left\{ |U_n^2 - \sigma^2| \geq \varepsilon \right\} \leq \cfrac{n(\mu_4 -4\mu_3\mu + 6\mu_2\mu^2 - 3\mu^4  - \sigma^4)/(n-1)^2}{\varepsilon^2}\end{align}

したがって、\(n\to\infty\)のとき

\begin{align}&\lim_{n \to \infty} \mathrm{Pr}\left\{ |A_n^2 - n\sigma^2/(n-1)| \geq \varepsilon \right\} \leq \cfrac{n(\mu_4 -4\mu_3\mu + 6\mu_2\mu^2 - 3\mu^4  - \sigma^4)/(n-1)^2}{\varepsilon^2}\\ &\Leftrightarrow \mathrm{Pr}\left\{ |A^2 - \sigma^2| \geq \varepsilon \right\} \leq 0 \\ &\Leftrightarrow \mathrm{Pr}\left\{ |A^2 - \sigma^2| \geq \varepsilon \right\} =  0\\ &\Leftrightarrow \mathrm{Pr}\left\{ |A^2 - \sigma^2|  < \varepsilon \right\} =  1,\end{align}

ここに、\(A^2 = \lim_{n\to \infty} A_n^2\)である。上式は\eqref{eq1}の一致推定量の定義であることから、\(A_n^2\)は分散\(\sigma^2\)に確率収束する。故に、\(n \to\infty\)のとき標本分散\(U_n^2\)に対して次が成り立つ

\begin{align}\lim_{n\to \infty}\mathrm{Pr}\left\{|U_n - \sigma^2 <\varepsilon \right\} = 1.\end{align}

よって、不偏標本分散\(u^2\)は\(\sigma^2\)の一致推定量である。□

スポンサーリンク

  • この記事を書いた人
  • 最新記事

usagi-san

統計学とゲームとかをメインに解説していくよ。 数式とかプログラミングコードにミスがあったり質問があったりする場合はコメントで受け付けます。すぐに対応します。

-統計学
-