点推定において重要な推定量である不偏推定量について解説する。
不偏推定量やバイアスの定義を与えて、標本平均や不偏標本分散などの推定量の不偏性を確かめる。
また、標本分散が不偏推定量ではないことも説明する。
統計量の一致性については次の記事を参照されたい。
-
【統計学】一致推定量・統計量の一致性
統計量における推定量の1つである一致推定量についてみていく。 推定量の一致性はZ検定などの大標本においてきわめて重要である。 この記事では、一致推定量の定義を与えて種々の推定量（標本平均や標本分散）が ...
続きを見る
統計学の入門書におすすめ！
¥3,080 （2022/06/27 19:34時点 | Amazon調べ）
ポチップ ¥1,980 （2022/06/27 19:37時点 | Amazon調べ）
ポチップ
推定量のバイアス
推定量の不偏性の尺度である推定量バイアス（偏り）についてみていく。
定義1 バイアス
バイアス
\(x\)をパラメータ\(\theta\)をもつ母集団の標本とし、\(\hat{\theta}\)を\(\theta\)の推定量とする。このとき推定量\(\hat{\theta}\)のバイアスは次で定義される。
\begin{align}\label{eq1} \mathrm{Bias}(\hat{\theta}, \theta) = \mathrm{E}_{X|\theta}[\hat{\theta}]- \theta.\tag{1}\end{align}
上の定義から分かるように推定量のバイアスとは「標本空間での推定量の期待値とパラメータとの差」である。この差が小さいほど推定量\(\hat{\theta}\)のバイアス\(\mathrm{B}(\hat{\theta}, \theta)\)は小さく、バイアスの観点から良い推定量であることが言える。また、特にバイアスが\(0\)であるとき、推定量\(\hat{\theta}\)は不偏推定量と呼ばれる。不偏推定量の定義は以下のとおりである。
定義2 不偏推定量
不偏推定量
\(x\)をパラメータ\(\theta\)をもつ母集団の標本とし、\(\hat{\theta}\)を\(\theta\)の推定量とする。推定量\(\hat{\theta}\)が次を満たすとき、\(\hat{\theta}\)は不偏性をもつという。
\begin{align} \mathrm{E}_{X|\theta}[\hat{\theta}] = \theta.\end{align}
この後、定義2を用いて標本平均や不偏標本分散の不偏性を示していく。
不偏推定量の例
様々な推定量の不偏性についてみていく。標本平均と不偏標本分散の期待値がそれぞれ平均と分散になることを示し、補足として、標本分散が不偏性を持たないことも示す。
\(x_1, \ldots, x_n\)を平均\(\mu\)と分散\(\sigma^2\)をもつ母集団からの無作為標本とする。このとき、標本平均と標本分散、不偏標本分散をそれぞれ次の\(\bar{x}\)と\(s^2\)、\(u^2\)で定義する。
\begin{align}\bar{x} &= \cfrac{}{}\sum_{i=1}^nx_{i},\\ s^2 &= \cfrac{1}{n}\sum_{i=1}^n(x_i - \bar{x})^2, \\ u^2 &= \cfrac{1}{n-1}\sum_{i=1}^n(x_i - \bar{x})^2. \end{align}
標本平均
標本平均\(\bar{x}\)の不偏性を示す。\(\bar{X}\)を標本平均\(\bar{x}\)の確率変数とする。このとき\(\bar{X}\)の期待値は次となる。
\begin{align}\mathrm{E}[\bar{X}] &= \mathrm{E}\left[\cfrac{1}{n}\sum_{i=1}^nX_i\right]\\&= \cfrac{1}{n}\sum_{i=1}^n\mathrm{E}[X_i]\\&= \cfrac{1}{n}n\mu\\&=\mu.\end{align}
2行目は確率変数の和の期待値がそれぞれの確率変数の期待値の和となることを利用した。したがって、標本平均\(\bar{x}\)は平均\(\mu\)の不偏推定量である。
標本母集団が正規分布であるときの平均の最尤推定量である\(\bar{x}\)は不偏性をもつことが示された。このように最尤推定量は様々な良い性質を持つことが知られている。
不偏標本分散
不偏標本分散\(U^2\)の不偏性を示す。\(U^2\)を不偏標本分散\(u^2\)の確率変数とする。このとき\(U^2\)の期待値は次となる。
\begin{align}\mathrm{E}[U^2] &= \mathrm{E}\left[\cfrac{1}{n-1}\sum_{i=1}^n(X_i- \bar{X})^2 \right]\\&= \cfrac{1}{n-1}\mathrm{E}\left[\sum_{i=1}^n\left\{(X_i- \mu) + (\mu - \bar{X} )\right\}^2 \right]\\&= \cfrac{1}{n-1} \mathrm{E}\left[\sum_{i=1}^n (X_i- \mu)^2 + 2\sum_{i=1}^n(X_i - \mu)(\mu - \bar{X} ) +\sum_{i=1}^n (\mu - \bar{X})^2 \right] \\ &= \cfrac{1}{n-1} \mathrm{E}\left[\sum_{i=1}^n (X_i- \mu)^2 + 2n(\bar{X} - \mu)(\mu - \bar{X} ) +n(\mu - \bar{X})^2 \right]\\&=\cfrac{1}{n-1} \left\{\sum_{i=1}^n \mathrm{E}\left[(X_i- \mu)^2 \right] - n\mathrm{E}\left[(\bar{X} - \mu)^2 \right] \right\} \\&= \cfrac{1}{n-1} \left(n \sigma^2 - n \cfrac{\sigma^2}{n}\right) \\ &= \cfrac{1}{n - 1} (n - 1) \sigma^2 \\ \label{eq2} &= \sigma^2.\tag{2}\end{align}
したがって、不偏標本分散\(u^2\)は分散\(\sigma^2\)の不偏推定量である。
補足 標本分散が不偏推定量ではない
\(S^2\)を標本分散\(s^2\)の確率変数としたとき、\eqref{eq2}と同様にして、標本分散の期待値は
\begin{align}\mathrm{E}[S^2] &= \mathrm{E}\left[\cfrac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2\right]\\ &= \cfrac{1}{n}\mathrm{E}\left[\sum_{i=1}^n (X_i - \bar{X})^2\right]\\ &=\cfrac{1}{n} \left (n \sigma^2 - n \cfrac{\sigma^2}{n} \right) \\ &= \cfrac{1}{n}(n-1)\sigma^2\\ \label{eq3} &= \cfrac{n-1}{n}\sigma^2.\tag{3}\end{align}
したがって、標本分散\(s^2\)は不偏推定量ではないことが示された。
標本母集団が正規分布である場合の平均の最尤推定量は標本平均\(\bar{x}\)、分散の最尤推定量は標本分散\(s^2\)である。標本平均で示したように標本平均は不偏性をもつが、\eqref{eq3}のように標本分散は不偏性をもたない。
ポチップ