【統計学】標本分散と不偏標本分散について

母分散の推定量である標本分散と不偏標本分散について解説する。

標本分散と不偏標本分散の性質やなぜ母分散の推定量として不偏推定量が用いられているのか見ていく。

不偏推定量については次の記事を参照。

: 【統計学】不偏推定量　推定量の不偏性
点推定において重要な推定量である不偏推定量について解説する。不偏推定量やバイアスの定義を与えて、標本平均や不偏標本分散などの推定量の不偏性を確かめる。また、標本分散が不偏推定量ではないことも説明す ...
続きを見る

標本分散と不偏標本分散

標本分散と不偏標本分散を紹介する。

標本分散と不偏標本分散の定義はそれぞれ以下の通り。

標本分散

標本\(x_1, x_2, \dots, x_n\)に対して、標本分散は次で定義される。

\begin{align} s^2 &= \cfrac{1}{n}\sum_{i=1}^n(x_i- \bar{x})^2 , \end{align}

ここに\(\bar{x}\)は次で与えられる標本平均。

\begin{align}\bar{x} &= \cfrac{1}{n} \sum_{i = 1}^n x_i. \end{align}

不偏標本分散

標本\(x_1, x_2, \dots, x_n\)に対して、不偏標本分散は次で定義される。

\begin{align} u^2 &= \cfrac{1}{n - 1}\sum_{i=1}^n(x_i- \bar{x})^2 , \end{align}

ここに\(\bar{x}\)は次で与えられる標本平均。

\begin{align}\bar{x} &= \cfrac{1}{n} \sum_{i = 1}^n x_i. \end{align}

標本分散は偏差平方和を標本数で割ったもので定義され、不偏標本分散は標本数-1で割ったもので定義される。

標本分散と不偏標本分散の違いとして、次のように標本分散の期待値は母分散とは一致しないが、不偏標本分散の期待値は母分散と一致し不偏性を持つことが知られている。

\begin{align}\mathrm{E}[U^2] &= \mathrm{E}\left[\cfrac{1}{n-1}\sum_{i=1}^n(X_i- \bar{X})^2 \right]\\&= \cfrac{1}{n-1}\mathrm{E}\left[\sum_{i=1}^n\left\{(X_i- \mu) + (\mu - \bar{X} )\right\}^2 \right]\\&=\cfrac{1}{n-1} \mathrm{E}\left[\sum_{i=1}^n (X_i- \mu)^2 + 2\sum_{i=1}^n(X_i - \mu)(\mu - \bar{X} ) +\sum_{i=1}^n (\mu - \bar{X})^2 \right]\\ &= \cfrac{1}{n-1} \mathrm{E}\left[\sum_{i=1}^n (X_i- \mu)^2 + 2n(\bar{X} - \mu)(\mu - \bar{X} ) +n(\mu - \bar{X})^2 \right]\\&=\cfrac{1}{n-1} \left\{\sum_{i=1}^n \mathrm{E}\left[(X_i- \mu)^2 \right] - n\mathrm{E}\left[(\bar{X} - \mu)^2 \right] \right\} \\&= \cfrac{1}{n-1} \left(n \sigma^2 - n \cfrac{\sigma^2}{n}\right) \\ &= \cfrac{1}{n - 1} (n - 1) \sigma^2 \\ &= \sigma^2, \\ \mathrm{E}[S^2] &= \mathrm{E}\left[\cfrac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2\right]\\ &= \cfrac{1}{n}\mathrm{E}\left[\sum_{i=1}^n (X_i - \bar{X})^2\right]\\ &=\cfrac{1}{n} \left (n \sigma^2 - n \cfrac{\sigma^2}{n} \right) \\ &= \cfrac{1}{n}(n-1)\sigma^2\\ &= \cfrac{n-1}{n}\sigma^2\end{align}

ここに\(S^2\)と\(U^2\)はそれぞれ標本分散\(s^2\)と不偏標本分散\(u^2\)の確率変数である。

シミュレーション

なぜ標本分散ではなく不偏標本分散を母分散の推定量として用いるのか、シミュレーションを用いて説明する。

次のグラフは、平均0、分散1の正規分布から乱数を発生させたときの標本分散と不偏標本分散の精度を示している。

標本数に関して次で定義される2つの推定量のバイアスと平均二乗誤差を計算している。なお、シミュレーション回数は10000回である（\(t = 10000\)）。

\begin{align} \mathrm{Bias}(\hat{\sigma}^2) &= \cfrac{1}{t} \sum_{k = 1}^t \hat{\sigma}^2_k - \sigma, \\ \mathrm{MSE}(\hat{\sigma}^2) &= \cfrac{1}{t}\sum_{k = 1}^t (\hat{\sigma}^2_k - \sigma )^2 ,\end{align}

ここに\(\hat{\sigma}_k\)は\(k\)回目のシミュレーションの際の母分散の推定値である。

set.seed(1)
sampleSizes <- c(10, 20, 30, 40, 50)
times <- 10000
sigma <- 1

bias_s_squared <- NULL
bias_u_squared <- NULL
MSE_s_squared <- NULL
MSE_u_squared <- NULL

for(n in sampleSizes) {
  s_squared <- NULL
  u_squared <- NULL
  for(t in seq_len(times)) {
    x <- rnorm(n, sd = sqrt(sigma))
    u_squared <- append(u_squared, var(x))
    s_squared <- append(s_squared, ((n - 1) / n) * var(x))
  }
  bias_s_squared <- append(bias_s_squared, mean(s_squared) - sigma)
  bias_u_squared <- append(bias_u_squared, mean(u_squared) - sigma)
  MSE_s_squared <- append(MSE_s_squared, mean((s_squared - sigma)^2))
  MSE_u_squared <- append(MSE_u_squared, mean((u_squared - sigma)^2))
}

bias <- c(bias_s_squared, bias_u_squared)
MSE <- c(MSE_s_squared, MSE_u_squared)

plot(sampleSizes, abs(bias_s_squared), ylim = c(min(abs(bias)), max(abs(bias))), xlab = "Sample size", ylab = "Absolute value of Bias", type = "o", col = 2)
par(new = TRUE)
plot(sampleSizes, abs(bias_u_squared), ylim = c(min(abs(bias)), max(abs(bias))), type = "o", col = 4
     , xlab = "", ylab = "", xaxt = "n", yaxt = "n")
legend(x = "topright", legend = c("sample variance", "unbiased sample variance"), 
       col = c(2, 4), lty = c(1, 1), pch = c(1, 1))

plot(sampleSizes, MSE_s_squared, ylim = c(min(MSE), max(MSE)), xlab = "Sample size", ylab = "MSE", type = "o", col = 2)
par(new = TRUE)
plot(sampleSizes, MSE_u_squared, ylim = c(min(MSE), max(MSE)), type = "o", col = 4,
     xlab = "", ylab = "", xaxt = "n", yaxt = "n")
legend(x = "topright", legend = c("sample variance", "unbiased sample variance"), 
       col = c(2, 4), lty = c(1, 1), pch = c(1, 1))

set.seed(1)

sampleSizes <- c(10, 20, 30, 40, 50)

times <- 10000

sigma <- 1

bias_s_squared <- NULL

bias_u_squared <- NULL

MSE_s_squared <- NULL

MSE_u_squared <- NULL

for(n in sampleSizes) {

s_squared <- NULL

u_squared <- NULL

for(t in seq_len(times)) {

x <- rnorm(n, sd = sqrt(sigma))

u_squared <- append(u_squared, var(x))

s_squared <- append(s_squared, ((n - 1) / n) * var(x))

}

bias_s_squared <- append(bias_s_squared, mean(s_squared) - sigma)

bias_u_squared <- append(bias_u_squared, mean(u_squared) - sigma)

MSE_s_squared <- append(MSE_s_squared, mean((s_squared - sigma)^2))

MSE_u_squared <- append(MSE_u_squared, mean((u_squared - sigma)^2))

}

bias <- c(bias_s_squared, bias_u_squared)

MSE <- c(MSE_s_squared, MSE_u_squared)

plot(sampleSizes, abs(bias_s_squared), ylim = c(min(abs(bias)), max(abs(bias))), xlab = "Sample size", ylab = "Absolute value of Bias", type = "o", col = 2)

par(new = TRUE)

plot(sampleSizes, abs(bias_u_squared), ylim = c(min(abs(bias)), max(abs(bias))), type = "o", col = 4

, xlab = "", ylab = "", xaxt = "n", yaxt = "n")

legend(x = "topright", legend = c("sample variance", "unbiased sample variance"),

col = c(2, 4), lty = c(1, 1), pch = c(1, 1))

plot(sampleSizes, MSE_s_squared, ylim = c(min(MSE), max(MSE)), xlab = "Sample size", ylab = "MSE", type = "o", col = 2)

par(new = TRUE)

plot(sampleSizes, MSE_u_squared, ylim = c(min(MSE), max(MSE)), type = "o", col = 4,

xlab = "", ylab = "", xaxt = "n", yaxt = "n")

legend(x = "topright", legend = c("sample variance", "unbiased sample variance"),

col = c(2, 4), lty = c(1, 1), pch = c(1, 1))

バイアス

平均二乗誤差

標本数が大きくなると、標本分散と不偏標本分散のどちらもバイアスと平均二乗誤差が減少する傾向があるのがわかる。

2つの推定量のバイアスを比較すると、標本にかかわらず不偏標本分散のバイアスのほうが小さいことがいえる。

一方、平均二乗誤差に関しては不偏標本分散のほうが僅かに大きいことがわかる。

推定量の期待値が推定したいパラメータに等しい性質から分かるように、パラメータとのバイアスが小さくなるよう推定したい場合、不偏推定量を用いるべきであることがいえる。

usagi-san

統計学とゲームとかをメインに解説していくよ。数式とかプログラミングコードにミスがあったり質問があったりする場合はコメントで受け付けます。すぐに対応します。

2024/04/28

【R言語】F検定テンプレートスクリプト

2024/04/28

【R言語】経験密度関数・経験分布関数のプロット　関数densityとecdfの使い方

2024/04/10

【R言語】ベータ関数とガンマ関数　関数beta, gammaの使い方

usagi-sanの記事をもっと見る

-統計学
-統計学

comment コメントをキャンセル

: 統計学
【統計学】標本中央値の分布
標本中央値の分布を導出する。統計学で重要な位置パラメータの1つである標本中央値の確率密度関数と分布関数を導出する。また標本中央値は順序統計量の特殊な場合であり、順序統計量の確率密度関数と分布関数か ...

: 統計学
離散分布の特性関数【統計学】
ここでは特性関数を定義し、様々な分布の特性関数を導出していく。特性関数と確率関数との関係、また、積率（モーメント）との関係も述べる。離散確率変数の特性関数ある確率変数に対して、特性関数が存在する ...

: 統計学
【統計学】連続分布　確率密度関数　同時分布・周辺分布・条件付き分布
連続確率変数のもつ確率密度関数についてみていく。確率密度関数の定義を与えて、同時確率密度関数や条件付き確率密度関数などを具体例とともに解説する。確率密度関数については以下を参照されたい。確率密度 ...

: 統計学
【統計学】オッズ比の信頼区間
オッズ比の信頼区間を解説する。オッズ比の信頼区間とその導出方法についてみていく。対数オッズ比が漸近的に正規分布に従うこととを用いてオッズ比の信頼区間を構成する。オッズ比については次の記事を参照され ...

: 統計学
【統計学】二項分布とポアソン分布の関係　ポアソンの極限定理
二項分布とポアソン分布の関係についてであるポアソンの極限定理とその証明を解説する。二項分布のパラメータ\(p\)が十分に小さいとき\(n\)を大きくすると、二項分布に従う確率変数はポアソン分布に従う ...

【R言語】コンソールのクリアの仕方

【R言語】パッケージのインストール　CRAN, GitHub, Bioconductor

【統計学】標本分散と不偏標本分散について

【統計学】不偏推定量 推定量の不偏性

標本分散と不偏標本分散

シミュレーション

【統計学】不偏推定量　推定量の不偏性