【統計学】標本分散と不偏標本分散について

母分散の推定量である標本分散と不偏標本分散について解説する。

標本分散と不偏標本分散の性質やなぜ母分散の推定量として不偏推定量が用いられているのか見ていく。

不偏推定量については次の記事を参照。

: 【統計学】不偏推定量　推定量の不偏性
点推定において重要な推定量である不偏推定量について解説する。不偏推定量やバイアスの定義を与えて、標本平均や不偏標本分散などの推定量の不偏性を確かめる。また、標本分散が不偏推定量ではないことも説明す ...
続きを見る

標本分散と不偏標本分散

標本分散と不偏標本分散を紹介する。

標本分散と不偏標本分散の定義はそれぞれ以下の通り。

標本分散

標本\(x_1, x_2, \dots, x_n\)に対して、標本分散は次で定義される。

\begin{align} s^2 &= \cfrac{1}{n}\sum_{i=1}^n(x_i- \bar{x})^2 , \end{align}

ここに\(\bar{x}\)は次で与えられる標本平均。

\begin{align}\bar{x} &= \cfrac{1}{n} \sum_{i = 1}^n x_i. \end{align}

不偏標本分散

標本\(x_1, x_2, \dots, x_n\)に対して、不偏標本分散は次で定義される。

\begin{align} u^2 &= \cfrac{1}{n - 1}\sum_{i=1}^n(x_i- \bar{x})^2 , \end{align}

ここに\(\bar{x}\)は次で与えられる標本平均。

\begin{align}\bar{x} &= \cfrac{1}{n} \sum_{i = 1}^n x_i. \end{align}

標本分散は偏差平方和を標本数で割ったもので定義され、不偏標本分散は標本数-1で割ったもので定義される。

標本分散と不偏標本分散の違いとして、次のように標本分散の期待値は母分散とは一致しないが、不偏標本分散の期待値は母分散と一致し不偏性を持つことが知られている。

\begin{align}\mathrm{E}[U^2] &= \mathrm{E}\left[\cfrac{1}{n-1}\sum_{i=1}^n(X_i- \bar{X})^2 \right]\\&= \cfrac{1}{n-1}\mathrm{E}\left[\sum_{i=1}^n\left\{(X_i- \mu) + (\mu - \bar{X} )\right\}^2 \right]\\&=\cfrac{1}{n-1} \mathrm{E}\left[\sum_{i=1}^n (X_i- \mu)^2 + 2\sum_{i=1}^n(X_i - \mu)(\mu - \bar{X} ) +\sum_{i=1}^n (\mu - \bar{X})^2 \right]\\ &= \cfrac{1}{n-1} \mathrm{E}\left[\sum_{i=1}^n (X_i- \mu)^2 + 2n(\bar{X} - \mu)(\mu - \bar{X} ) +n(\mu - \bar{X})^2 \right]\\&=\cfrac{1}{n-1} \left\{\sum_{i=1}^n \mathrm{E}\left[(X_i- \mu)^2 \right] - n\mathrm{E}\left[(\bar{X} - \mu)^2 \right] \right\} \\&= \cfrac{1}{n-1} \left(n \sigma^2 - n \cfrac{\sigma^2}{n}\right) \\ &= \cfrac{1}{n - 1} (n - 1) \sigma^2 \\ &= \sigma^2, \\ \mathrm{E}[S^2] &= \mathrm{E}\left[\cfrac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2\right]\\ &= \cfrac{1}{n}\mathrm{E}\left[\sum_{i=1}^n (X_i - \bar{X})^2\right]\\ &=\cfrac{1}{n} \left (n \sigma^2 - n \cfrac{\sigma^2}{n} \right) \\ &= \cfrac{1}{n}(n-1)\sigma^2\\ &= \cfrac{n-1}{n}\sigma^2\end{align}

ここに\(S^2\)と\(U^2\)はそれぞれ標本分散\(s^2\)と不偏標本分散\(u^2\)の確率変数である。

シミュレーション

なぜ標本分散ではなく不偏標本分散を母分散の推定量として用いるのか、シミュレーションを用いて説明する。

次のグラフは、平均0、分散1の正規分布から乱数を発生させたときの標本分散と不偏標本分散の精度を示している。

標本数に関して次で定義される2つの推定量のバイアスと平均二乗誤差を計算している。なお、シミュレーション回数は10000回である（\(t = 10000\)）。

\begin{align} \mathrm{Bias}(\hat{\sigma}^2) &= \cfrac{1}{t} \sum_{k = 1}^t \hat{\sigma}^2_k - \sigma, \\ \mathrm{MSE}(\hat{\sigma}^2) &= \cfrac{1}{t}\sum_{k = 1}^t (\hat{\sigma}^2_k - \sigma )^2 ,\end{align}

ここに\(\hat{\sigma}_k\)は\(k\)回目のシミュレーションの際の母分散の推定値である。

set.seed(1)
sampleSizes <- c(10, 20, 30, 40, 50)
times <- 10000
sigma <- 1

bias_s_squared <- NULL
bias_u_squared <- NULL
MSE_s_squared <- NULL
MSE_u_squared <- NULL

for(n in sampleSizes) {
  s_squared <- NULL
  u_squared <- NULL
  for(t in seq_len(times)) {
    x <- rnorm(n, sd = sqrt(sigma))
    u_squared <- append(u_squared, var(x))
    s_squared <- append(s_squared, ((n - 1) / n) * var(x))
  }
  bias_s_squared <- append(bias_s_squared, mean(s_squared) - sigma)
  bias_u_squared <- append(bias_u_squared, mean(u_squared) - sigma)
  MSE_s_squared <- append(MSE_s_squared, mean((s_squared - sigma)^2))
  MSE_u_squared <- append(MSE_u_squared, mean((u_squared - sigma)^2))
}

bias <- c(bias_s_squared, bias_u_squared)
MSE <- c(MSE_s_squared, MSE_u_squared)

plot(sampleSizes, abs(bias_s_squared), ylim = c(min(abs(bias)), max(abs(bias))), xlab = "Sample size", ylab = "Absolute value of Bias", type = "o", col = 2)
par(new = TRUE)
plot(sampleSizes, abs(bias_u_squared), ylim = c(min(abs(bias)), max(abs(bias))), type = "o", col = 4
     , xlab = "", ylab = "", xaxt = "n", yaxt = "n")
legend(x = "topright", legend = c("sample variance", "unbiased sample variance"), 
       col = c(2, 4), lty = c(1, 1), pch = c(1, 1))

plot(sampleSizes, MSE_s_squared, ylim = c(min(MSE), max(MSE)), xlab = "Sample size", ylab = "MSE", type = "o", col = 2)
par(new = TRUE)
plot(sampleSizes, MSE_u_squared, ylim = c(min(MSE), max(MSE)), type = "o", col = 4,
     xlab = "", ylab = "", xaxt = "n", yaxt = "n")
legend(x = "topright", legend = c("sample variance", "unbiased sample variance"), 
       col = c(2, 4), lty = c(1, 1), pch = c(1, 1))

set.seed(1)

sampleSizes <- c(10, 20, 30, 40, 50)

times <- 10000

sigma <- 1

bias_s_squared <- NULL

bias_u_squared <- NULL

MSE_s_squared <- NULL

MSE_u_squared <- NULL

for(n in sampleSizes) {

s_squared <- NULL

u_squared <- NULL

for(t in seq_len(times)) {

x <- rnorm(n, sd = sqrt(sigma))

u_squared <- append(u_squared, var(x))

s_squared <- append(s_squared, ((n - 1) / n) * var(x))

}

bias_s_squared <- append(bias_s_squared, mean(s_squared) - sigma)

bias_u_squared <- append(bias_u_squared, mean(u_squared) - sigma)

MSE_s_squared <- append(MSE_s_squared, mean((s_squared - sigma)^2))

MSE_u_squared <- append(MSE_u_squared, mean((u_squared - sigma)^2))

}

bias <- c(bias_s_squared, bias_u_squared)

MSE <- c(MSE_s_squared, MSE_u_squared)

plot(sampleSizes, abs(bias_s_squared), ylim = c(min(abs(bias)), max(abs(bias))), xlab = "Sample size", ylab = "Absolute value of Bias", type = "o", col = 2)

par(new = TRUE)

plot(sampleSizes, abs(bias_u_squared), ylim = c(min(abs(bias)), max(abs(bias))), type = "o", col = 4

, xlab = "", ylab = "", xaxt = "n", yaxt = "n")

legend(x = "topright", legend = c("sample variance", "unbiased sample variance"),

col = c(2, 4), lty = c(1, 1), pch = c(1, 1))

plot(sampleSizes, MSE_s_squared, ylim = c(min(MSE), max(MSE)), xlab = "Sample size", ylab = "MSE", type = "o", col = 2)

par(new = TRUE)

plot(sampleSizes, MSE_u_squared, ylim = c(min(MSE), max(MSE)), type = "o", col = 4,

xlab = "", ylab = "", xaxt = "n", yaxt = "n")

legend(x = "topright", legend = c("sample variance", "unbiased sample variance"),

col = c(2, 4), lty = c(1, 1), pch = c(1, 1))

バイアス

平均二乗誤差

標本数が大きくなると、標本分散と不偏標本分散のどちらもバイアスと平均二乗誤差が減少する傾向があるのがわかる。

2つの推定量のバイアスを比較すると、標本にかかわらず不偏標本分散のバイアスのほうが小さいことがいえる。

一方、平均二乗誤差に関しては不偏標本分散のほうが僅かに大きいことがわかる。

推定量の期待値が推定したいパラメータに等しい性質から分かるように、パラメータとのバイアスが小さくなるよう推定したい場合、不偏推定量を用いるべきであることがいえる。

usagi-san

統計学とゲームとかをメインに解説していくよ。数式とかプログラミングコードにミスがあったり質問があったりする場合はコメントで受け付けます。すぐに対応します。

2024/04/28

【R言語】F検定テンプレートスクリプト

2024/04/28

【R言語】経験密度関数・経験分布関数のプロット　関数densityとecdfの使い方

2024/04/10

【R言語】ベータ関数とガンマ関数　関数beta, gammaの使い方

usagi-sanの記事をもっと見る

-統計学
-統計学

comment コメントをキャンセル

: 統計学
【統計学】相関係数・ピアソンの積率相関係数
相関係数とピアソンの積率相関係数について解説する。相関係数およびピアソンの積率相関係数の定義を与え、その性質や幾何学的解釈などをみていく。相関係数の検定については以下の記事を参照されたい。相関係 ...

: 統計学
【統計学】正規分布の和の分布について
正規分布の和の分布について解説する。一般に独立な確率変数の和の分布が同じ分布に従うことは確率分布の再生性として知られており、様々な分布で成り立つ。その一方、独立でない分布の和の分布は同じ分布に従う ...

: 統計学
【統計学】母比率の検定・母比率の差の検定
通常の1標本の母比率の検定や2標本の母比率の差の検定を含む様々な母比率の検定を解説する。ここでは、Z検定を用いた大標本の下で母比率の検定について紹介し、検定統計量や棄却域の導出を行う。大標本におけ ...

: 統計学
【統計学】相関係数の検定・無相関性の検定
相関係数の検定を解説する。相関係数の検定の検定統計量や棄却域の導出について解説する。相関係数の分布の導出を行い、検定統計量をどのように構成すればよいかみていく。相関係数については以下の記事を参照 ...

: 統計学
【統計学】母平均の差の信頼区間
標本が正規分布に従う場合の母平均の差の信頼区間の導出についてみていきます。母分散が既知または未知である場合について二群の母平均の差の信頼区間を解説します。母平均の信頼区間については以下の記事を参照 ...

【R言語】コンソールのクリアの仕方

【R言語】パッケージのインストール　CRAN, GitHub, Bioconductor

【統計学】標本分散と不偏標本分散について

【統計学】不偏推定量 推定量の不偏性

標本分散と不偏標本分散

シミュレーション

【統計学】不偏推定量　推定量の不偏性