標本母集団分布が多変量正規分布である場合の標本平均ベクトルと不偏標本共分散行列の性質についてみていく。
ここでは標本平均ベクトルと不偏標本共分散行列の一致性を解説する。
十分性、完備性、有効性については、標本平均ベクトルと不偏標本共分散行列の十分性と完備性と有効性を参照されたい。
一致性
標本平均ベクトルと不偏標本共分散行列の一致性をみていく。単変量のとき、標本平均と不偏標本共分散は一致性をもつことを一致推定量で示した。これらの性質を多変量へと拡張する。
まず、一致推定量の定義を紹介する。
定義1 一致推定量
一致推定量
\(\mathrm{plim}_{n\to \infty} t_{in} = \theta_i,\ i = 1,\ldots, m\)のとき、ベクトル\(\boldsymbol{t}_n = (t_{1n}, \ldots, t_{mn})^T,\ n=1,2, \ldots\)の列は\(\boldsymbol{\theta} = (\theta_1, \ldots, \theta_{m})^T\)の一致推定量である。
上の定義は一致推定量で紹介した単変量の一致推定量を多変量へと拡張したものである。単変量のとき標本平均と不偏分散は一致性を持つことを示したが、多変量のときでも標本平均ベクトルと不偏標本共分散行列は次の一致性をもつ。
定理1 標本平均ベクトルと不偏標本共分散行列の一致性
標本平均ベクトルと不偏標本共分散行列の一致性
\(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_N\)を平均ベクトル\(\boldsymbol{\mu}\)、共分散行列\(\boldsymbol{\Sigma}\)をもつ同一母集団からの大きさ\(N\)の無作為標本とする。このとき標本平均ベクトル\(\bar{\boldsymbol{x}} = (1/N)\sum_{\alpha=1}^N\boldsymbol{x}_{\alpha}\)は平均ベクトル\(\mu\)の一致推定量であり、不偏標本共分散行列\(S = (1/n)\sum_{\alpha=1}^N(\boldsymbol{x}_{\alpha} - \bar{\boldsymbol{x}})(\boldsymbol{x}_{\alpha} - \bar{\boldsymbol{x}})^T\)は共分散行列\(\boldsymbol{\Sigma}\)の一致推定量である。ここに\(n=N-1\)。
証明 対数の法則により、独立同一母集団からの標本\(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_N\)に対し、標本平均ベクトル\(\bar{\boldsymbol{x}}\)は平均ベクトル\(\boldsymbol{\mu}\)の一致推定量である。母集団分布に正規性を仮定しなくてもこの性質は成り立つ。これは次のようにマルコフの不等式を用いて確認できる。一致性を示すために次のマルコフの不等式を用いる。
\begin{align}\label{eq1}\mathrm{Pr}\{ X \geq a \} \leq \cfrac{\mathrm{E}[X]}{a},\tag{1}\end{align}
ここに、\(a > 0\)である。\eqref{eq1}に\(X = (X - \mu)^2\)、\(a = \varepsilon^2\)とおくと、次の不等式が得られる。
\begin{align}&\mathrm{Pr}\{ (X - \mu)^2 \geq \varepsilon^2 \} \leq \cfrac{\mathrm{E}\bigl[(X - \mu)^2\bigr]}{\varepsilon^2}\\\label{eq2} &=\mathrm{Pr}\{ |X - \mu| \geq \varepsilon \} \leq \cfrac{\mathrm{Var}[X]}{\varepsilon^2} \tag{2},\end{align}
ここに、\(\forall \varepsilon >0\)である。標本平均ベクトルの分布より、\(\bar{\boldsymbol{X}}\)の第\(i\)成分の期待値と分散はそれぞれ次である。
\begin{align}\mathrm{E}[\bar{X}_i ]&= \mu_i,\\\mathrm{Var}[\bar{X}_i ] &= \cfrac{1}{N}\sigma_{ii}.\end{align}
\eqref{eq2}の不等式に\(X=\bar{X}_i\)を適用すると、次の不等式が得られる。
\begin{align}\mathrm{Pr}\{ |\bar{X}_i - \mu_i| \geq \varepsilon \} \leq \cfrac{\sigma_{ii} / n}{\varepsilon^2}\end{align}
\(n\to \infty\)のとき、上式は
\begin{align}& \lim_{N\to \infty} \mathrm{Pr}\{ |\bar{X}_i - \mu_i| \geq \varepsilon \} \leq \cfrac{\sigma_{ii} / n}{\varepsilon^2} \\ &= \mathrm{Pr}\{ |\bar{X}_i - \mu_i| \geq \varepsilon \} \leq 0\\ &= \mathrm{Pr}\{ |\bar{X}_i - \mu_i| \geq \varepsilon \} = 0\\ &\Leftrightarrow \mathrm{Pr}\{ |\bar{X}_i - \mu_i| < \varepsilon \} = 1 .\end{align}
故に\(\bar{x}_i\)は\(\mu_i\)の一致推定量である。よって\(\bar{\boldsymbol{x}}\)は\(\boldsymbol{\mu}\)の一致推定量であることが示された。
次に不偏標本共分散行列の一致性について証明する。不偏標本共分散行列は次のように書ける。
\begin{align}\label{eq4} s_{ij} = \cfrac{1}{n}\sum_{\alpha=1}^N(x_{i\alpha} - \mu_i)(x_{j\alpha} - \mu_j) - \cfrac{N}{n}(\bar{x}_i - \mu_i)(\bar{x}_j - \mu_j).\tag{4}\end{align}
\(\mathrm{plim}_{N\to \infty} \bar{x}_i = \mu_i\)より、\eqref{eq4}の第二項の確率極限は\(0\)である。故に、第一項のみマルコフの不等式に適用することを考える。第一項を\(a_ij\)とすると、\(a_{ij}\)の期待値と分散は次となる。
\begin{align}\mathrm{E}[A_{ij}^2] &=\mathrm{E}\left[\cfrac{1}{n}\sum_{\alpha=1}^{N}(x_{i\alpha} - \mu_i)(x_{j\alpha} - \mu_j) \right] \\&=\cfrac{1}{n} \sum_{\alpha=1}^{N} \mathrm{E}[(x_{i\alpha} - \mu_i)(x_{j\alpha} - \mu_j) ] \\&= \cfrac{N}{n} \sigma_{ij},\\ \mathrm{Var}[A_{ij}] &= \mathrm{Var}\left[\cfrac{1}{n}\sum_{\alpha=1}^{N} (x_{i\alpha} - \mu_i)(x_{j\alpha} - \mu_j)\right] \\&= \cfrac{1}{n^2}\sum_{\alpha=1}^{N} \mathrm{Var}[(x_{i\alpha} - \mu_i)(x_{j\alpha} - \mu_j) ] \\&= \cfrac{1}{n^2}\sum_{\alpha=1}^{N}\left[ \mathrm{E}[(x_{i\alpha} - \mu_i)^2(x_{j\alpha} - \mu_j)^2] - \bigl(\mathrm{E}[(x_{i\alpha} - \mu_i)(x_{j\alpha} - \mu_j)]\bigr)^2\right]\\ &= \cfrac{1}{n^2}\sum_{\alpha=1}^{N}\left[ \sigma_{ii}\sigma_{jj} + 2\sigma_{ij}^2- \sigma_{ij}^2\right]\\&=\cfrac{N}{n^2}( \sigma_{ii}\sigma_{jj} + \sigma_{ij}^2). \end{align}
よって、\eqref{eq4}の不等式に\(X = A_{ij}\)を適用すると次を得る。
\begin{align} \mathrm{Pr}\left\{ \left|A_{ij}^2 - \cfrac{N}{n}\sigma_{ij}\right| \geq \varepsilon \right\} \leq \cfrac{(N/n^2)( \sigma_{ii}\sigma_{jj} + \sigma_{ij}^2)}{\varepsilon^2}\end{align}
したがって、\(N\to\infty\)のとき
\begin{align}&\lim_{N\to\infty} \mathrm{Pr}\left\{ \left|A_{ij} - \cfrac{N}{n}\sigma_{ij}\right| \geq \varepsilon \right\} \leq \cfrac{(N/n^2)( \sigma_{ii}\sigma_{jj} + \sigma_{ij}^2)}{\varepsilon^2}\\ &= \mathrm{Pr}\left\{ |A_{ij} - \sigma_{ij}| \geq \varepsilon \right\} \leq 0 \\ &= \mathrm{Pr}\left\{ |A_{ij} - \sigma_{ij}| \geq \varepsilon \right\} = 0.\end{align}
よって\(\mathrm{plim}_{N\to\infty}a_{ij} = \sigma_{ij}\)である。故に
\begin{align}\lim_{N\to\infty}s_{ij} &= \lim_{N\to\infty}\left[\cfrac{1}{n}\sum_{\alpha=1}^N(x_{i\alpha} - \mu_i)(x_{j\alpha} - \mu_j) - \cfrac{N}{n}(\bar{x}_i - \mu_i)(\bar{x}_j - \mu_j) \right]\\ &= \lim_{N\to\infty} a_{ij} + 0\\&= \sigma_{ij}.\end{align}
したがって、\(s_{ij}\)は\(\sigma_{ij}\)の一致推定量であることが示された。不偏標本共分散行列\(\boldsymbol{S}\)は共分散行列\(\boldsymbol{\Sigma}\)の一致推定量である。□
