標本母集団分布が多変量正規分布である場合の標本平均ベクトルと不偏標本共分散行列の性質についてみていく。
ここでは標本平均ベクトルと不偏標本共分散行列の漸近正規性を解説する。
十分性、完備性、有効性、一致性については、それぞれ標本平均ベクトルと不偏標本共分散行列の十分性と完備性、有効性、一致性を参照されたい。
漸近正規性
標本平均ベクトルと不偏標本共分散行列の漸近正規性をみていく。標本平均の分布で説明した中心極限定理を多変量へと拡張していく。
まず、多変量中心極限定理についてみていく。
定理1 多変量中心極限定理
多変量中心極限定理
\(m\)次元確率ベクトル\(\boldsymbol{Y}_1, \boldsymbol{Y}_2, \ldots\)は独立であり、平均ベクトル\(\mathrm{E}[\boldsymbol{Y}_{\alpha}] = \boldsymbol{\nu}\)、共分散行列\(\mathrm{E}[(\boldsymbol{Y}_{\alpha} - \boldsymbol{\nu})(\boldsymbol{Y}_{\alpha} - \boldsymbol{\nu})^T] = \boldsymbol{T}\)をもつ同一な分布に従うとする。このとき\(n\to\infty\)の下で\((1/\sqrt{n}) \sum_{\alpha = 1}^n(\boldsymbol{Y}_{\alpha} - \boldsymbol{\nu})\)は漸近的に\(N(0,1)\)に従う。
証明 \(\phi_n(\boldsymbol{t}, u)\)を次で定義する。
\begin{align}\label{eq1} \phi_n(\boldsymbol{t}, u) &= \mathrm{E}\left[\exp\left\{iu\boldsymbol{t}^T\cfrac{1}{\sqrt{n}}\sum_{\alpha=1}^n(\boldsymbol{Y}_{\alpha} - \boldsymbol{\nu}) \right\}\right],\tag{1} \end{align}
ここに\(u\)はスカラーであり、\(\boldsymbol{t}\)は\(m\)次元ベクトルとする。\(\boldsymbol{t}\)を固定すると\(\phi_n(\boldsymbol{t}, u)\)は\((1/\sqrt{n})\sum_{\alpha=1}^n(\boldsymbol{t}^T\boldsymbol{Y}_{\alpha} - \mathrm{E}[\boldsymbol{t}^T\boldsymbol{Y}_{\alpha} ])\)の特性関数であると考えられる。単変量中心極限定理より、\((1/\sqrt{n}) \sum_{\alpha=1}^n(\boldsymbol{t}^T\boldsymbol{Y}_{\alpha} - \mathrm{E}[\boldsymbol{t}^T\boldsymbol{Y}_{\alpha}])\)は漸近的に\(N(\boldsymbol{0}, \boldsymbol{t}^T\boldsymbol{Tt})\)に従う。したがって任意の\(u\)と\(\boldsymbol{t}\)に対して
\begin{align}\label{eq2} \lim_{n\to\infty} \phi_n(\boldsymbol{t}, u) &= e^{iu\cdot0 - \frac{1}{2}u^2\boldsymbol{t}^T\boldsymbol{T}\boldsymbol{t}}\\ &= e^{-\frac{1}{2}u^2\boldsymbol{t}^T\boldsymbol{T}\boldsymbol{t}}.\tag{2}\end{align}
ここで\(u=1\)とすると、任意の\(\boldsymbol{t}\)に対して次を得る。
\begin{align} \lim_{n\to\infty} \mathrm{E}\left[\exp\left\{i \boldsymbol{t}^T\cfrac{1}{\sqrt{n}}\sum_{\alpha=1}^n (\boldsymbol{Y}_{\alpha}- \boldsymbol{\nu})\right\}\right] &= \lim_{n\to\infty} \phi_n(\boldsymbol{t}, 1)\\\label{eq3} &= e^{-\frac{1}{2} \boldsymbol{t}^T\boldsymbol{T}\boldsymbol{t}}.\tag{3} \end{align}
また、\eqref{eq3}の左辺は\((1/\sqrt{n}) \sum_{\alpha=1}^n(\boldsymbol{Y}_{\alpha} - \boldsymbol{\nu})\)の特性関数であり、右辺は平均ベクトル\(\boldsymbol{0}\)、共分散行列\(\boldsymbol{T}\)の多変量正規分布の特性関数と一致する。また、\(e^{-\frac{1}{2} \boldsymbol{t}^T\boldsymbol{T}\boldsymbol{t}}\)は\(\boldsymbol{t} = \boldsymbol{0}\)で連続であるので、\(\boldsymbol{t} = \boldsymbol{0}\)において極限が一意に存在する。したがって定理が証明された。□
また、標本共分散行列の漸近正規性についても紹介する。標本数が十分に大きい場合、標本共分散行列について次の性質がいえる。
定理2 標本共分散行列の漸近正規性
標本共分散行列の漸近正規性
\(\boldsymbol{A}(n) = \sum_{\alpha=1}^N(\boldsymbol{X}_{\alpha} - \bar{\boldsymbol{X}}_N)(\boldsymbol{X}_{\alpha} - \bar{\boldsymbol{X}}_N)^T\)
とする。ここに\(\boldsymbol{X}_1, \boldsymbol{X}_2, \ldots\)は独立に\(N(\boldsymbol{\mu}, \boldsymbol{\Sigma})\)に従い、\(n=N-1\)である。このとき\(N\to\infty\)の下で、\(\boldsymbol{B}(n) = (1/\sqrt{n}) [\boldsymbol{A}(n) - n\boldsymbol{\Sigma}]\)は漸近的に平均ベクトル\(\boldsymbol{0}\)と次の共分散行列をもつ正規分布に従う。
\begin{align}&\mathrm{E}\Bigl[\bigl(b_{ij}(n) - \mathrm{E}[b_{ij}(n)] \bigr)\bigl(b_{kl}(n) - \mathrm{E}[b_{kl}(n)] \bigr)] \\&= \mathrm{E}\bigl[b_{ij}(n) b_{kl}(n)\bigr]\\\label{eq4} &= \sigma_{ik}\sigma_{jl} + \sigma_{il}\sigma_{jk}.\tag{4}\end{align}
証明 標本平均ベクトルの分布で紹介したように、\(\boldsymbol{A}(n)=\sum_{\alpha=1}^n\boldsymbol{Z}_{\alpha}\boldsymbol{Z}_{\alpha}^T\)と書ける。ここに\(\boldsymbol{Z}_1, \ldots, \boldsymbol{Z}_n\)は独立に\(N(\boldsymbol{0}, \boldsymbol{\Sigma})\)に従う。\(\boldsymbol{Z}_{\alpha}\)による表現を用いて\(\boldsymbol{A}(n)\)の要素を次のようにベクトルに並べる。
\begin{align}\label{eq5} \boldsymbol{Y}_{\alpha} = \begin{pmatrix}Z_{1\alpha}^2 \\ Z_{1\alpha}Z_{2\alpha}\\ \vdots \\ Z_{2\alpha}^2\\ \vdots \\ Z_{p\alpha}^2\end{pmatrix} \tag{5}\end{align}
多変量正規分布のモーメントより、\(\boldsymbol{Y}_{\alpha}\)のモーメント次のように計算できる。
\begin{align}&\mathrm{E}\Bigl[\bigl(Z_{i\alpha} - \mathrm{E}[Z_{i\alpha}]\bigr)\bigl(Z_{j\alpha} - \mathrm{E}[Z_{j\alpha}]\bigr)\Bigr]\\&= \mathrm{E}[Z_{i\alpha}Z_{j\alpha}]\\&=\sigma_{ij},\\&\mathrm{E}\Bigl[\bigl(Z_{i\alpha} - \mathrm{E}[Z_{i\alpha}]\bigr)\bigl(Z_{j\alpha} - \mathrm{E}[Z_{j\alpha}]\bigr)\bigl(Z_{k\alpha} - \mathrm{E}[Z_{k\alpha}]\bigr)\bigl(Z_{l\alpha} - \mathrm{E}[Z_{l\alpha}]\bigr)\Bigr]\\ &= \mathrm{E}[Z_{i\alpha}Z_{j\alpha}Z_{k\alpha}Z_{l\alpha}]\\ &= \sigma_{ij}\sigma_{kl} + \sigma_{ik}\sigma_{jl} + \sigma_{il}\sigma_{jk},\\ &\mathrm{E}\Bigl[\bigl(Z_{i\alpha}Z_{j\alpha} - \mathrm{E}[Z_{i\alpha}Z_{j\alpha}]\bigr)\bigl(Z_{k\alpha}Z_{l\alpha} - \mathrm{E}[Z_{k\alpha}Z_{l\alpha}]\bigr)\Bigr]\\&= \mathrm{E}[Z_{i\alpha}Z_{j\alpha}Z_{k\alpha}Z_{l\alpha} - Z_{i\alpha}Z_{j\alpha}\sigma_{kl} - \sigma_{ij}Z_{k\alpha}Z{l\alpha} + \sigma_{ij}\sigma_{kl}]\\&= \sigma_{ij}\sigma_{kl} + \sigma_{ik}\sigma_{jl}+ \sigma_{il}\sigma_{jk} - \sigma_{ij}\sigma_{kl} - \sigma_{ij}\sigma_{kl} + \sigma_{ij} + \sigma_{kl}\\ &= \sigma_{ik}\sigma_{jl} + \sigma_{il}\sigma_{jk}.\end{align}
このことから\(\boldsymbol{Y}_{\alpha}\)の平均ベクトル\(\boldsymbol{\nu}\)と共分散行列\(\boldsymbol{T}\)はそれぞれ次となる。
\begin{align}\boldsymbol{\nu} &= \mathrm{E}[\boldsymbol{Y}_{\alpha}] = \begin{pmatrix}\mathrm{E}[Z_{1\alpha}^2] \\ \mathrm{E}[Z_{1\alpha}Z_{2\alpha}]\\ \vdots \\ \mathrm{E}[Z_{2\alpha}^2] \\ \vdots \\ \mathrm{E}[Z_{p\alpha}^2]\end{pmatrix} = \begin{pmatrix}\sigma_{11}\\ \sigma_{12}\\ \vdots\ \sigma_{22}\\\vdots\\ \sigma_{pp}\end{pmatrix},\\ \boldsymbol{T} &= \mathrm{E}\bigl[(\boldsymbol{Y}_{\alpha} - \boldsymbol{\nu})(\boldsymbol{Y}_{\alpha} - \boldsymbol{\nu})^T\bigr]\\&= \begin{pmatrix}\mathrm{E}\bigl[(Z_{1\alpha}^2 - \sigma_{11})^2\bigr] & \mathrm{E}\bigl[(Z_{1\alpha}^2 - \sigma_{11})(Z_{1\alpha}Z_{2\alpha} - \sigma_{12})\bigr] & \cdots & \mathrm{E}\bigl[(Z_{1\alpha^2} - \sigma_{11})(Z_{2\alpha}^2 - \sigma_{22})\bigr] & \cdots & \mathrm{E}\bigl[(Z_{1\alpha}^2 - \sigma_{11})(Z_{p\alpha}^2 - \sigma_{pp})\bigr] \\ \mathrm{E}\bigl[(Z_{1\alpha}Z_{2\alpha} - \sigma_{12})(Z_{1\alpha}^2 - \sigma_{11})\bigr] & \mathrm{E}\bigl[(Z_{1\alpha}Z_{2\alpha} - \sigma_{12})^2\bigr] & \cdots & \mathrm{E}\bigl[(Z_{1\alpha}Z_{2\alpha} - \sigma_{12})(Z_{2\alpha}^2 - \sigma_{22})\bigr] &\cdots & \mathrm{E}\bigl[(Z_{1\alpha}Z_{2\alpha} - \sigma_{12})(Z_{p\alpha} - \sigma_{pp})\bigr] \\ \vdots &\vdots & & \vdots & & \vdots\\ \mathrm{E}\bigl[(Z_{2\alpha}^2 - \sigma_{22})(Z_{1\alpha}^2 - \sigma_{11})\bigr] & \mathrm{E}\bigl[(Z_{2\alpha}^2 - \sigma_{22})(Z_{1\alpha}Z_{2\alpha} - \sigma_{12})\bigr] & \cdots & \mathrm{E}\bigl[(Z_{2\alpha}^2 - \sigma_{22})^2\bigr] &\cdots & \mathrm{E}\bigl[(Z_{2\alpha}^2 - \sigma_{22})(Z_{p\alpha}^2 - \sigma_{pp})\bigr]\\\vdots & \vdots & & \vdots& & \vdots\\ \mathrm{E}\bigl[(Z_{p\alpha}^2 - \sigma_{pp})(Z_{1\alpha}^2 - \sigma_{11})\bigr] & \mathrm{E}\bigl[(Z_{p\alpha}^2 - \sigma_{pp})(Z_{1\alpha}Z_{2\alpha} - \sigma_{12})\bigr] & \cdots & \mathrm{E}\bigl[(Z_{p\alpha}^2 - \sigma_{pp})(Z_{2\alpha}^2 - \sigma_{22})\bigr] & \cdots & \mathrm{E}\bigl[(Z_{p\alpha}^2 - \sigma_{pp})^2\bigr]\end{pmatrix}\\ &= (\sigma_{ik}\sigma_{jl} + \sigma_{il}\sigma_{jk}).\end{align}
ここで、\(\boldsymbol{A}(n)\)を\eqref{eq5}と同様にベクトルに並べたものを\(\boldsymbol{W}(n)\)とする。このとき
\begin{align}\boldsymbol{W}(n) &= \begin{pmatrix}\sum_{\alpha=1}^N(X_{1\alpha} - \bar{X}_1)^2\\ \sum_{\alpha=1}^N(X_{1\alpha} - \bar{X}_1)(X_{2\alpha} -\bar{X}_2)\\ \vdots\\ \sum_{\alpha=1}^N(X_{2\alpha} - \bar{X}_2)^2 \\ \vdots\\ \sum_{\alpha=1}^N(X_{p\alpha} - \bar{X}_p)^2\end{pmatrix}\\ &= \begin{pmatrix}\sum_{\alpha=1}^nZ_{1\alpha}^2 \\ \sum_{\alpha=1}^nZ_{1\alpha}Z_{2\alpha} \\ \vdots\\ \sum_{\alpha=1}^nZ_{2\alpha}^2 \\ \vdots\\ \sum_{\alpha=1}^nZ_{p\alpha}^2 \end{pmatrix}\\ &= \sum_{\alpha=1}^n\boldsymbol{Y}_{\alpha}\end{align}
であることから、\(\boldsymbol{W}(n) - n\boldsymbol{\nu} = \sum_{\alpha=1}^n (\boldsymbol{Y}_{\alpha} - \boldsymbol{\nu})\)が成り立つ。故に定理1より、\((1/\sqrt{n})[\boldsymbol{W}(n) - n\boldsymbol{\nu}]\)は漸近的に\(N(\boldsymbol{\nu}, \boldsymbol{T})\)に従う。□
