多変量正規分布

標本平均ベクトル・標本共分散行列の有効性

  1. HOME >
  2. 多変量正規分布 >

標本平均ベクトル・標本共分散行列の有効性

スポンサーリンク

標本母集団分布が多変量正規分布である場合の標本平均ベクトルと不偏標本共分散行列の性質についてみていく。

ここでは標本平均ベクトルと不偏標本共分散行列の有効性を解説する。

前回の十分性と完備性に続き、標本平均ベクトルと標本平均ベクトルと不偏標本共分散行列の性質をみていく。

有効性

\(q\)次元確率ベクトル\(\boldsymbol{Y}\)が平均\(\mathrm{E}[\boldsymbol{Y}] = \boldsymbol{\nu}\)、共分散行列\(\mathrm{E}[(\boldsymbol{Y} - \boldsymbol{\nu})(\boldsymbol{Y} - \boldsymbol{\nu})^T] = \boldsymbol{\Psi}\)をもつとき

\begin{align}\label{eq1}(\boldsymbol{y} - \boldsymbol{\nu})^T\boldsymbol{\Psi}^{-1}(\boldsymbol{y} - \boldsymbol{\nu}) = q+2\tag{1}\end{align}

を\(\boldsymbol{Y}\)のconcentration ellipsoidと呼ぶ。この楕円体の内側における一様分布で定義される確率密度関数は\(\boldsymbol{Y}\)の平均ベクトル、共分散行列をもつ。\(\boldsymbol{\theta}\)をある分布の\(q\)個のパラメータから成るベクトルとする。また、\(\boldsymbol{t}\)を、共分散行列\(\boldsymbol{\Psi}\)をもつ分布からの\(N\)個の標本に基づく不偏推定量のベクトルとする(\(\mathrm{E}[\boldsymbol{t}] = \boldsymbol{\theta}\))。このとき次の楕円体

\begin{align}\label{eq2} N(\boldsymbol{t} - \boldsymbol{\theta})^T\mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)^T\right](\boldsymbol{t} - \boldsymbol{\theta}) = q+2 \tag{2}\end{align}>

は\(t\)のconcentration ellipsoidの内側に存在する。ここに\(\partial \log f / \partial \boldsymbol{\theta}\)は\(\boldsymbol{\theta}\)をパラメータに持つ確率密度関数を\(\boldsymbol{\theta}\)の各成分で微分したものを列ベクトルに並べたものである。\eqref{eq1}と\eqref{eq2}を用いることで、多変量分布の有効性は次のように定義される。

定義1 有効性

有効性

\eqref{eq2}が\(\boldsymbol{t}\)のconcentration ellipsoidであるとき、\(\boldsymbol{t}\)は有効性をもつという。

つまり、楕円体に対する\eqref{eq2}の大きさの比が推定量\(\boldsymbol{t}\)の有効性を定義する。

多変量正規分布の場合、標本平均ベクトル不偏標本共分散行列に関して次が成り立つ。

定理1 標本平均ベクトルと不偏標本共分散行列の有効性

標本平均ベクトルと不偏標本共分散行列の有効性

\(\boldsymbol{\theta} = \boldsymbol{\mu}\)のとき標本平均ベクトル\(\bar{\boldsymbol{x}}\)は有効性をもつ。また、\(\boldsymbol{\theta}\)が\(\boldsymbol{\mu}\)と\(\boldsymbol{\Sigma}\)から成るとき\(\bar{\boldsymbol{x}}\)と\(\boldsymbol{S}\)は\([(N-1) / N]^{p(p+1)/2}\)の有効性をもつ。

証明 多変量正規分布の場合

\begin{align}\log f &= -\cfrac{p}{2}\log(2\pi) -\cfrac{1}{2}\log|\boldsymbol{\Sigma}| -\cfrac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu})\boldsymbol{\Sigma}^{-1}(\boldsymbol{x} - \boldsymbol{\mu}) \end{align}

であり、\(\boldsymbol{\theta} = \boldsymbol{\mu}\)のとき

\begin{align}\cfrac{\partial \log f}{\partial \boldsymbol{\theta}} &= -\cfrac{1}{2} (-\boldsymbol{I})\bigl\{ \boldsymbol{\Sigma}^{-1} + (\boldsymbol{\sigma}^{-1})^T \bigr\} \\ &= \boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\end{align}

となる。よって

\begin{align} &N (\boldsymbol{t} - \boldsymbol{\mu})^T\mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)^T\right] (\boldsymbol{t} - \boldsymbol{\mu}) = q+2\\ &\Leftrightarrow N(\boldsymbol{t} - \boldsymbol{\mu})^T \mathrm{E}\left[\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) \bigl\{\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\bigr\}^T \right](\boldsymbol{t} - \boldsymbol{\mu}) = q+2\\ &\Leftrightarrow N(\boldsymbol{t} - \boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1} \mathrm{E}\bigl[(\boldsymbol{x}- \boldsymbol{\mu})(\boldsymbol{x}- \boldsymbol{\mu})^T\bigr]\boldsymbol{\Sigma}^{-1}(\boldsymbol{t} - \boldsymbol{\mu}) = q+2\\ &\Leftrightarrow N(\boldsymbol{t}- \boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{t}- \boldsymbol{\mu}) = q+2.\end{align}

ここで、\(\boldsymbol{\mu}\)の不偏推定量\(\boldsymbol{t} = \bar{\boldsymbol{x}}\)について、上式は次のように書き換えられる。

\begin{align}&N(\boldsymbol{t}- \boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{t}- \boldsymbol{\mu}) = q+2\\ &\Leftrightarrow N(\boldsymbol{t}- \boldsymbol{\mu})^T(\boldsymbol{\Sigma}^{-1}/N)^{-1}(\boldsymbol{t}- \boldsymbol{\mu}) = q+2.\end{align}

したがって、\(\boldsymbol{t} = \bar{\boldsymbol{x}}\)は平均\(\boldsymbol{E}[\bar{\boldsymbol{\mu}}]\)、共分散行列\(\boldsymbol{E}[(\bar{\boldsymbol{x}} - \boldsymbol{\mu})(\bar{\boldsymbol{x}} - \boldsymbol{\mu})^T] =(1/N) \boldsymbol{\Sigma}\)をもつので\eqref{eq2}は\eqref{eq1}となり、標本平均\(\bar{\boldsymbol{x}}\)は有効性をもつ。

また、\(\boldsymbol{\theta} = (\mu_1, \ldots, \mu_p, \sigma_{11}, \ldots, \sigma_{pp})^T\)であるとき、情報行列の\(ij\)成分はつぎで表される。

\begin{align}\mathcal{I}_{ij} = \cfrac{\partial \boldsymbol{\mu}^T}{\partial \theta_i}\boldsymbol{\Sigma}^{-1} \cfrac{\partial \boldsymbol{\mu}}{\partial \theta_j} + \cfrac{1}{2}\mathrm{tr} \left(\cfrac{1}{ 2- \delta_{ij}} \boldsymbol{\Sigma}^{-1} \cfrac{\partial \boldsymbol{\Sigma}}{\partial \theta_j}\boldsymbol{\Sigma}^{-1}\cfrac{\partial \boldsymbol{\Sigma}}{\partial \theta_j} \right),\end{align}

ここに

\begin{align}\cfrac{\partial \boldsymbol{\mu}}{\partial \theta_i}&= \begin{pmatrix}\cfrac{\partial \mu_1}{\partial \theta_i} \\ \vdots\\ \cfrac{\partial \mu_p}{\partial \theta_i}\end{pmatrix} ,\\ \cfrac{\partial \boldsymbol{\Sigma}}{\partial \theta_i} &= \begin{pmatrix}\cfrac{\partial \sigma_{11}}{\partial \theta_i} & \cdots & \cfrac{\partial \sigma_{1p}}{\partial \theta_i} \\ \vdots & & \vdots \\ \cfrac{\partial \sigma_{p1}}{\partial \theta_i} &\cdots&\cfrac{\partial \sigma_{pp}}{\partial \theta_i} .\end{pmatrix} \end{align}

よって\eqref{eq2}の情報行列は

\begin{align}&\mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)^T \right]\\ &= \begin{pmatrix}\mathcal{I}_i & \cdots & \mathcal{I}_{1p} \\ \vdots && \vdots\\ \mathcal{I}_{p1} & \cdots & \mathcal{I}_{pp}\end{pmatrix}\\ &= \begin{pmatrix}\boldsymbol{\Sigma}^{-1} & \boldsymbol{0} & & \boldsymbol{0}  & \cdots & \boldsymbol{0}  & \cdots & \boldsymbol{0} \\ \boldsymbol{0} ^T & \cfrac{1}{2}(\sigma^{11})^2 & \cfrac{1}{2}\sigma^{21}\sigma^{11} &\cdots & \cfrac{1}{2}\sigma^{p1}\sigma^{11} & \cdots & \cfrac{1}{2}\sigma^{p1}\sigma^{1p} \\ \vdots & \vdots & \vdots & & \vdots & & \vdots \\ \boldsymbol{0}^T & \cfrac{1}{2} \sigma^{11}\sigma^{p1} & \cfrac{1}{2}\sigma^{21}\sigma^{p-1, 1} & \cdots & \sigma^{11}\sigma^{pp} + \sigma^{1p} \sigma^{p1} & \cdots &\cfrac{1}{2}\sigma^{p1}\sigma^{pp} \\ \vdots & \vdots & \vdots & & \vdots & & \vdots \\ \boldsymbol{0}^T & \cfrac{1}{2}\sigma^{1p}\sigma^{p1} & \cfrac{1}{2}\sigma^{2p}\sigma^{p-1,1} & \cdots & \cfrac{1}{2}\sigma^{pp}\sigma^{p1} & \cdots & \cfrac{1}{2}(\sigma^{pp})^2\end{pmatrix}.\end{align}

また、不偏推定量\(\boldsymbol{t} = (\bar{x}_1, \ldots, \bar{x}_p, s_{11} ,\ldots, s_{pp})^T\)の共分散行列\(\mathrm{E}[(\boldsymbol{t} - \boldsymbol{\theta})(\boldsymbol{t} - \boldsymbol{\theta})^T]\)は

\begin{align}&\mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta})(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr]\\ &= \begin{pmatrix}\cfrac{1}{N}\boldsymbol{\Sigma}& \boldsymbol{0} & \cdots & \boldsymbol{0}& \cdots & \boldsymbol{0} \\ \boldsymbol{0}^T & \cfrac{2}{N-1}\sigma_{11}^2 & \cdots & \cfrac{2}{N-1} \sigma_{11}\sigma_{1p} & \cdots & \cfrac{2}{N-1}\sigma_{1p}^2 \\ \vdots & \vdots & & \vdots & & \vdots\\ \boldsymbol{0}^T & \cfrac{2}{N-1}\sigma_{11}\sigma_{p1} & \cdots & \cfrac{1}{N-1}(\sigma_{11}\sigma_{pp} + \sigma_{1p}\sigma_{p1}) & \cdots & \cfrac{2}{N-1} \sigma_{1p}\sigma_{pp} \\ \vdots & \vdots & & \vdots & & \vdots\\ \boldsymbol{0}^T & \cfrac{2}{N-1}\sigma_{p1}^2 & \cdots & \cfrac{2}{N-1}\sigma_{p1}\sigma_{pp} & \cdots & \cfrac{2}{N-1}\sigma_{pp}^2 \end{pmatrix}.\end{align}

次に、\eqref{eq2}の楕円体と不偏推定量\(\boldsymbol{t}\)のconcentration ellipsoidの体積の比を計算する。体積の比は次のように表される。

\begin{align}\cfrac{(\boldsymbol{t} - \boldsymbol{\theta})^T\boldsymbol{\Psi}^{-1}(\boldsymbol{t} - \boldsymbol{\theta})}{N(\boldsymbol{t} - \boldsymbol{\theta})^T \mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)^T\right](\boldsymbol{t} - \boldsymbol{\theta})},\end{align}

ここに

\begin{align}\boldsymbol{\Psi}^{-1} &= \left( \mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta})(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr]\right)^{-1}\\ &= \begin{pmatrix}N\boldsymbol{\Sigma}^{-1} & \boldsymbol{0} & \cdots &\boldsymbol{0} & \cdots & \boldsymbol{0}\\ \boldsymbol{0}^T & \cfrac{N-1}{2}(\sigma^{11})^2 & \cdots &  \cfrac{N-1}{2} \sigma^{11}\sigma^{1p} & \cdots & \cfrac{N-1}{2}(\sigma^{1p})^2 \\ \vdots & \vdots &  & \vdots & & \vdots\\ \boldsymbol{0}^T  & \cfrac{N-1}{2}\sigma^{11}\sigma^{p1} & \cdots & (N-1)(\sigma^{11}\sigma^{pp} + \sigma^{1p}\sigma^{p1}) & \cdots & \cfrac{N-1}{2}\sigma^{1p}\sigma^{pp}\\ \vdots & \vdots & & \vdots & & \vdots\\ \boldsymbol{0}^T & \cfrac{N-1}{2}(\sigma^{p1})^2 & \cdots & \cfrac{N-1}{2}\sigma^{p1}\sigma^{pp} & \cdots & \cfrac{N-1}{2}(\sigma^{pp})^2\end{pmatrix}.\end{align}

したがって、楕円体の体積の比は、分母に\(p(p+3)/2\)個の座標軸のうち\(p(p+1)/2\)個が\(N\)倍された楕円体の体積と、分子に\(p(p+1)/2\)個が\(N\)が\(N-1\)倍された楕円体の体積となる。故に\(p\)次元楕円体の体積は\(\pi^{\frac{1}{2}p}\prod_{i=1}^pc_i /\Gamma(\frac{1}{2}p)\)で表されるので、体積の比は\([(N-1)/N]^{\frac{1}{2}p(p+1)}\)である(\(c_i,\ i = 1,\ldots,p\) は楕円体の\(i\)軸に関する長さ)。したがって、\(\bar{\boldsymbol{x}}\)と\(\boldsymbol{S}\)は\([(N-1) / N]^{p(p+1)/2}\)の有効性をもつ。□

また、母集団分布が多変量正規分布である場合、次の正則条件が成り立つ。

\begin{align}\label{eq3}\mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)^T\right] = -\mathrm{E}\left[\cfrac{\partial^2 \log f}{\partial\boldsymbol{\theta} \partial\boldsymbol{\theta}^T}\right]\tag{3}\end{align}

\eqref{eq3}は情報行列と呼ばれる。また。多変量のクラメール・ラオの下限の定義は以下のとおりである。

定理2 クラメール・ラオの下限

クラメール・ラオの下限

クラメール・ラオの下限は、任意の不偏推定量\(\boldsymbol{t}\)に対して次の行列が半正定値行列となることである。

\begin{align} \label{eq4} N \mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta})(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr]  - \left(-\mathrm{E}\left[\cfrac{\partial^2 \log f}{\partial \boldsymbol{\theta} \partial \boldsymbol{\theta}^T}\right] \right)^{-1}\tag{4}\end{align}

証明 クラメール・ラオの下限の下限を導出する。\(\boldsymbol{X}_i,\ i= 1,\ldots, p\)は平均\(\boldsymbol{\mu}\)、共分散行列\(\boldsymbol{\Sigma}\)の多変量正規分布に従い、確率密度関数\(f = f(\boldsymbol{x}_i)\)をもつとする。次の多変量のコーシー・シュワルツの不等式を用いる。

\begin{align}\mathrm{E}[\boldsymbol{xx}^T] \geq \mathrm{E}[\boldsymbol{xy}^T] \bigl\{\mathrm{E}[\boldsymbol{yy}^T]\bigr\}^{-1}\mathrm{E}[\boldsymbol{yx}^T].\end{align}

\(\boldsymbol{t}\)を\(\boldsymbol{\theta}\)の不偏推定量とし、尤度関数を\(L=\prod_{i=1}^pf\)とすると

\begin{align}\mathrm{E}[t_i] = \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty} t_i d\boldsymbol{x}_1 \cdots d\boldsymbol{x}_N = \theta_i.\end{align}

また、確率密度関数の定義より

\begin{align}\int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} Ld\boldsymbol{x}_1\cdots d\boldsymbol{x}_N = 1.\end{align}

この2つの式を\(\theta_i,\ i=1, \ldots, p \)で偏微分すると

\begin{align}&\int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty} t_i\cfrac{\partial L}{\partial \theta_j} d\boldsymbol{x}_1\cdots \boldsymbol{x}_N = \delta_{ij},\\ &\int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty}\cfrac{\partial L}{\partial \theta_j}d\boldsymbol{x}_1\cdots \boldsymbol{x}_N=\cfrac{\partial 1}{\partial\theta_j} =0.\end{align}

2つ目の式には定数を掛けても不変であるので次を得る。

\begin{align}&\cfrac{\partial \log L}{\partial\theta_j }=  \cfrac{1}{L}\cfrac{\partial L}{\theta_j}\\ &\Leftrightarrow \cfrac{\partial L}{\partial\theta_j} = L\cfrac{\partial L}{\partial \theta_j}.\end{align}

故に

\begin{align}\mathrm{E}\left[(t_i-\theta_i) \cfrac{\partial \log L}{\partial \theta_j}\right] &= \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} (t_i- \theta_i)\cfrac{\partial \log L}{\partial \theta_j}L\boldsymbol{x}_1\cdots \boldsymbol{x}_N\\&=  \int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty} (t_i -\theta_i)\cfrac{\partial L}{\partial \theta_j}\boldsymbol{x}_1\cdots \boldsymbol{x}_N &= \int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty} t_i \cfrac{\partial L}{\partial \theta_i}\boldsymbol{x}_1\cdots \boldsymbol{x}_N - \int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty} \theta_i \cfrac{\partial L}{\partial \theta_i}\boldsymbol{x}_1\cdots \boldsymbol{x}_N \\&= \delta_{ij} + 0 =\delta_{ij}.\end{align}

また、正則条件の下で、スコア関数\(\partial \log L/\partial \theta_i\)の期待値は

\begin{align}\mathrm{E}\left[\cfrac{\partial \log L}{\partial \theta_i}\right] &= \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty}\cfrac{\partial \log L}{\partial \theta_i} L d\boldsymbol{x}_1\cdots d\boldsymbol{x}_N\\&= \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty}\cfrac{\partial L}{\partial \theta_i}d\boldsymbol{x}_1\cdots d\boldsymbol{x}_N \\ &= \cfrac{\partial}{\partial \theta_i}\int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty}L d\boldsymbol{x}_1\cdots d\boldsymbol{x}_N\\ &= \cfrac{\partial 1}{\partial \theta_i}\\&= 0\end{align}

である。このことから

\begin{align}\mathrm{E}\left[(t_i-\theta_i) \cfrac{\partial \log L}{\partial \theta_i}\right] &= \mathrm{E}\left[\bigl\{(t_i-\theta_i) -\mathrm{E}[t_i-\theta_i]\bigr\} \left\{\cfrac{\partial \log L}{\partial \theta_i} - \mathrm{E}\left[\cfrac{\partial \log L}{\partial \theta_i}\right]\right\}\right]\\&= \mathrm{Cov}\left[(t_i- \theta_i), \cfrac{\partial \log L}{\partial \theta_i}\right].\end{align}

この共分散は\(i=j\)のとき\(1\)であり、\(i\neq j\)のとき\(0\)であるので、\(\boldsymbol{t} - \boldsymbol{\theta}\)と\(\partial \log L/\partial\boldsymbol{\theta}\)の共分散行列は次のように単位行列となる。

\begin{align}\mathrm{E}\left[(\boldsymbol{t} - \boldsymbol{\theta})\left(\cfrac{\partial \log L}{\partial\boldsymbol{\theta}}\right)^T\right]=\boldsymbol{I}.\end{align}

ここで、コーシー・シュワルツの不等式に\(\boldsymbol{x} = \boldsymbol{t}- \boldsymbol{\theta}\)、\(\boldsymbol{y}=\partial \log L / \partial \boldsymbol{\theta}\)を適用することで、次の不等式を得る。

\begin{align}\mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta} )(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr] &\geq \mathrm{E}\left[(\boldsymbol{t} - \boldsymbol{\theta}) \left(\cfrac{\partial \log L}{\partial \theta}\right)^T\right]\left\{\mathrm{E}\left[\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}}\right)^T\right]\right\}^{-1}\mathrm{E}\left[\left(\cfrac{\partial \log L}{\partial \theta}\right)(\boldsymbol{t} - \boldsymbol{\theta})^T \right]\\&=\left\{\mathrm{E}\left[\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}}\right)^T\right]\right\}^{-1}\\&= \left\{\mathrm{E}\left[\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}} - \mathrm{E}\left[\cfrac{\partial \log L}{\partial \boldsymbol{\theta}} \right]\right)\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}} - \mathrm{E}\left[\cfrac{\partial \log L}{\partial \boldsymbol{\theta}} \right]\right)^T\right]\right\}^{-1}\\ &=\left\{ \mathrm{Var}\left[\cfrac{\partial \log L}{\partial \boldsymbol{\theta}} \right]\right\}^{-1}\\&= \left\{ \mathrm{Var}\left[\sum_{i=1}^N\cfrac{\partial \log f}{\partial \boldsymbol{\theta}\boldsymbol{\theta}} \right]\right\}^{-1}\\ &= \cfrac{1}{N}\left\{\mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}} \right)\left(\cfrac{\partial \log f}{\boldsymbol{\theta}}\right)^T\right]\right\}^{-1}\\ &= \cfrac{1}{N}\left\{ - \mathrm{E}\left[\cfrac{\partial^2 \log f}{\partial \boldsymbol{\theta}\partial \boldsymbol{\theta}^T} \right]\right\}^{-1}. \end{align}

したがって

\begin{align}&\mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta} )(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr] \geq\cfrac{1}{N}\left\{ - \mathrm{E}\left[\cfrac{\partial^2 \log f}{\partial \boldsymbol{\theta}\partial \boldsymbol{\theta}^T} \right]\right\}^{-1} \\ &\Leftrightarrow  N\mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta} )(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr] -\left\{ - \mathrm{E}\left[\cfrac{\partial^2 \log f}{\partial \boldsymbol{\theta}\partial \boldsymbol{\theta}^T} \right]\right\}^{-1}\geq\ \boldsymbol{0} .\end{align}

よって\eqref{eq4}のクラメール・ラオの下限が示された。□

スポンサーリンク

  • この記事を書いた人
  • 最新記事

usagi-san

統計学とゲームとかをメインに解説していくよ。 数式とかプログラミングコードにミスがあったり質問があったりする場合はコメントで受け付けます。すぐに対応します。

-多変量正規分布
-,

© 2022 ウサギさんの統計学サロン Powered by AFFINGER5