標本母集団分布が多変量正規分布である場合の標本平均ベクトルと不偏標本共分散行列の性質についてみていく。
ここでは標本平均ベクトルと不偏標本共分散行列の有効性を解説する。
前回の十分性と完備性に続き、標本平均ベクトルと標本平均ベクトルと不偏標本共分散行列の性質をみていく。
有効性
\(q\)次元確率ベクトル\(\boldsymbol{Y}\)が平均\(\mathrm{E}[\boldsymbol{Y}] = \boldsymbol{\nu}\)、共分散行列\(\mathrm{E}[(\boldsymbol{Y} - \boldsymbol{\nu})(\boldsymbol{Y} - \boldsymbol{\nu})^T] = \boldsymbol{\Psi}\)をもつとき
\begin{align}\label{eq1}(\boldsymbol{y} - \boldsymbol{\nu})^T\boldsymbol{\Psi}^{-1}(\boldsymbol{y} - \boldsymbol{\nu}) = q+2\tag{1}\end{align}
を\(\boldsymbol{Y}\)のconcentration ellipsoidと呼ぶ。この楕円体の内側における一様分布で定義される確率密度関数は\(\boldsymbol{Y}\)の平均ベクトル、共分散行列をもつ。\(\boldsymbol{\theta}\)をある分布の\(q\)個のパラメータから成るベクトルとする。また、\(\boldsymbol{t}\)を、共分散行列\(\boldsymbol{\Psi}\)をもつ分布からの\(N\)個の標本に基づく不偏推定量のベクトルとする（\(\mathrm{E}[\boldsymbol{t}] = \boldsymbol{\theta}\)）。このとき次の楕円体
\begin{align}\label{eq2} N(\boldsymbol{t} - \boldsymbol{\theta})^T\mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)^T\right](\boldsymbol{t} - \boldsymbol{\theta}) = q+2 \tag{2}\end{align}>
は\(t\)のconcentration ellipsoidの内側に存在する。ここに\(\partial \log f / \partial \boldsymbol{\theta}\)は\(\boldsymbol{\theta}\)をパラメータに持つ確率密度関数を\(\boldsymbol{\theta}\)の各成分で微分したものを列ベクトルに並べたものである。\eqref{eq1}と\eqref{eq2}を用いることで、多変量分布の有効性は次のように定義される。
定義1 有効性
有効性
\eqref{eq2}が\(\boldsymbol{t}\)のconcentration ellipsoidであるとき、\(\boldsymbol{t}\)は有効性をもつという。
つまり、楕円体に対する\eqref{eq2}の大きさの比が推定量\(\boldsymbol{t}\)の有効性を定義する。
多変量正規分布の場合、標本平均ベクトル不偏標本共分散行列に関して次が成り立つ。
定理1 標本平均ベクトルと不偏標本共分散行列の有効性
標本平均ベクトルと不偏標本共分散行列の有効性
\(\boldsymbol{\theta} = \boldsymbol{\mu}\)のとき標本平均ベクトル\(\bar{\boldsymbol{x}}\)は有効性をもつ。また、\(\boldsymbol{\theta}\)が\(\boldsymbol{\mu}\)と\(\boldsymbol{\Sigma}\)から成るとき\(\bar{\boldsymbol{x}}\)と\(\boldsymbol{S}\)は\([(N-1) / N]^{p(p+1)/2}\)の有効性をもつ。
証明 多変量正規分布の場合
\begin{align}\log f &= -\cfrac{p}{2}\log(2\pi) -\cfrac{1}{2}\log|\boldsymbol{\Sigma}| -\cfrac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu})\boldsymbol{\Sigma}^{-1}(\boldsymbol{x} - \boldsymbol{\mu}) \end{align}
であり、\(\boldsymbol{\theta} = \boldsymbol{\mu}\)のとき
\begin{align}\cfrac{\partial \log f}{\partial \boldsymbol{\theta}} &= -\cfrac{1}{2} (-\boldsymbol{I})\bigl\{ \boldsymbol{\Sigma}^{-1} + (\boldsymbol{\sigma}^{-1})^T \bigr\} \\ &= \boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\end{align}
となる。よって
\begin{align} &N (\boldsymbol{t} - \boldsymbol{\mu})^T\mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)^T\right] (\boldsymbol{t} - \boldsymbol{\mu}) = q+2\\ &\Leftrightarrow N(\boldsymbol{t} - \boldsymbol{\mu})^T \mathrm{E}\left[\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) \bigl\{\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\bigr\}^T \right](\boldsymbol{t} - \boldsymbol{\mu}) = q+2\\ &\Leftrightarrow N(\boldsymbol{t} - \boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1} \mathrm{E}\bigl[(\boldsymbol{x}- \boldsymbol{\mu})(\boldsymbol{x}- \boldsymbol{\mu})^T\bigr]\boldsymbol{\Sigma}^{-1}(\boldsymbol{t} - \boldsymbol{\mu}) = q+2\\ &\Leftrightarrow N(\boldsymbol{t}- \boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{t}- \boldsymbol{\mu}) = q+2.\end{align}
ここで、\(\boldsymbol{\mu}\)の不偏推定量\(\boldsymbol{t} = \bar{\boldsymbol{x}}\)について、上式は次のように書き換えられる。
\begin{align}&N(\boldsymbol{t}- \boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{t}- \boldsymbol{\mu}) = q+2\\ &\Leftrightarrow N(\boldsymbol{t}- \boldsymbol{\mu})^T(\boldsymbol{\Sigma}^{-1}/N)^{-1}(\boldsymbol{t}- \boldsymbol{\mu}) = q+2.\end{align}
したがって、\(\boldsymbol{t} = \bar{\boldsymbol{x}}\)は平均\(\boldsymbol{E}[\bar{\boldsymbol{\mu}}]\)、共分散行列\(\boldsymbol{E}[(\bar{\boldsymbol{x}} - \boldsymbol{\mu})(\bar{\boldsymbol{x}} - \boldsymbol{\mu})^T] =(1/N) \boldsymbol{\Sigma}\)をもつので\eqref{eq2}は\eqref{eq1}となり、標本平均\(\bar{\boldsymbol{x}}\)は有効性をもつ。
また、\(\boldsymbol{\theta} = (\mu_1, \ldots, \mu_p, \sigma_{11}, \ldots, \sigma_{pp})^T\)であるとき、情報行列の\(ij\)成分はつぎで表される。
\begin{align}\mathcal{I}_{ij} = \cfrac{\partial \boldsymbol{\mu}^T}{\partial \theta_i}\boldsymbol{\Sigma}^{-1} \cfrac{\partial \boldsymbol{\mu}}{\partial \theta_j} + \cfrac{1}{2}\mathrm{tr} \left(\cfrac{1}{ 2- \delta_{ij}} \boldsymbol{\Sigma}^{-1} \cfrac{\partial \boldsymbol{\Sigma}}{\partial \theta_j}\boldsymbol{\Sigma}^{-1}\cfrac{\partial \boldsymbol{\Sigma}}{\partial \theta_j} \right),\end{align}
ここに
\begin{align}\cfrac{\partial \boldsymbol{\mu}}{\partial \theta_i}&= \begin{pmatrix}\cfrac{\partial \mu_1}{\partial \theta_i} \\ \vdots\\ \cfrac{\partial \mu_p}{\partial \theta_i}\end{pmatrix} ,\\ \cfrac{\partial \boldsymbol{\Sigma}}{\partial \theta_i} &= \begin{pmatrix}\cfrac{\partial \sigma_{11}}{\partial \theta_i} & \cdots & \cfrac{\partial \sigma_{1p}}{\partial \theta_i} \\ \vdots & & \vdots \\ \cfrac{\partial \sigma_{p1}}{\partial \theta_i} &\cdots&\cfrac{\partial \sigma_{pp}}{\partial \theta_i} .\end{pmatrix} \end{align}
よって\eqref{eq2}の情報行列は
\begin{align}&\mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)^T \right]\\ &= \begin{pmatrix}\mathcal{I}_i & \cdots & \mathcal{I}_{1p} \\ \vdots && \vdots\\ \mathcal{I}_{p1} & \cdots & \mathcal{I}_{pp}\end{pmatrix}\\ &= \begin{pmatrix}\boldsymbol{\Sigma}^{-1} & \boldsymbol{0} & & \boldsymbol{0} & \cdots & \boldsymbol{0} & \cdots & \boldsymbol{0} \\ \boldsymbol{0} ^T & \cfrac{1}{2}(\sigma^{11})^2 & \cfrac{1}{2}\sigma^{21}\sigma^{11} &\cdots & \cfrac{1}{2}\sigma^{p1}\sigma^{11} & \cdots & \cfrac{1}{2}\sigma^{p1}\sigma^{1p} \\ \vdots & \vdots & \vdots & & \vdots & & \vdots \\ \boldsymbol{0}^T & \cfrac{1}{2} \sigma^{11}\sigma^{p1} & \cfrac{1}{2}\sigma^{21}\sigma^{p-1, 1} & \cdots & \sigma^{11}\sigma^{pp} + \sigma^{1p} \sigma^{p1} & \cdots &\cfrac{1}{2}\sigma^{p1}\sigma^{pp} \\ \vdots & \vdots & \vdots & & \vdots & & \vdots \\ \boldsymbol{0}^T & \cfrac{1}{2}\sigma^{1p}\sigma^{p1} & \cfrac{1}{2}\sigma^{2p}\sigma^{p-1,1} & \cdots & \cfrac{1}{2}\sigma^{pp}\sigma^{p1} & \cdots & \cfrac{1}{2}(\sigma^{pp})^2\end{pmatrix}.\end{align}
また、不偏推定量\(\boldsymbol{t} = (\bar{x}_1, \ldots, \bar{x}_p, s_{11} ,\ldots, s_{pp})^T\)の共分散行列\(\mathrm{E}[(\boldsymbol{t} - \boldsymbol{\theta})(\boldsymbol{t} - \boldsymbol{\theta})^T]\)は
\begin{align}&\mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta})(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr]\\ &= \begin{pmatrix}\cfrac{1}{N}\boldsymbol{\Sigma}& \boldsymbol{0} & \cdots & \boldsymbol{0}& \cdots & \boldsymbol{0} \\ \boldsymbol{0}^T & \cfrac{2}{N-1}\sigma_{11}^2 & \cdots & \cfrac{2}{N-1} \sigma_{11}\sigma_{1p} & \cdots & \cfrac{2}{N-1}\sigma_{1p}^2 \\ \vdots & \vdots & & \vdots & & \vdots\\ \boldsymbol{0}^T & \cfrac{2}{N-1}\sigma_{11}\sigma_{p1} & \cdots & \cfrac{1}{N-1}(\sigma_{11}\sigma_{pp} + \sigma_{1p}\sigma_{p1}) & \cdots & \cfrac{2}{N-1} \sigma_{1p}\sigma_{pp} \\ \vdots & \vdots & & \vdots & & \vdots\\ \boldsymbol{0}^T & \cfrac{2}{N-1}\sigma_{p1}^2 & \cdots & \cfrac{2}{N-1}\sigma_{p1}\sigma_{pp} & \cdots & \cfrac{2}{N-1}\sigma_{pp}^2 \end{pmatrix}.\end{align}
次に、\eqref{eq2}の楕円体と不偏推定量\(\boldsymbol{t}\)のconcentration ellipsoidの体積の比を計算する。体積の比は次のように表される。
\begin{align}\cfrac{(\boldsymbol{t} - \boldsymbol{\theta})^T\boldsymbol{\Psi}^{-1}(\boldsymbol{t} - \boldsymbol{\theta})}{N(\boldsymbol{t} - \boldsymbol{\theta})^T \mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)^T\right](\boldsymbol{t} - \boldsymbol{\theta})},\end{align}
ここに
\begin{align}\boldsymbol{\Psi}^{-1} &= \left( \mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta})(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr]\right)^{-1}\\ &= \begin{pmatrix}N\boldsymbol{\Sigma}^{-1} & \boldsymbol{0} & \cdots &\boldsymbol{0} & \cdots & \boldsymbol{0}\\ \boldsymbol{0}^T & \cfrac{N-1}{2}(\sigma^{11})^2 & \cdots & \cfrac{N-1}{2} \sigma^{11}\sigma^{1p} & \cdots & \cfrac{N-1}{2}(\sigma^{1p})^2 \\ \vdots & \vdots & & \vdots & & \vdots\\ \boldsymbol{0}^T & \cfrac{N-1}{2}\sigma^{11}\sigma^{p1} & \cdots & (N-1)(\sigma^{11}\sigma^{pp} + \sigma^{1p}\sigma^{p1}) & \cdots & \cfrac{N-1}{2}\sigma^{1p}\sigma^{pp}\\ \vdots & \vdots & & \vdots & & \vdots\\ \boldsymbol{0}^T & \cfrac{N-1}{2}(\sigma^{p1})^2 & \cdots & \cfrac{N-1}{2}\sigma^{p1}\sigma^{pp} & \cdots & \cfrac{N-1}{2}(\sigma^{pp})^2\end{pmatrix}.\end{align}
したがって、楕円体の体積の比は、分母に\(p(p+3)/2\)個の座標軸のうち\(p(p+1)/2\)個が\(N\)倍された楕円体の体積と、分子に\(p(p+1)/2\)個が\(N\)が\(N-1\)倍された楕円体の体積となる。故に\(p\)次元楕円体の体積は\(\pi^{\frac{1}{2}p}\prod_{i=1}^pc_i /\Gamma(\frac{1}{2}p)\)で表されるので、体積の比は\([(N-1)/N]^{\frac{1}{2}p(p+1)}\)である（\(c_i,\ i = 1,\ldots,p\) は楕円体の\(i\)軸に関する長さ）。したがって、\(\bar{\boldsymbol{x}}\)と\(\boldsymbol{S}\)は\([(N-1) / N]^{p(p+1)/2}\)の有効性をもつ。□
また、母集団分布が多変量正規分布である場合、次の正則条件が成り立つ。
\begin{align}\label{eq3}\mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}}\right)^T\right] = -\mathrm{E}\left[\cfrac{\partial^2 \log f}{\partial\boldsymbol{\theta} \partial\boldsymbol{\theta}^T}\right]\tag{3}\end{align}
\eqref{eq3}は情報行列と呼ばれる。また。多変量のクラメール・ラオの下限の定義は以下のとおりである。
定理2 クラメール・ラオの下限
クラメール・ラオの下限
クラメール・ラオの下限は、任意の不偏推定量\(\boldsymbol{t}\)に対して次の行列が半正定値行列となることである。
証明 クラメール・ラオの下限の下限を導出する。\(\boldsymbol{X}_i,\ i= 1,\ldots, p\)は平均\(\boldsymbol{\mu}\)、共分散行列\(\boldsymbol{\Sigma}\)の多変量正規分布に従い、確率密度関数\(f = f(\boldsymbol{x}_i)\)をもつとする。次の多変量のコーシー・シュワルツの不等式を用いる。
\begin{align}\mathrm{E}[\boldsymbol{xx}^T] \geq \mathrm{E}[\boldsymbol{xy}^T] \bigl\{\mathrm{E}[\boldsymbol{yy}^T]\bigr\}^{-1}\mathrm{E}[\boldsymbol{yx}^T].\end{align}
\(\boldsymbol{t}\)を\(\boldsymbol{\theta}\)の不偏推定量とし、尤度関数を\(L=\prod_{i=1}^pf\)とすると
\begin{align}\mathrm{E}[t_i] = \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty} t_i d\boldsymbol{x}_1 \cdots d\boldsymbol{x}_N = \theta_i.\end{align}
また、確率密度関数の定義より
\begin{align}\int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} Ld\boldsymbol{x}_1\cdots d\boldsymbol{x}_N = 1.\end{align}
この2つの式を\(\theta_i,\ i=1, \ldots, p \)で偏微分すると
\begin{align}&\int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty} t_i\cfrac{\partial L}{\partial \theta_j} d\boldsymbol{x}_1\cdots \boldsymbol{x}_N = \delta_{ij},\\ &\int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty}\cfrac{\partial L}{\partial \theta_j}d\boldsymbol{x}_1\cdots \boldsymbol{x}_N=\cfrac{\partial 1}{\partial\theta_j} =0.\end{align}
2つ目の式には定数を掛けても不変であるので次を得る。
\begin{align}&\cfrac{\partial \log L}{\partial\theta_j }= \cfrac{1}{L}\cfrac{\partial L}{\theta_j}\\ &\Leftrightarrow \cfrac{\partial L}{\partial\theta_j} = L\cfrac{\partial L}{\partial \theta_j}.\end{align}
故に
\begin{align}\mathrm{E}\left[(t_i-\theta_i) \cfrac{\partial \log L}{\partial \theta_j}\right] &= \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} (t_i- \theta_i)\cfrac{\partial \log L}{\partial \theta_j}L\boldsymbol{x}_1\cdots \boldsymbol{x}_N\\&= \int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty} (t_i -\theta_i)\cfrac{\partial L}{\partial \theta_j}\boldsymbol{x}_1\cdots \boldsymbol{x}_N &= \int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty} t_i \cfrac{\partial L}{\partial \theta_i}\boldsymbol{x}_1\cdots \boldsymbol{x}_N - \int_{-\infty}^{\infty}\cdots \int_{-\infty}^{\infty} \theta_i \cfrac{\partial L}{\partial \theta_i}\boldsymbol{x}_1\cdots \boldsymbol{x}_N \\&= \delta_{ij} + 0 =\delta_{ij}.\end{align}
また、正則条件の下で、スコア関数\(\partial \log L/\partial \theta_i\)の期待値は
\begin{align}\mathrm{E}\left[\cfrac{\partial \log L}{\partial \theta_i}\right] &= \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty}\cfrac{\partial \log L}{\partial \theta_i} L d\boldsymbol{x}_1\cdots d\boldsymbol{x}_N\\&= \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty}\cfrac{\partial L}{\partial \theta_i}d\boldsymbol{x}_1\cdots d\boldsymbol{x}_N \\ &= \cfrac{\partial}{\partial \theta_i}\int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty}L d\boldsymbol{x}_1\cdots d\boldsymbol{x}_N\\ &= \cfrac{\partial 1}{\partial \theta_i}\\&= 0\end{align}
である。このことから
\begin{align}\mathrm{E}\left[(t_i-\theta_i) \cfrac{\partial \log L}{\partial \theta_i}\right] &= \mathrm{E}\left[\bigl\{(t_i-\theta_i) -\mathrm{E}[t_i-\theta_i]\bigr\} \left\{\cfrac{\partial \log L}{\partial \theta_i} - \mathrm{E}\left[\cfrac{\partial \log L}{\partial \theta_i}\right]\right\}\right]\\&= \mathrm{Cov}\left[(t_i- \theta_i), \cfrac{\partial \log L}{\partial \theta_i}\right].\end{align}
この共分散は\(i=j\)のとき\(1\)であり、\(i\neq j\)のとき\(0\)であるので、\(\boldsymbol{t} - \boldsymbol{\theta}\)と\(\partial \log L/\partial\boldsymbol{\theta}\)の共分散行列は次のように単位行列となる。
\begin{align}\mathrm{E}\left[(\boldsymbol{t} - \boldsymbol{\theta})\left(\cfrac{\partial \log L}{\partial\boldsymbol{\theta}}\right)^T\right]=\boldsymbol{I}.\end{align}
ここで、コーシー・シュワルツの不等式に\(\boldsymbol{x} = \boldsymbol{t}- \boldsymbol{\theta}\)、\(\boldsymbol{y}=\partial \log L / \partial \boldsymbol{\theta}\)を適用することで、次の不等式を得る。
\begin{align}\mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta} )(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr] &\geq \mathrm{E}\left[(\boldsymbol{t} - \boldsymbol{\theta}) \left(\cfrac{\partial \log L}{\partial \theta}\right)^T\right]\left\{\mathrm{E}\left[\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}}\right)^T\right]\right\}^{-1}\mathrm{E}\left[\left(\cfrac{\partial \log L}{\partial \theta}\right)(\boldsymbol{t} - \boldsymbol{\theta})^T \right]\\&=\left\{\mathrm{E}\left[\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}}\right)\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}}\right)^T\right]\right\}^{-1}\\&= \left\{\mathrm{E}\left[\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}} - \mathrm{E}\left[\cfrac{\partial \log L}{\partial \boldsymbol{\theta}} \right]\right)\left(\cfrac{\partial \log L}{\partial \boldsymbol{\theta}} - \mathrm{E}\left[\cfrac{\partial \log L}{\partial \boldsymbol{\theta}} \right]\right)^T\right]\right\}^{-1}\\ &=\left\{ \mathrm{Var}\left[\cfrac{\partial \log L}{\partial \boldsymbol{\theta}} \right]\right\}^{-1}\\&= \left\{ \mathrm{Var}\left[\sum_{i=1}^N\cfrac{\partial \log f}{\partial \boldsymbol{\theta}\boldsymbol{\theta}} \right]\right\}^{-1}\\ &= \cfrac{1}{N}\left\{\mathrm{E}\left[\left(\cfrac{\partial \log f}{\partial \boldsymbol{\theta}} \right)\left(\cfrac{\partial \log f}{\boldsymbol{\theta}}\right)^T\right]\right\}^{-1}\\ &= \cfrac{1}{N}\left\{ - \mathrm{E}\left[\cfrac{\partial^2 \log f}{\partial \boldsymbol{\theta}\partial \boldsymbol{\theta}^T} \right]\right\}^{-1}. \end{align}
したがって
\begin{align}&\mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta} )(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr] \geq\cfrac{1}{N}\left\{ - \mathrm{E}\left[\cfrac{\partial^2 \log f}{\partial \boldsymbol{\theta}\partial \boldsymbol{\theta}^T} \right]\right\}^{-1} \\ &\Leftrightarrow N\mathrm{E}\bigl[(\boldsymbol{t} - \boldsymbol{\theta} )(\boldsymbol{t} - \boldsymbol{\theta})^T\bigr] -\left\{ - \mathrm{E}\left[\cfrac{\partial^2 \log f}{\partial \boldsymbol{\theta}\partial \boldsymbol{\theta}^T} \right]\right\}^{-1}\geq\ \boldsymbol{0} .\end{align}
よって\eqref{eq4}のクラメール・ラオの下限が示された。□
