共分散行列の性質
\(\boldsymbol{\Sigma}\)の\(i\)番目の対角成分\(\sigma_{ii}\)は\(\boldsymbol{X}\)の\(i\)番目の要素\(X_i\)の分散である。しばしば\(\sigma_i^2\)と表記することがある。確率変数\(X_i\)と\(X_j\)の相関係数は次で与えられる。\begin{align}\rho_{ij}=\cfrac{\sigma_{ij}}{\sqrt{\sigma_{ii}}\sqrt{\sigma_{jj}}}=\cfrac{\sigma_{ij}}{\sigma_i\sigma_j}.\label{eq1}\tag{1}\end{align}\(\rho_ij=\rho_{ji}\)であり、\(\sigma_{ij}=\sigma_i\sigma_j\rho_{ij}\)であることから次がいえる。
\begin{align}\begin{pmatrix}\sigma_{ii}&\sigma_{ij}\\\sigma_{ji}&\sigma_{jj}\end{pmatrix}=\begin{pmatrix}\sigma_i^2 & \sigma_i\sigma_j\rho_{ij}\\\sigma_i\sigma_j\rho_{ij}&\sigma_j^2\end{pmatrix}.\label{eq2}\tag{2}\end{align}
またこの行列は正定値行列である(統計学の線形代数より)。\eqref{eq2}の行列式は
\begin{align}\begin{vmatrix}\sigma_i^2&\sigma_i\sigma_j\rho_{ij}\\\sigma_i\sigma_j\rho_{ij}&\sigma_j^2\end{vmatrix}&=\sigma_i^2\sigma_j^2-(\sigma_i\sigma_j\rho_{ij})^2\\&=\sigma_i^2\sigma_j-2(1-\rho_{ij}^2)\label{eq3}\tag{3}\end{align}
であり、正定値行列の行列式は正であることより、\eqref{eq3}は正である。故に\(\sigma_i^2\sigma_j^2\rho_{ij}^2>0\)である。また\(\sigma_i^2\leq0\)、\(\sigma_j^2\leq0\)であるが、相関係数の定義より分母の\(\sigma_i^2\)、\(\sigma_j^2\)が\(0\)とはならないこと、または\(\boldsymbol{\Sigma}\)が正定値行列(正則行列)であることは\(\sigma_i^2>0\)、\(\sigma_j^2>0\)であることより\(\sigma_i^2>0\)、\(\sigma_j^2>0\)をここでは仮定する。このことから\(1-\rho_{ij}^2>0\Leftrightarrow -1<\rho_{ij}<1\)である。\(\boldsymbol{\Sigma}\)が非正則行列である場合の特異分布については○○を参照されたい。
補足 シルベスターの判定法を用いた証明をする。\(\boldsymbol{C}\)を正定値行列とする。シルベスターの判定法より\(\boldsymbol{C}\)が正定値行列であるので、\(\boldsymbol{C}\)の主座小行列はすべて正である。したがって\(\boldsymbol{\Sigma}\)の主座小行列\eqref{eq3}は正となる。よって次を得る。\begin{align}\begin{vmatrix}\sigma_i^2&\sigma_i\sigma_j\rho_{ij}\\\sigma_i\sigma_j\rho_{ij}&\sigma_j^2\end{vmatrix}>0.\end{align}以下同様にして\(-1<\rho_{ij}<1\)を得る。
２変量正規分布
多変量正規分布の確率密度関数はパラメータに平均\(\mu_i, i=1, \ldots, p\)、分散\(\sigma_i^2, i=1, \ldots, p\)、相関係数\(\rho_{ij}, i<j, i, j=1, \ldots, p\)をもつ。
特殊な例として、2変量正規分布を考える。平均ベクトルは\begin{align}\mathrm{E}\left[\begin{pmatrix}X_1\\X_2\end{pmatrix}\right]=\begin{pmatrix}\mu_1\\\mu_2\end{pmatrix}\label{eq4}\tag{4}\end{align}であり、共分散行列は
\begin{align}\boldsymbol{\Sigma}&=\mathrm{E}\left[\begin{pmatrix}(X_1-\mu_1)^2&(X_1-\mu_1)(X_2-\mu_2)\\(X_2-\mu_2)(X_1-\mu_1)&(X_2-\mu_2)^2\end{pmatrix}\right]\\&=\begin{pmatrix}\sigma_{11}& \sigma_{12}\\\sigma_{21}&\sigma_{22}\end{pmatrix}\\&=\begin{pmatrix}\sigma_1^2&\sigma_1\sigma_2\rho\\\sigma_1\sigma_2\rho&\sigma_2^2\end{pmatrix}\label{eq5}\tag{5}\end{align}
である。ここに\(\sigma_1^2\)は\(X_1\)の分散、\(\sigma_2^2\)は\(X_2\)の分散、\(\rho\)は\(X_1\)と\(X_2\)の相関係数である。\eqref{eq5}の逆行列は次で与えられる。
\begin{align}\boldsymbol{\Sigma}^{-1}&=\cfrac{1}{\sigma_1^2\sigma_2^2(1-\rho^2)}\begin{pmatrix}\sigma_2^2&-\sigma_1\sigma_2\rho\\-\sigma_1\sigma_2\rho&\sigma_1^2\end{pmatrix}\\&=\cfrac{1}{1-\rho^2}\begin{pmatrix}\cfrac{1}{\sigma_1^2}&-\cfrac{\rho}{\sigma_1\sigma_2}\\-\cfrac{\rho}{\sigma_1\sigma_2}&\cfrac{1}{\sigma_2^2}\end{pmatrix}.\label{eq6}\tag{6}\end{align}
したがって\(X_1\)と\(X_2\)の確率密度関数は
\begin{align}&(2\pi)^{-\frac{1}{2}\cdot2}|\boldsymbol{\Sigma}|^{-\frac{1}{2}}e^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}\\&=\cfrac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\Biggl\{-\cfrac{1}{2(1-\rho^2)}\begin{pmatrix}x_1-\mu_1&x_2-\mu_2\end{pmatrix}\\&\qquad\qquad\qquad\qquad \ \ \times\begin{pmatrix}\cfrac{1}{\sigma_1^2}&-\cfrac{\rho}{\sigma_1\sigma_2}\\-\cfrac{\rho}{\sigma_1\sigma_2}&\cfrac{1}{\sigma_2^2}\end{pmatrix}\begin{pmatrix}x_1-\mu_1\\x_2-\mu_2\end{pmatrix}\Biggr\}\\&=\cfrac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\Biggl\{-\cfrac{1}{2(1-\rho^2)}\Biggl[\cfrac{(x_1-\mu_1)^2}{\sigma_1^2}\\&\qquad\qquad\qquad\qquad-2\rho\cfrac{(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2}+\cfrac{(x_2-\mu_2)^2}{\sigma_2^2}\Biggr]\Biggr\}\label{eq7}\tag{7}\end{align}
である。
