多変量正規分布

共分散行列の性質と2変量正規分布の確率密度関数

  1. HOME >
  2. 多変量正規分布 >

共分散行列の性質と2変量正規分布の確率密度関数

スポンサーリンク

共分散行列の性質

\(\boldsymbol{\Sigma}\)の\(i\)番目の対角成分\(\sigma_{ii}\)は\(\boldsymbol{X}\)の\(i\)番目の要素\(X_i\)の分散である。しばしば\(\sigma_i^2\)と表記することがある。確率変数\(X_i\)と\(X_j\)の相関係数は次で与えられる。\begin{align}\rho_{ij}=\cfrac{\sigma_{ij}}{\sqrt{\sigma_{ii}}\sqrt{\sigma_{jj}}}=\cfrac{\sigma_{ij}}{\sigma_i\sigma_j}.\label{eq1}\tag{1}\end{align}\(\rho_ij=\rho_{ji}\)であり、\(\sigma_{ij}=\sigma_i\sigma_j\rho_{ij}\)であることから次がいえる。

\begin{align}\begin{pmatrix}\sigma_{ii}&\sigma_{ij}\\\sigma_{ji}&\sigma_{jj}\end{pmatrix}=\begin{pmatrix}\sigma_i^2 & \sigma_i\sigma_j\rho_{ij}\\\sigma_i\sigma_j\rho_{ij}&\sigma_j^2\end{pmatrix}.\label{eq2}\tag{2}\end{align}

またこの行列は正定値行列である(統計学の線形代数より)。\eqref{eq2}の行列式は

\begin{align}\begin{vmatrix}\sigma_i^2&\sigma_i\sigma_j\rho_{ij}\\\sigma_i\sigma_j\rho_{ij}&\sigma_j^2\end{vmatrix}&=\sigma_i^2\sigma_j^2-(\sigma_i\sigma_j\rho_{ij})^2\\&=\sigma_i^2\sigma_j-2(1-\rho_{ij}^2)\label{eq3}\tag{3}\end{align}

であり、正定値行列の行列式は正であることより、\eqref{eq3}は正である。故に\(\sigma_i^2\sigma_j^2\rho_{ij}^2>0\)である。また\(\sigma_i^2\leq0\)、\(\sigma_j^2\leq0\)であるが、相関係数の定義より分母の\(\sigma_i^2\)、\(\sigma_j^2\)が\(0\)とはならないこと、または\(\boldsymbol{\Sigma}\)が正定値行列(正則行列)であることは\(\sigma_i^2>0\)、\(\sigma_j^2>0\)であることより\(\sigma_i^2>0\)、\(\sigma_j^2>0\)をここでは仮定する。このことから\(1-\rho_{ij}^2>0\Leftrightarrow -1<\rho_{ij}<1\)である。\(\boldsymbol{\Sigma}\)が非正則行列である場合の特異分布については○○を参照されたい。

補足 シルベスターの判定法を用いた証明をする。\(\boldsymbol{C}\)を正定値行列とする。シルベスターの判定法より\(\boldsymbol{C}\)が正定値行列であるので、\(\boldsymbol{C}\)の主座小行列はすべて正である。したがって\(\boldsymbol{\Sigma}\)の主座小行列\eqref{eq3}は正となる。よって次を得る。\begin{align}\begin{vmatrix}\sigma_i^2&\sigma_i\sigma_j\rho_{ij}\\\sigma_i\sigma_j\rho_{ij}&\sigma_j^2\end{vmatrix}>0.\end{align}以下同様にして\(-1<\rho_{ij}<1\)を得る。

2変量正規分布

多変量正規分布の確率密度関数はパラメータに平均\(\mu_i, i=1, \ldots, p\)、分散\(\sigma_i^2, i=1, \ldots, p\)、相関係数\(\rho_{ij}, i<j, i, j=1, \ldots, p\)をもつ。

特殊な例として、2変量正規分布を考える。平均ベクトルは\begin{align}\mathrm{E}\left[\begin{pmatrix}X_1\\X_2\end{pmatrix}\right]=\begin{pmatrix}\mu_1\\\mu_2\end{pmatrix}\label{eq4}\tag{4}\end{align}であり、共分散行列は

\begin{align}\boldsymbol{\Sigma}&=\mathrm{E}\left[\begin{pmatrix}(X_1-\mu_1)^2&(X_1-\mu_1)(X_2-\mu_2)\\(X_2-\mu_2)(X_1-\mu_1)&(X_2-\mu_2)^2\end{pmatrix}\right]\\&=\begin{pmatrix}\sigma_{11}& \sigma_{12}\\\sigma_{21}&\sigma_{22}\end{pmatrix}\\&=\begin{pmatrix}\sigma_1^2&\sigma_1\sigma_2\rho\\\sigma_1\sigma_2\rho&\sigma_2^2\end{pmatrix}\label{eq5}\tag{5}\end{align}

である。ここに\(\sigma_1^2\)は\(X_1\)の分散、\(\sigma_2^2\)は\(X_2\)の分散、\(\rho\)は\(X_1\)と\(X_2\)の相関係数である。\eqref{eq5}の逆行列は次で与えられる。

\begin{align}\boldsymbol{\Sigma}^{-1}&=\cfrac{1}{\sigma_1^2\sigma_2^2(1-\rho^2)}\begin{pmatrix}\sigma_2^2&-\sigma_1\sigma_2\rho\\-\sigma_1\sigma_2\rho&\sigma_1^2\end{pmatrix}\\&=\cfrac{1}{1-\rho^2}\begin{pmatrix}\cfrac{1}{\sigma_1^2}&-\cfrac{\rho}{\sigma_1\sigma_2}\\-\cfrac{\rho}{\sigma_1\sigma_2}&\cfrac{1}{\sigma_2^2}\end{pmatrix}.\label{eq6}\tag{6}\end{align}

したがって\(X_1\)と\(X_2\)の確率密度関数は

\begin{align}&(2\pi)^{-\frac{1}{2}\cdot2}|\boldsymbol{\Sigma}|^{-\frac{1}{2}}e^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}\\&=\cfrac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\Biggl\{-\cfrac{1}{2(1-\rho^2)}\begin{pmatrix}x_1-\mu_1&x_2-\mu_2\end{pmatrix}\\&\qquad\qquad\qquad\qquad \ \ \times\begin{pmatrix}\cfrac{1}{\sigma_1^2}&-\cfrac{\rho}{\sigma_1\sigma_2}\\-\cfrac{\rho}{\sigma_1\sigma_2}&\cfrac{1}{\sigma_2^2}\end{pmatrix}\begin{pmatrix}x_1-\mu_1\\x_2-\mu_2\end{pmatrix}\Biggr\}\\&=\cfrac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\Biggl\{-\cfrac{1}{2(1-\rho^2)}\Biggl[\cfrac{(x_1-\mu_1)^2}{\sigma_1^2}\\&\qquad\qquad\qquad\qquad-2\rho\cfrac{(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2}+\cfrac{(x_2-\mu_2)^2}{\sigma_2^2}\Biggr]\Biggr\}\label{eq7}\tag{7}\end{align}

である。

スポンサーリンク

  • この記事を書いた人
  • 最新記事

usagi-san

統計学とゲームとかをメインに解説していくよ。 数式とかプログラミングコードにミスがあったり質問があったりする場合はコメントで受け付けます。すぐに対応します。

-多変量正規分布
-, ,

© 2022 ウサギさんの統計学サロン Powered by AFFINGER5