前回の続きをみていく。次の前々回の記事
で紹介した多変量正規分布のパラメータ\(\boldsymbol{b}\)、\(\boldsymbol{A}\)のが平均ベクトル、共分散行列に対応することをみていく。
多変量正規分布の平均ベクトルの導出
\(\boldsymbol{X}=\boldsymbol{CY}+\boldsymbol{b}\)の変換を考える。ここに\(\boldsymbol{b}\)は多変量正規分布の確率密度関数のパラメータであり、\(\boldsymbol{C}^T\boldsymbol{AC}=\boldsymbol{I}\)である。このとき\(\mathrm{E}[\boldsymbol{X}]=\boldsymbol{C}\mathrm{E}[\boldsymbol{Y}]+\boldsymbol{b}\)が成り立つ。また\(\boldsymbol{Y}\)の確率密度関数は次で与えられる。
\begin{align}\cfrac{1}{(2\pi)^{\frac{1}{2}p}}e^{-\frac{1}{2}\boldsymbol{y}^T\boldsymbol{y}}=\prod_{j=1}^p\left\{\cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y_j^2}\right\}\label{eq1}\tag{1}\end{align}
ここで\(i\)番目の確率変数\(Y_i\)の期待値は次で与えられる。
\begin{align}\mathrm{E}[Y_i]&=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}y_i\prod_{j=1}^p\left\{\cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y_j^2}\right\}dy_1\cdots dy_p\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_1^2}dy_i\prod_{\substack{j=1\\j\neq i}}^p\left\{\int_{-\infty}^{\infty}\cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y_j^2}dy_j\right\}\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i\cdot1\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i.\label{eq2}\tag{2}\end{align}
ここで\(y_ie^{-\frac{1}{2}y_i^2}\)は奇関数であり、これを\(f(y_i)\)とすると\(f(y_i)=-f(-y_i)\)を満たす。\(y_i^*=-y_i\)と変換すると、\(y_i\)が\(-\infty\to 0\)のとき\(y_i^*\)は\(\infty\to0\)である。またこの変換のヤコビアンは\(\tfrac{dy_i}{dy_i^*}=-1\)であることから次が得られる。
\begin{align}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i&=\int_{0}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i+\int_{-\infty}^0y_ie^{-\frac{1}{2}y_i^2}dy_i\\&=\int_{0}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i+\int_{\infty}^{0}(-y_i^*)e^{-\frac{1}{2}y_i^{*2}}(-dy_i^*)\\&=\int_{0}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i-\int_0^{\infty}y_i^*e^{-\frac{1}{2}y_i^{*2}}dy_i^*\\&=0.\end{align}
したがって\eqref{eq2}は次になる。
\begin{align}\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i=\cfrac{1}{\sqrt{2\pi}}\cdot0=0.\end{align}
このことから\(\mathrm{E}[Y_i]=0, i=1,\ldots,p\)がいえるので\(\mathrm{E}[\boldsymbol{Y}]=\boldsymbol{0}\)である。故に\(\boldsymbol{X}\)の平均ベクトル\(\boldsymbol{\mu}\)について次がいえる。
\begin{align}\boldsymbol{\mu}&=\mathrm{E}[\boldsymbol{X}]\\&=\mathrm{E}[\boldsymbol{CY}+\boldsymbol{b}]\\&=\boldsymbol{C}\mathrm{E}[\boldsymbol{Y}]+\boldsymbol{b}\\&=\boldsymbol{C0}+\boldsymbol{b}=\boldsymbol{0}.\label{eq3}\tag{3}\end{align}
多変量正規分布の共分散行列の導出
共分散行列の性質より、\(\mathrm{Var}[\boldsymbol{X}]=\boldsymbol{C}(\mathrm{Var}[\boldsymbol{Y}])\boldsymbol{C}^T=\boldsymbol{C}(\mathrm{E}[\boldsymbol{YY}^T])\boldsymbol{C}^T\)である。ここで\(\mathrm{E}[\boldsymbol{YY}^T]\)の\(i,j\)番目の要素\(\mathrm{E}[Y_iY_j]\)は次となる。
\begin{align}\mathrm{E}[Y_iY_j]=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}y_iy_j\prod_{h=1}^p\left\{\cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y_h^2}\right\}dy_1\cdots dy_p.\label{eq4}\tag{4}\end{align}
\eqref{eq1}より、\(i=j\)のとき
\begin{align}\mathrm{E}[Y_i^2]&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_i^2e^{-\frac{1}{2}y_i^2}dy_i\prod_{\substack{h=1\\h\neq i}}^p\left\{\int_{-\infty}^{\infty}\cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y_h^2}dy_h\right\}\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_i^2e^{-\frac{1}{2}y_i^2}\cdot1\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_i\left(y_ie^{-\frac{1}{2}y_i^2}\right)dy_i\\&=\cfrac{1}{\sqrt{2\pi}}\left\{\left[y_i\bigl(-e^{-\frac{1}{2}y_i^2}\bigr)\right]_{-\infty}^{\infty}-\int_{-\infty}^{\infty}-e^{-\frac{1}{2}y_i^2}dy_i\right\}\\&=\cfrac{1}{\sqrt{2\pi}}\left(0+\int_{-\infty}^{\infty}e^{-\frac{1}{2}y_i^2}dy_i\right)\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{1}{2}y_i^2}dy_i=1.\label{eq5}\tag{5}\end{align}
最後の等式は2行目の式からもいえる。これは、2行目の式は平均\(0\)、分散\(1\)の正規分布にしたがう確率変数\(Y_i\)の2乗の期待値であるためである。すなわち\(\mathrm{Var}[Y_i]=\mathrm{E}[Y_i^2]-(\mathrm{E}[Y_i])^2=\mathrm{E}[Y_i^2]-0^2\)であることから、\(\mathrm{E}[Y_i^2]=1\)である。次に\(i\neq j\)であるとき\eqref{eq4}は次となる。
\begin{align}\mathrm{E}[Y_iY_j]&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i\cdot\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_je^{-\frac{1}{2}y_j^2}dy_j\\&\ \ \ \ \cdot\prod_{\substack{h=1\\h\neq i,j}}\left\{\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{1}{2}y_h^2}dy_h\right\}\\&=0\cdot0\cdot1,\ \ \ \ (i\neq j).\label{eq6}\tag{6}\end{align}
\eqref{eq6}は最初の積分が\(0\)であることよりいえる。\eqref{eq5}と\eqref{eq6}を次の共分散行列の形でまとめる。
\begin{align}\mathrm{E}[\boldsymbol{YY}^T]&=\mathrm{E}\left[\begin{pmatrix}Y_1\\\vdots\\Y_p\end{pmatrix}\begin{pmatrix}Y_1 &\cdots&Y_p\end{pmatrix}\right]\\&=\mathrm{E}\left[\begin{pmatrix}Y_1^2&Y_1Y_2&\cdots&Y_1Y_p\\Y_2Y_1&Y_2^2&\cdots&Y_2Y_p\\\vdots&\vdots&&\vdots\\Y_pY_1&Y_pY_2&\cdots&Y_p^2\end{pmatrix}\right]\\&=\begin{pmatrix}\mathrm{E}[Y_1^2]&\mathrm{E}[Y_1Y_2]&\cdots&\mathrm{E}[Y_1Y_p]\\\mathrm{E}[Y_2Y_1]&\mathrm{E}[Y_2^2]&\cdots&\mathrm{E}[Y_2Y_p]\\\vdots&\vdots&&\vdots\\\mathrm{E}[Y_pY_1]&\mathrm{E}[Y_pY_2]&\cdots&\mathrm{E}[Y_p^2]\end{pmatrix}\\&=\begin{pmatrix}1&0&\cdots&0\\0&1&\cdots&0\\\vdots&\vdots&&\vdots\\0&0&\cdots&1\end{pmatrix}=\boldsymbol{I}.\label{eq7}\tag{7}\end{align}
このことから
\begin{align}\mathrm{E}\bigl[(\boldsymbol{X}-\boldsymbol{\mu})(\boldsymbol{X}-\boldsymbol{\mu})^T\bigr]&=\mathrm{E}\bigl[\boldsymbol{CY}(\boldsymbol{CY})^T\bigr]\\&=\mathrm{E}[\boldsymbol{CYY^TC^T}]\\&=\boldsymbol{C}\bigl(\mathrm{E}[\boldsymbol{YY^T}]\bigr)\boldsymbol{C}^T\\&=\boldsymbol{CIC}^T=\boldsymbol{CC}^T\label{eq8}\tag{8}\end{align}
がいえる。また\(\boldsymbol{C}^T\boldsymbol{AC}=\boldsymbol{I}\)に左から\((\boldsymbol{C}^T)^{-1}\)、右から\(\boldsymbol{C}^{-1}\)を掛けることで\(\boldsymbol{A}=(\boldsymbol{C}^T)^{-1}\boldsymbol{C}^{-1}\)を得る。また任意の正則行列\(\boldsymbol{D}\)、\(\boldsymbol{E}\)に対して\((\boldsymbol{DE})^{-1}=\boldsymbol{E}^{-1}\boldsymbol{D}^{-1}\)がいえるので逆行列を考えることで次を得る。\begin{align}\boldsymbol{CC}^T=\boldsymbol{A}^{-1}.\label{eq9}\tag{9}\end{align}故に\(\boldsymbol{X}\)の共分散行列は次で与えられる。
\begin{align}\boldsymbol{\Sigma}=\mathrm{E}\bigl[(\boldsymbol{X}-\boldsymbol{\mu})(\boldsymbol{X}-\boldsymbol{\mu})^T\bigr]=\boldsymbol{A}^{-1}.\label{eq10}\tag{10}\end{align}
多変量正規分布の確率密度関数
以下にこれらの結果をまとめる。
定理1 多変量正規分布のパラメータ
p次元確率ベクトル\(\boldsymbol{X}\)の確率密度関数が\begin{align}\cfrac{\sqrt{|\boldsymbol{A}|}}{(2\pi)^{\frac{1}{2}p}}e^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})}\end{align}であるとき、\(\boldsymbol{X}\)の平均ベクトルは\(\boldsymbol{b}\)、共分散行列は\(\boldsymbol{A}^{-1}\)である。逆にベクトル\(\boldsymbol{\mu}\)、正定値行列\(\boldsymbol{\Sigma}\)が与えられたとき、平均ベクトルが\(\boldsymbol{\mu}\)、共分散行列が\(\boldsymbol{\Sigma}\)である次の多変量正規分布の確率密度関数が存在する。
\begin{align}(2\pi)^{-\frac{1}{2}p}|\boldsymbol{\Sigma}|^{-\frac{1}{2}}e^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}.\label{eq11}\tag{11}\end{align}
