多変量正規分布

多変量正規分布の平均ベクトル、共分散行列#2

  1. HOME >
  2. 多変量正規分布 >

多変量正規分布の平均ベクトル、共分散行列#2

スポンサーリンク

前回の続きをみていく。次の前々回の記事

で紹介した多変量正規分布のパラメータ\(\boldsymbol{b}\)、\(\boldsymbol{A}\)のが平均ベクトル、共分散行列に対応することをみていく。

多変量正規分布の平均ベクトルの導出

\(\boldsymbol{X}=\boldsymbol{CY}+\boldsymbol{b}\)の変換を考える。ここに\(\boldsymbol{b}\)は多変量正規分布の確率密度関数のパラメータであり、\(\boldsymbol{C}^T\boldsymbol{AC}=\boldsymbol{I}\)である。このとき\(\mathrm{E}[\boldsymbol{X}]=\boldsymbol{C}\mathrm{E}[\boldsymbol{Y}]+\boldsymbol{b}\)が成り立つ。また\(\boldsymbol{Y}\)の確率密度関数は次で与えられる。

\begin{align}\cfrac{1}{(2\pi)^{\frac{1}{2}p}}e^{-\frac{1}{2}\boldsymbol{y}^T\boldsymbol{y}}=\prod_{j=1}^p\left\{\cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y_j^2}\right\}\label{eq1}\tag{1}\end{align}

ここで\(i\)番目の確率変数\(Y_i\)の期待値は次で与えられる。

\begin{align}\mathrm{E}[Y_i]&=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}y_i\prod_{j=1}^p\left\{\cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y_j^2}\right\}dy_1\cdots dy_p\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_1^2}dy_i\prod_{\substack{j=1\\j\neq i}}^p\left\{\int_{-\infty}^{\infty}\cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y_j^2}dy_j\right\}\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i\cdot1\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i.\label{eq2}\tag{2}\end{align}

ここで\(y_ie^{-\frac{1}{2}y_i^2}\)は奇関数であり、これを\(f(y_i)\)とすると\(f(y_i)=-f(-y_i)\)を満たす。\(y_i^*=-y_i\)と変換すると、\(y_i\)が\(-\infty\to 0\)のとき\(y_i^*\)は\(\infty\to0\)である。またこの変換のヤコビアンは\(\tfrac{dy_i}{dy_i^*}=-1\)であることから次が得られる。

\begin{align}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i&=\int_{0}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i+\int_{-\infty}^0y_ie^{-\frac{1}{2}y_i^2}dy_i\\&=\int_{0}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i+\int_{\infty}^{0}(-y_i^*)e^{-\frac{1}{2}y_i^{*2}}(-dy_i^*)\\&=\int_{0}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i-\int_0^{\infty}y_i^*e^{-\frac{1}{2}y_i^{*2}}dy_i^*\\&=0.\end{align}

したがって\eqref{eq2}は次になる。

\begin{align}\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i=\cfrac{1}{\sqrt{2\pi}}\cdot0=0.\end{align}

このことから\(\mathrm{E}[Y_i]=0, i=1,\ldots,p\)がいえるので\(\mathrm{E}[\boldsymbol{Y}]=\boldsymbol{0}\)である。故に\(\boldsymbol{X}\)の平均ベクトル\(\boldsymbol{\mu}\)について次がいえる。

\begin{align}\boldsymbol{\mu}&=\mathrm{E}[\boldsymbol{X}]\\&=\mathrm{E}[\boldsymbol{CY}+\boldsymbol{b}]\\&=\boldsymbol{C}\mathrm{E}[\boldsymbol{Y}]+\boldsymbol{b}\\&=\boldsymbol{C0}+\boldsymbol{b}=\boldsymbol{0}.\label{eq3}\tag{3}\end{align}

多変量正規分布の共分散行列の導出

共分散行列の性質より、\(\mathrm{Var}[\boldsymbol{X}]=\boldsymbol{C}(\mathrm{Var}[\boldsymbol{Y}])\boldsymbol{C}^T=\boldsymbol{C}(\mathrm{E}[\boldsymbol{YY}^T])\boldsymbol{C}^T\)である。ここで\(\mathrm{E}[\boldsymbol{YY}^T]\)の\(i,j\)番目の要素\(\mathrm{E}[Y_iY_j]\)は次となる。

\begin{align}\mathrm{E}[Y_iY_j]=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}y_iy_j\prod_{h=1}^p\left\{\cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y_h^2}\right\}dy_1\cdots dy_p.\label{eq4}\tag{4}\end{align}

\eqref{eq1}より、\(i=j\)のとき

\begin{align}\mathrm{E}[Y_i^2]&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_i^2e^{-\frac{1}{2}y_i^2}dy_i\prod_{\substack{h=1\\h\neq i}}^p\left\{\int_{-\infty}^{\infty}\cfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y_h^2}dy_h\right\}\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_i^2e^{-\frac{1}{2}y_i^2}\cdot1\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_i\left(y_ie^{-\frac{1}{2}y_i^2}\right)dy_i\\&=\cfrac{1}{\sqrt{2\pi}}\left\{\left[y_i\bigl(-e^{-\frac{1}{2}y_i^2}\bigr)\right]_{-\infty}^{\infty}-\int_{-\infty}^{\infty}-e^{-\frac{1}{2}y_i^2}dy_i\right\}\\&=\cfrac{1}{\sqrt{2\pi}}\left(0+\int_{-\infty}^{\infty}e^{-\frac{1}{2}y_i^2}dy_i\right)\\&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{1}{2}y_i^2}dy_i=1.\label{eq5}\tag{5}\end{align}

最後の等式は2行目の式からもいえる。これは、2行目の式は平均\(0\)、分散\(1\)の正規分布にしたがう確率変数\(Y_i\)の2乗の期待値であるためである。すなわち\(\mathrm{Var}[Y_i]=\mathrm{E}[Y_i^2]-(\mathrm{E}[Y_i])^2=\mathrm{E}[Y_i^2]-0^2\)であることから、\(\mathrm{E}[Y_i^2]=1\)である。次に\(i\neq j\)であるとき\eqref{eq4}は次となる。

\begin{align}\mathrm{E}[Y_iY_j]&=\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_ie^{-\frac{1}{2}y_i^2}dy_i\cdot\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}y_je^{-\frac{1}{2}y_j^2}dy_j\\&\ \ \ \ \cdot\prod_{\substack{h=1\\h\neq i,j}}\left\{\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{1}{2}y_h^2}dy_h\right\}\\&=0\cdot0\cdot1,\ \ \ \ (i\neq j).\label{eq6}\tag{6}\end{align}

\eqref{eq6}は最初の積分が\(0\)であることよりいえる。\eqref{eq5}と\eqref{eq6}を次の共分散行列の形でまとめる。

\begin{align}\mathrm{E}[\boldsymbol{YY}^T]&=\mathrm{E}\left[\begin{pmatrix}Y_1\\\vdots\\Y_p\end{pmatrix}\begin{pmatrix}Y_1 &\cdots&Y_p\end{pmatrix}\right]\\&=\mathrm{E}\left[\begin{pmatrix}Y_1^2&Y_1Y_2&\cdots&Y_1Y_p\\Y_2Y_1&Y_2^2&\cdots&Y_2Y_p\\\vdots&\vdots&&\vdots\\Y_pY_1&Y_pY_2&\cdots&Y_p^2\end{pmatrix}\right]\\&=\begin{pmatrix}\mathrm{E}[Y_1^2]&\mathrm{E}[Y_1Y_2]&\cdots&\mathrm{E}[Y_1Y_p]\\\mathrm{E}[Y_2Y_1]&\mathrm{E}[Y_2^2]&\cdots&\mathrm{E}[Y_2Y_p]\\\vdots&\vdots&&\vdots\\\mathrm{E}[Y_pY_1]&\mathrm{E}[Y_pY_2]&\cdots&\mathrm{E}[Y_p^2]\end{pmatrix}\\&=\begin{pmatrix}1&0&\cdots&0\\0&1&\cdots&0\\\vdots&\vdots&&\vdots\\0&0&\cdots&1\end{pmatrix}=\boldsymbol{I}.\label{eq7}\tag{7}\end{align}

このことから

\begin{align}\mathrm{E}\bigl[(\boldsymbol{X}-\boldsymbol{\mu})(\boldsymbol{X}-\boldsymbol{\mu})^T\bigr]&=\mathrm{E}\bigl[\boldsymbol{CY}(\boldsymbol{CY})^T\bigr]\\&=\mathrm{E}[\boldsymbol{CYY^TC^T}]\\&=\boldsymbol{C}\bigl(\mathrm{E}[\boldsymbol{YY^T}]\bigr)\boldsymbol{C}^T\\&=\boldsymbol{CIC}^T=\boldsymbol{CC}^T\label{eq8}\tag{8}\end{align}

がいえる。また\(\boldsymbol{C}^T\boldsymbol{AC}=\boldsymbol{I}\)に左から\((\boldsymbol{C}^T)^{-1}\)、右から\(\boldsymbol{C}^{-1}\)を掛けることで\(\boldsymbol{A}=(\boldsymbol{C}^T)^{-1}\boldsymbol{C}^{-1}\)を得る。また任意の正則行列\(\boldsymbol{D}\)、\(\boldsymbol{E}\)に対して\((\boldsymbol{DE})^{-1}=\boldsymbol{E}^{-1}\boldsymbol{D}^{-1}\)がいえるので逆行列を考えることで次を得る。\begin{align}\boldsymbol{CC}^T=\boldsymbol{A}^{-1}.\label{eq9}\tag{9}\end{align}故に\(\boldsymbol{X}\)の共分散行列は次で与えられる。

\begin{align}\boldsymbol{\Sigma}=\mathrm{E}\bigl[(\boldsymbol{X}-\boldsymbol{\mu})(\boldsymbol{X}-\boldsymbol{\mu})^T\bigr]=\boldsymbol{A}^{-1}.\label{eq10}\tag{10}\end{align}

多変量正規分布の確率密度関数

以下にこれらの結果をまとめる。

定理1  多変量正規分布のパラメータ

p次元確率ベクトル\(\boldsymbol{X}\)の確率密度関数が\begin{align}\cfrac{\sqrt{|\boldsymbol{A}|}}{(2\pi)^{\frac{1}{2}p}}e^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})}\end{align}であるとき、\(\boldsymbol{X}\)の平均ベクトルは\(\boldsymbol{b}\)、共分散行列は\(\boldsymbol{A}^{-1}\)である。逆にベクトル\(\boldsymbol{\mu}\)、正定値行列\(\boldsymbol{\Sigma}\)が与えられたとき、平均ベクトルが\(\boldsymbol{\mu}\)、共分散行列が\(\boldsymbol{\Sigma}\)である次の多変量正規分布の確率密度関数が存在する。

\begin{align}(2\pi)^{-\frac{1}{2}p}|\boldsymbol{\Sigma}|^{-\frac{1}{2}}e^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}.\label{eq11}\tag{11}\end{align}

スポンサーリンク

  • この記事を書いた人
  • 最新記事

usagi-san

統計学とゲームとかをメインに解説していくよ。 数式とかプログラミングコードにミスがあったり質問があったりする場合はコメントで受け付けます。すぐに対応します。

-多変量正規分布
-, ,