単変量正規分布の確率密度関数は次のように書ける.\begin{align}ke^{-\frac{1}{2}\alpha(x-\beta)^2}&=ke^{-\frac{1}{2}(x-\beta)\alpha(x-\beta)}.\label{eq1}\tag{1}\end{align}ここに、\(\alpha\)は正であり、\(k\)は\(x\)についての積分が\(1\)になるように決める。これらを確率変数\(X_1, \ldots, X_p\)のしたがう多変量正規分布へと拡張していく。スカラー変数\(x\)は次の\(\boldsymbol{x}\)で置き換えられる。\begin{align}\boldsymbol{x}=\begin{pmatrix}x_1\\\vdots\\x_p\end{pmatrix}.\label{eq2}\tag{2}\end{align}スカラー変数\(\beta\)は次の\(\boldsymbol{b}\)で置き換えられる。\begin{align}\boldsymbol{b}=\begin{pmatrix}b_1\\\vdots\\b_p\end{pmatrix}.\label{eq3}\tag{3}\end{align}正の定数\(\alpha\)は次の正定値行列\(\boldsymbol{A}\)で置き換えられる。\begin{align}\boldsymbol{A}&=\begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1p} \\ a_{21} & a_{22} & \cdots & a_{2p}\\ \vdots& \vdots & & \vdots \\ a_{p1} & a_{p2} & \cdots & a_{pp} \end{pmatrix}.\label{eq4}\tag{4}\end{align}\(\alpha(x-\beta)^2=(x-\beta)\alpha(x-\beta)\)は次に2次形式で置き換えられる。
\begin{align}(\boldsymbol{x}-\boldsymbol{b})^{T}\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})=\sum_{i,j=1}^{p}a_{ij}(x_i-b_i)(x_j-b_j).\label{eq5}\tag{5}\end{align}
これらをまとめると\(p\)変量正規分布の確率密度関数は\begin{align}f(x_1, \ldots, x_p) = Ke^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})}.\label{eq6}\tag{6}\end{align}である。ここに\(K(>0)\)はp次元ユークリッド空間上の積分が\(1\)になるように決める。
行列表記にしたことで、\eqref{eq6}の多変量正規分布の確率密度関数は\eqref{eq1}の単変量正規分布と同様に表される。
\(f(x_1, \ldots, x_p)\)が非負、\(\boldsymbol{A}\)は正定値行列であることより\begin{align}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})\geq0\label{eq7}\tag{7}\end{align}がいえる。故に確率密度関数は次の\(K\)により抑えることができる。\begin{align}f(x_1, \ldots, x_p)\leq K.\label{eq8}\tag{8}\end{align}
補足 \((\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})\geq0\)より
\begin{align}e^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})}&\geq1\\\Rightarrow f(x_1,\ldots,x_p)&=Ke^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})}\leq K.\end{align}
ここで、\(K\)を\eqref{eq6}のp次元空間上での積分が\(1\)になるように決める。次の積分
\begin{align}K^*=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}e^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})}.\label{eq9}\tag{9}\end{align}
を求めるために次の事実を用いる。\begin{align}\boldsymbol{C}^T\boldsymbol{AC}=\boldsymbol{I}.\label{eq10}\tag{10}\end{align}ここに\(\boldsymbol{I}\)は単位行列を表し、\(\boldsymbol{C}^T\)は\(\boldsymbol{C}\)の転置行列を表す。\begin{align}\boldsymbol{x}-\boldsymbol{b}=\boldsymbol{Cy}\label{eq11}\tag{11}\end{align}とおく。ここに\begin{align}\boldsymbol{y}=\begin{pmatrix}y_1\\\vdots\\y_p\end{pmatrix}.\label{eq12}\tag{12}\end{align}とする。\(\boldsymbol{y}\)を用いることで2次形式は次で書ける。
\begin{align}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})&=(\boldsymbol{Cy})^T\boldsymbol{A}(\boldsymbol{Cy})\\&=\boldsymbol{y}^T\boldsymbol{C}^T\boldsymbol{ACy}\\&=\boldsymbol{y}^T\boldsymbol{y}\label{eq13}\tag{13}\end{align}
\(\boldsymbol{C}=\{c_{ij}\},i,j=1,\ldots,p\)とし、この変換のヤコビアンは
\begin{align}J &= \mathrm{mod}\begin{vmatrix}\cfrac{\partial x_1}{\partial y_1}&\cfrac{\partial x_1}{\partial y_2}&\cdots&\cfrac{\partial x_1}{y_p}\\\cfrac{\partial x_2}{\partial y_1}&\cfrac{\partial x_2}{\partial y_2}& \cdots&\cfrac{\partial x_2}{\partial y_p}\\\vdots &\vdots&&\vdots\\\cfrac{\partial x_p}{\partial y_1} &\cfrac{\partial x_p}{\partial y_2}&\cdots&\cfrac{\partial x_p}{\partial y_p}\end{vmatrix}\\&=\mathrm{mod}\left|\cfrac{\partial(\sum_{k=1}^pc_{ik}y_k+b_i)}{\partial y_j}\right|\\&=\mathrm{mod}\begin{vmatrix}c_{11}&c_{12}&\cdots&c_{1p}\\c_{21}&c_{22}&\cdots&c_{2p}\\\vdots&\vdots&&\vdots\\c_{p1}&c_{p2}&\cdots&c_{pp}\end{vmatrix}\\&=\mathrm{mod}|\boldsymbol{C}|.\label{eq14}\tag{14}\end{align}
ここに\(\mathrm{mod}|\boldsymbol{C}|\)は行列\(\boldsymbol{C}\)の行列式の絶対値を表す。これより\eqref{eq9}は
\begin{align}K^*=\mathrm{mod}|\boldsymbol{C}|\int_{-\infty}^{\infty}e^{-\frac{1}{2}\boldsymbol{y}^T\boldsymbol{y}}dy_p\cdots dy_1\label{eq15}\tag{15}\end{align}
となる。ここで\(e^{-\frac{1}{2}\boldsymbol{y}^T\boldsymbol{y}}\)について次が成り立つ。
\begin{align}e^{-\frac{1}{2}\boldsymbol{y}^T\boldsymbol{y}}&=\exp\left\{-\tfrac{1}{2}\begin{pmatrix}y_1&\cdots&y_p\end{pmatrix}\begin{pmatrix}y_1\\\vdots\\y_p\end{pmatrix}\right\}\\&=\exp\left\{-\tfrac{1}{2}\sum_{i=1}^py_i^2\right\}\\&=e^{-\frac{1}{2}y_1^2}\cdots e^{-\frac{1}{2}y_p^2}\\&=\prod_{i=1}^pe^{-\frac{1}{2}y_i^2}.\label{eq16}\tag{16}\end{align}
ここに\(\exp(z)=e^z\)とする。よって\eqref{eq15}は
\begin{align}K^*&=\mathrm{mod}|\boldsymbol{C}|\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}\prod_{i=1}^pe^{-\frac{1}{2}y_i^2}dy_p\cdots dy_1\\&=\mathrm{mod}|\boldsymbol{C}|\prod_{i=1}^p\left\{\int_{-\infty}^{\infty}e^{-\frac{1}{2}y_i^2}dy_i\right\}\\&=\mathrm{mod}|\boldsymbol{C}|\prod_{i=1}^p\left\{\sqrt{2\pi}\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{1}{2}y_i^2}dy_i\right\}\\&=\mathrm{mod}|\boldsymbol{C}|(2\pi)^{\frac{1}{2}p}\label{eq17}\tag{17}\end{align}
となる。\eqref{eq17}の導出に次の事実を用いた。
\begin{align}\cfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{1}{2}y_i^2}dy_i.\label{eq18}\tag{18}\end{align}
また\eqref{eq10}を行列式にし、\(|\boldsymbol{C}|\)について解くと
\begin{align}|&\boldsymbol{C}^T\boldsymbol{AC}|=|\boldsymbol{I}|\\&\Leftrightarrow|\boldsymbol{C}^T|\cdot|\boldsymbol{A}|\cdot|\boldsymbol{C}|=1\\&\Leftrightarrow|\boldsymbol{C}|^2=\pm1/|\boldsymbol{A}|\\&\Leftrightarrow|\boldsymbol{C}|^2=1/|\boldsymbol{A}|\\&\Rightarrow\mathrm{mod}|\boldsymbol{C}|=1/\sqrt{|\boldsymbol{A}|}.\label{eq19}\tag{19}\end{align}
よって、\eqref{eq19}と\(KK^*=\int_{-\infty}^{\infty}f(x_1,\ldots, x_p)dx_p\cdots dx_1=1\)であることから次がいえる。
\begin{align}K=1/K^*&=\cfrac{1}{\mathrm{mod}|\boldsymbol{C}|(2\pi)^{\frac{1}{2}p}}\\&=\sqrt{\boldsymbol{A}}(2\pi)^{-\frac{1}{2}p}.\label{eq20}\tag{20}\end{align}
よって多変量正規分布の確率密度関数は
\begin{align}\cfrac{\sqrt{|\boldsymbol{A}}}{(2\pi)^{\frac{1}{2}p}}e^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{b})^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{b})}.\label{eq21}\tag{21}\end{align}
である。パラメータ\(\boldsymbol{b}\)、\(\boldsymbol{A}^{-1}\)平均ベクトル、共分散行列に対応し、それぞれ\(\boldsymbol{\mu}\)、\(\boldsymbol{\Sigma}\)で表す。したがって多変量正規分布の確率密度関数は次のように書き直される。
\begin{align}(2\pi)^{-\frac{1}{2}p}|\boldsymbol{\Sigma}|^{-\frac{1}{2}}e^{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}.\label{eq22}\tag{22}\end{align}
次回はパラメータ\(\boldsymbol{b}\)、\(\boldsymbol{A}\)の性質をみていく。
