多変量正規分布

多変量正規分布の特性関数

  1. HOME >
  2. 多変量正規分布 >

多変量正規分布の特性関数

スポンサーリンク

この記事では、多変量正規分布の特性関数を導出します。

1変量から多変量への自然な一般化が示されます。

特性関数

多変量正規分布の特性関数は密度関数に似た形をもつ。容易に、特性関数からモーメントとキュムラントを求めることが可能となる。

定義1 確率ベクトルの特性関数

確率ベクトル\(\boldsymbol{X}\)の特性関数は\begin{align}\label{eq1}\phi(\boldsymbol{t})=\mathrm{E}[e^{i\boldsymbol{t}^T\boldsymbol{X}}]\tag{1}\end{align}であり、すべての実数値ベクトル\(\boldsymbol{t}\)に対して、定義される。

この定義から、特性関数を求めるために、まず確率ベクトルを引数にもつ複素関数の期待値を定義する必要がある。

定義2 複素関数の期待値

複素関数\(g(\boldsymbol{x})\)を\(g(\boldsymbol{x})=g_1(\boldsymbol{x})+g_2(\boldsymbol{x})\)とする。ここに\(g_1(\boldsymbol{x})\)\(g_2(\boldsymbol{x})\)は実数をとる。このとき\(g(\boldsymbol{X})\)の期待値は\begin{align}\label{eq2}\mathrm{E}\bigl[g(\boldsymbol{X})\bigr]=\mathrm{E}\bigl[g_1(\boldsymbol{X})\bigr]+i\mathrm{E}\bigl[g_2(\boldsymbol{X})\bigr]\tag{2}\end{align}で定義する。

特に\(e^{i\theta}=\cos\theta+ i\sin\theta\)であるので

\begin{align}\label{eq3}\mathrm{E}[e^{i\boldsymbol{t}^T\boldsymbol{X}}]=\mathrm{E}[\cos\boldsymbol{t}^T\boldsymbol{X}]+i\mathrm{E}[\sin\boldsymbol{t}^T\boldsymbol{X}]\tag{3}\end{align}

である。確率ベクトル\(\boldsymbol{X}\)の特性関数を解くために、次の補題を用いる。

補題1 複素関数の期待値の性質

\(\boldsymbol{X}^T=(\boldsymbol{X}^{(1)T}, \boldsymbol{X}^{(2)T})\)とする。\(\boldsymbol{X}^{(1)}\)と\(\boldsymbol{X}^{(2)}\)が独立であり、\(g(\boldsymbol{x})=g^{(1)}(\boldsymbol{x}^{(1)})g^{(2)}(\boldsymbol{x})^{(2)}\)であるとき\begin{align}\label{eq4}\mathrm{E}\bigl[g(\boldsymbol{x})\bigr]=\mathrm{E}\bigl[g^{(1)}(\boldsymbol{X}^{(1)})\bigr]\mathrm{E}\bigl[g^{(2)}(\boldsymbol{x}^{(2)})\bigr]\tag{4}\end{align}が成り立つ。

証明 \(g(\boldsymbol{x})\)が実数をとり、\(\boldsymbol{X}\)が密度関数を持つとき、\(g(\boldsymbol{X})\)の期待値は次となる。

\begin{align}\mathrm{E}\bigl[g(\boldsymbol{X})\bigr]&=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}g(\boldsymbol{x})f(\boldsymbol{x})dx_1\cdots dx_p\\&=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}g^{(1)}(\boldsymbol{x}^{(1)})g^{(2)}(\boldsymbol{x}^{(2)})f^{(1)}(\boldsymbol{x}^{(1)})f^{(2)}(\boldsymbol{x}^{(2)})dx_1\cdots dx_p\\&=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}g^{(1)}(\boldsymbol{x}^{(1)})f^{(1)}(\boldsymbol{x}^{(1)})dx_1\cdots dx_q\\&\ \ \ \ \cdot\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}g^{(2)}(\boldsymbol{x}^{(2)})f^{(2)}(\boldsymbol{x}^{(2)})dx_{q+1}\cdots dx_p\\\label{eq5}&=\mathrm{E}\bigl[g^{(1)}(\boldsymbol{X}^{(1)})\bigr]\mathrm{E}\bigl[g^{(2)}(\boldsymbol{X}^{(2)})\bigr]\tag{5}\end{align}

\(g(\boldsymbol{x})\)が複素数をとるとき

\begin{align}g(\boldsymbol{x})&=\bigl[g^{(1)}(\boldsymbol{X}^{(1)})+ig_2^{(1)}(\boldsymbol{X}^{(2)})\bigr]\bigl[g^{(2)}(\boldsymbol{X}^{(1)})+ig_2^{(2)}(\boldsymbol{X}^{(2)})\bigr]\\&=g_1^{(1)}(\boldsymbol{X}^{(1)})g_1^{(2)}(\boldsymbol{X}^{(2)})+ig_1^{(1)}(\boldsymbol{X}^{(1)})g_2^{(2)}(\boldsymbol{X}^{(2)})\\&\ \ \ \ +ig_2^{(1)}(\boldsymbol{X}^{(1)})g_1^{(2)}(\boldsymbol{X}^{(2)})-g_2^{(1)}(\boldsymbol{X}^{(1)}g_2^{(2)}(\boldsymbol{X}^{(2)})\\\label{eq6}&=g_1^{(1)}(\boldsymbol{X}^{(1)})g_1^{(2)}(\boldsymbol{X}^{(2)})-g_2^{(1)}(\boldsymbol{X}^{(1)})g_2^{(2)}(\boldsymbol{X}^{(2)})\\&\ \ \ \ +i\bigl[g_2^{(1)}(\boldsymbol{X}^{(1)})g_1^{(2)}(\boldsymbol{X}^{(2)})+g_1^{(1)}(\boldsymbol{X}^{(1)})g_2^{(2)}(\boldsymbol{X}^{(2)})\bigr]\tag{6}\end{align}

である。よって

\begin{align}&\mathrm{E}\bigl[g(\boldsymbol{X})\bigr]\\&=\mathrm{E}\Bigl[g_1^{(1)}(\boldsymbol{X}^{(1)})g_1^{(2)}(\boldsymbol{X}^{(2)})-g_2^{(1)}(\boldsymbol{X}^{(1)})g_2^{(2)}(\boldsymbol{X}^{(2)})\\&\ \ \ \ +i\bigl[g_2^{(1)}(\boldsymbol{X}^{(1)})g_1^{(2)}(\boldsymbol{X}^{(2)})+g_1^{(1)}(\boldsymbol{X}^{(1)})g_2^{(2)}(\boldsymbol{X}^{(2)})\bigr]\Bigr]\\&=\mathrm{E}\bigl[g_1^{(1)}(\boldsymbol{X}^{(1)})\bigr]\mathrm{E}\bigl[g_1^{(2)}(\boldsymbol{X}^{(2)})\bigr]-\mathrm{E}\bigl[g_2^{(1)}(\boldsymbol{X}^{(1)})\bigr]\mathrm{E}\bigl[g_2^{(2)}(\boldsymbol{X}^{(2)})\bigr]\\&\ \ \ \ +i\Bigl[\mathrm{E}\bigl[g_2^{(1)}(\boldsymbol{X}^{(1)})\bigr]\mathrm{E}\bigl[g_1^{(2)}(\boldsymbol{X}^{(2)})\bigr]+\mathrm{E}\bigl[g_1^{(1)}(\boldsymbol{X}^{(1)})\bigr]\mathrm{E}\bigl[g_2^{(2)}(\boldsymbol{X}^{(2)})\bigr]\\&=\Bigl[\mathrm{E}\bigl[g_1^{(1)}(\boldsymbol{X}^{(1)})\bigr]+i\mathrm{E}\bigl[g_2^{(1)}(\boldsymbol{X}^{(1)})\bigr]\Bigr]\Bigl[\mathrm{E}\bigl[g_1^{(2)}(\boldsymbol{X}^{(2)})\bigr]+i\mathrm{E}\bigl[g_2^{(2)}(\boldsymbol{X}^{(2)})\bigr]\Bigr]\\\label{eq7}&=\mathrm{E}\bigl[g^{(1)}(\boldsymbol{X}^{(1)})\bigr]\mathrm{E}\bigl[g^{(2)}(\boldsymbol{X}^{(2)})\bigr].□\tag{7}\end{align}

特性関数を求めるために、\(\boldsymbol{X}\)の要素について、補題1を\(g(\boldsymbol{X})=e^{i\boldsymbol{t}^T\boldsymbol{X}}\)に適用すると、次の補題を得る。

補題2 独立な要素を持つ確率ベクトルの特性関数

\(\boldsymbol{X}\)の要素が互いに独立であるとき次が成り立つ。\begin{align}\label{eq8}\mathrm{E}[e^{i\boldsymbol{t}^T\boldsymbol{X}}]=\prod_{j=1}^\mathrm{E}[e^{it_jX_j}].\tag{8}\end{align}

証明 補題1より\(g(\boldsymbol{X})=e^{i\boldsymbol{t}^T\boldsymbol{X}}\)とすると、

\(g(\boldsymbol{X})=e^{i\boldsymbol{t}^T\boldsymbol{X}}=e^{it_1X_1}\cdots e^{it_pX_p}=g_1(X_1)\cdots g_p(X_p)\)

が成り立つ。ここに\(g_j(X_j)=e^{it_jX_j}\)とする。\(\boldsymbol{X}\)の要素が独立であることから、

\begin{align}\mathrm{E}[e^{i\boldsymbol{t}^T\boldsymbol{X}}]&=\mathrm{E}[e^{it_1X_1}]\cdots \mathrm{E}[e^{it_pX_p}]\\&=\prod_{j=1}^p\mathrm{E}[e^{it_jX_j}]\end{align}

がいえる。□

この補題を用いて、次の正規分布に従う確率ベクトルの特性関数を示す。

定理1 多変量正規分布の特性関数

任意の実数値ベクトル\(\boldsymbol{t}\)に対して、\(N(\boldsymbol{\mu},\boldsymbol{\Sigma})(\)に従う確率ベクトル\(\boldsymbol{X}\)の特性関数は次で与えられる。\begin{align}\label{eq9}\phi(\boldsymbol{t})=\mathrm{E}[e^{i\boldsymbol{t}^T\boldsymbol{X}}]=e^{i\boldsymbol{t}^T\boldsymbol{\mu}-\frac{1}{2}\boldsymbol{t}^T\boldsymbol{\Sigma t}}\tag{9}\end{align}

証明 正定値行列について#2の系2より、次を満たす正則行列\(\boldsymbol{C}\)が存在する。

\begin{align}\label{eq10}\boldsymbol{C}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{C} = \boldsymbol{I}\tag{10}\end{align}

これを\(\boldsymbol{\Sigma}^{-1}\)について解くと

\begin{align}\label{eq11}\boldsymbol{\Sigma}^{-1}=(\boldsymbol{C}^T)^{-1}\boldsymbol{C}^{-1}=(\boldsymbol{CC}^T)^{-1}.\tag{11}\end{align}

である。また、多変量正規分布の平均ベクトル、共分散行列#1の補題1その補題2より\(\boldsymbol{Y}\)を

\begin{align}\label{eq12}\boldsymbol{X}-\boldsymbol{\mu}-\boldsymbol{CY}\tag{12}\end{align}

とおくと、\(\boldsymbol{Y}\)は\(N(\boldsymbol{0},\boldsymbol{I})\)に従う。\(\boldsymbol{Y}\)の共分散行列は非対角成分が\(0\)であることから、\(\boldsymbol{Y}\)の各要素は互いに独立である。故に補題2より、\(\boldsymbol{Y}\)の特性関数は次となる。

\begin{align}\label{eq13}\psi(\boldsymbol{u})=\mathrm{E}[e^{i\boldsymbol{u}^T\boldsymbol{Y}}]=\prod_{j=1}^p \mathrm{E}[e^{iu_jY_x}]\tag{13}\end{align}

単変量の標準正規分布の特性関数より、\(\mathrm{E}[e^{it_jY_j}]= e^{-\frac{1}{2}u_j^2}\)であることから\eqref{eq13}は次となる。

\begin{align}\label{eq14}\psi(\boldsymbol{u}=\prod_{j=1}^pe^{-\frac{1}{2}u_j^2}=e^{-\frac{1}{2}\boldsymbol{u}^T\boldsymbol{u}}.\tag{14}\end{align}

したがって、\(\boldsymbol{X}\)の特性関数は

\begin{align}\phi(\boldsymbol{t})&=\mathrm{E}[e^{i\boldsymbol{t}^T\boldsymbol{X}}]=\mathrm{E}[e^{i\boldsymbol{t}^T(\boldsymbol{CY+\boldsymbol{\mu}})}]\\&=e^{i\boldsymbol{t}^T\boldsymbol{\mu}}\mathrm{E}[e^{i\boldsymbol{t}^T\boldsymbol{CY}}]\\\label{eq15}&=e^{i\boldsymbol{t}^T\boldsymbol{\mu}}e^{-\frac{1}{2}(\boldsymbol{t}^T\boldsymbol{C})(\boldsymbol{t}^T\boldsymbol{C})^T}\tag{15}\end{align}

である。\eqref{eq15}の3行目は、\eqref{eq14}において\(\boldsymbol{u}=\boldsymbol{t}^T\boldsymbol{C}\)とおくことで得られる。\eqref{eq11}より

\begin{align}\phi(\boldsymbol{t})&=e^{i\boldsymbol{t}^T\boldsymbol{\mu}}e^{-\frac{1}{2}\boldsymbol{t}^T\boldsymbol{CC}^T\boldsymbol{t}}\\\label{eq16}&=e^{i\boldsymbol{t}^T\boldsymbol{\mu}-\frac{1}{2}\boldsymbol{t}^T\boldsymbol{\Sigma t}}\tag{16}\end{align}

となり、この定理が示された。□

スポンサーリンク

  • この記事を書いた人
  • 最新記事

usagi-san

統計学とゲームとかをメインに解説していくよ。 数式とかプログラミングコードにミスがあったり質問があったりする場合はコメントで受け付けます。すぐに対応します。

-多変量正規分布
-, ,

© 2022 ウサギさんの統計学サロン Powered by AFFINGER5