多変量正規分布の特性関数の補足

ここでは、前回の記事多変量正規分布の特性関数の補足として、特性関数を用いた様々な分布の導出及び、以前に導出した線形結合の分布を特性関数の観点から見ていきます。

また、重要な定理として、Lévyの反転公式や連続性の定理を紹介します。

多変量正規分布の線形結合の分布の特性関数

正規分布の特性関数はきわめて有用である。例として、多変量正規分布の線形結合の分布の結果を示すために、次の証明を考える。\(\boldsymbol{Z}=\boldsymbol{DX}\)の特性関数は

\begin{align}\mathrm{E}[e^{i\boldsymbol{t}^T\boldsymbol{Z}}]&=\mathrm{E}[e^{i\boldsymbol{t}^T\boldsymbol{DX}}]=\mathrm{E}[e^{i(\boldsymbol{D}^T\boldsymbol{t})^T}]\\&=e^{i(\boldsymbol{D}^T\boldsymbol{t})^T\boldsymbol{\mu}-\frac{1}{2}(\boldsymbol{D}^T\boldsymbol{t})^T\boldsymbol{\Sigma}(\boldsymbol{D}^T\boldsymbol{t})}\\\label{eq1}&=e^{i\boldsymbol{t}^T\boldsymbol{D\mu}-\frac{1}{2}\boldsymbol{t}^T\boldsymbol{D \Sigma D}^T\boldsymbol{t}}\tag{1}\end{align}

である。これは\(N(\boldsymbol{D \mu}, \boldsymbol{D \Sigma D}^T)\)の特性関数である。この結果から、多変量正規分布に従う確率ベクトル\(\boldsymbol{X}\)の任意の正則変換から成る確率ベクトル\(\boldsymbol{Z}=\boldsymbol{DX}\)は多変量正規分布に従うことが示せた。線形結合の分布は正規分布に従うという性質をもつのは、その分布が多変量正規分布に従うときだけであることを示すのにも応用できる。密度関数\(f(\boldsymbol{y})\)と次の特性関数をもつ\(p\)個の要素から成る確率ベクトル\(\boldsymbol{Y}\)を考える。

\begin{align}\label{eq2} \psi(\boldsymbol{u})=\mathrm{E}[e^{i\boldsymbol{u}^T\boldsymbol{Y}}]=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}e^{i\boldsymbol{u}^T\boldsymbol{y}} f(\boldsymbol{y}) dy_1\cdots dy_p.\tag{2}\end{align}

ここに、\(\boldsymbol{Y}\)の平均ベクトルは\(\boldsymbol{\mu}\)、共分散行列は\(\boldsymbol{\Sigma}\)であると仮定する。任意の実数値ベクトル\(\boldsymbol{u}\)に対して\(\boldsymbol{u}^T\boldsymbol{Y}\)は正規分布に従っている。ここからは、反対に平均\(\boldsymbol{u}^T\boldsymbol{\mu}\)、共分散行列\(\boldsymbol{u}^T\boldsymbol{\Sigma u}\)をもつ任意の線形結合\(\boldsymbol{u}^T\boldsymbol{Y}\)が正規分布に従うと仮定したとき、\(\boldsymbol{Y}\)は正規分布に従うことを示していく。このとき線形結合\(\boldsymbol{u}^T\boldsymbol{Y}\)の特性関数は

\begin{align}\label{eq3}\mathrm{E}[e^{it\boldsymbol{u}^T\boldsymbol{Y}}]&=e^{it\boldsymbol{u}^T\boldsymbol{\mu}-\frac{1}{2}t^2\boldsymbol{u}^T\boldsymbol{\Sigma u}}\tag{3}\end{align}

である。ここで\(t=1\)の場合、左辺は\(\boldsymbol{Y}\)の特性関数となるため、このとき右辺は\(N(\boldsymbol{\mu},\boldsymbol{\Sigma})\)の特性関数とる。よって\(\boldsymbol{Y}\)は\(N(\boldsymbol{\mu},\boldsymbol{\Sigma})\)に従うことが示せた。これは\(i\boldsymbol{u}^T=\boldsymbol{t}^T\)としても同様のことがいえるる。

定理1　多変量正規分布の線形結合の分布

\(\boldsymbol{Y}\)の要素から成るすべての線形結合の分布が正規分布に従うとき、\(\boldsymbol{Y}\)は正規分布に従う。

ちなみに定理1を保証するには、すべての線形結合の分布が正規分布に従うことが必要である。例として\(\boldsymbol{Y}=(Y_1, Y_2)^T\)とおき、\(Y_1\)と\(Y_2\)が独立ではないとき、\(Y_1\)と\(Y_2\)はそれぞれの周辺分布として正規分布をもち得る。この\(\boldsymbol{Y}\)を例に幾何学的に考えてみる。\(X_1\)と\(X_2\)は平均\(\boldsymbol{0}\)の同時正規分布に従うとする。図1において、下の長方形AからC、BからDへと同じ領域の体積を移動させる。その結果、得られる\(\boldsymbol{Y}\)の分布について、\(Y_1, Y_2\)の周辺分布が\(X_1, X_2\)の周辺分布と同じであることがわかる。\(X_1, X_2\)の同時分布は正規性をもつが、体積を移動させた結果\(\boldsymbol{Y}\)の同時分布は正規性を持たない。これはAからCに体積を移動させた分、Cの体積は元の2倍かつAの体積は0となることから、楕円上に一定な密度をもたないことからいえる。

2変量正規分布の密度

上の例を用いれば、2つの変数\(Y_1, Y_2\)が無相関であり、それぞれの周辺分布が正規分布であるが、同時分布は正規分布である必要はなく、\(Y_1, Y_2\)は独立である必要はないことも示される。\(Y_1, Y_2\)のそれぞれの期待値は\(0\)であることから、\(Y_1Y_2\)の期待値が\(0\)になるような長方形の領域を選ぶことで、幾何学的に示すことができる。

反転公式と連続性の定理

特性関数に関する2つの定理を述べる。

定理2　多変量の反転公式

確率ベクトル\(\boldsymbol{X}\)が密度関数\(f(\boldsymbol{x})\)、特性関数\(\phi(\boldsymbol{t})\)をもつとき、次の反転公式が成り立つ。\begin{align}\label{eq4}f(\boldsymbol{x})=\cfrac{1}{(2\pi)^p}\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}e^{-i\boldsymbol{t}^T\boldsymbol{x}}\phi(\boldsymbol{t})dt_1\cdots dt_p.\tag{4}\end{align}

証明　Lévyの反転公式

\begin{align}&\mu_{\boldsymbol{X}}\bigl(\{a<x<b\}\bigr)\\&=\cfrac{1}{(2\pi)^p}\lim_{T_1\to\infty}\cdots\lim_{T_p\to\infty}\int_{\{-T\leq t\leq T\}}\prod_{j=1}^p\left(\cfrac{e^{-it_ja_j}-e^{it_jb_j}}{it_j}\right)\phi(\boldsymbol{t})\lambda(d\boldsymbol{t})\end{align}

を用いる。ここに\(\lambda(d\boldsymbol{t})\)はルベーグ測度とする。\(\int |\phi(t)|dt < \infty\)を仮定すると、上式の反転公式に対し

\begin{align}&\cfrac{1}{(2\pi)^p}\lim_{T_1\to\infty}\cdots\lim_{T_p\to\infty}\int_{\{-T\leq t\leq T\}}\prod_{j=1}^p\left(\cfrac{e^{-it_ja_j}-e^{it_jb_j}}{it_j}\right)\phi(\boldsymbol{t})\lambda(d\boldsymbol{t}) \\& \leq \prod_{j=1}^p\cfrac{b_j-a_j}{(2\pi)^p}\lim_{T_1\to\infty}\cdots\lim_{T_p\to\infty}\int_{\{-T\leq t\leq T\}}\phi(\boldsymbol{t})\lambda(d\boldsymbol{t}) < \infty \end{align}

が成り立つので、\(a<x<a+\Delta a\)に対して

\begin{align}\mu\bigl(\{a<\boldsymbol{X}<a+\Delta a\}\bigr)&=\cfrac{1}{(2\pi)^p}\lim_{T_1\to\infty}\cdots\lim_{T_p\to\infty}\int_{\{-T\leq t\leq T\}}\prod_{j=1}^p\left(\cfrac{e^{-it_ja_j}-e^{it_j(a_j+ \Delta a_j)}}{it_j}\right)\phi(\boldsymbol{t})\lambda(d\boldsymbol{t})\end{align}

がいえる。したがって

\begin{align}\cfrac{e^{-it_ja_j}-e^{-it_jb_j}}{it_j}&=\int_{a_j}^{b_j}e^{-it_jx_j} dx_j\end{align}がいえるので

\begin{align}\mu\bigl(\{a< \boldsymbol{x} < a + \Delta a\}\bigr)&=\cfrac{1}{(2\pi)^p}\lim_{T_1\to\infty}\cdots\lim_{T_p\to\infty}\int_{\{-T\leq t\leq T\}}\prod_{j=1}^p\left(\cfrac{e^{-it_ja_j}-e^{it_j(a_j+ \Delta a_j)}}{it_j}\right)\phi(\boldsymbol{t})\lambda(d\boldsymbol{t})\\&=\cfrac{1}{(2\pi)^p}\lim_{T_1\to\infty}\cdots\lim_{T_p\to\infty}\int_{\{-T\leq t\leq T\}}\prod_{j=1}^p\left(\int_{a_j}^{b_j}e^{-it_jx_j} dx_j\right)\phi(\boldsymbol{t})\lambda(d\boldsymbol{t})\\&=\prod_{j=1}^p\int_{a_j}^{a_j + \Delta a_j} \left(\cfrac{1}{(2\pi)^p}\lim_{T_1\to\infty}\cdots\lim_{T_p\to\infty}\int_{\{-T\leq t\leq T\}}e^{-it_jx_j} \phi(\boldsymbol{t})\lambda(d\boldsymbol{t})\right)dx_j\\\label{eq5}&=\prod_{j=1}^p\int_{a_j}^{a_j + \Delta a_j} \left(\cfrac{1}{(2\pi)^p}\lim_{T_1\to\infty}\cdots\lim_{T_p\to\infty}\int_{\{-T\leq t\leq T\}}e^{-i\boldsymbol{t}^T\boldsymbol{x}} \phi(\boldsymbol{t})\lambda(d\boldsymbol{t})\right)dx_j\tag{5}\end{align}

を得る。また、上の左辺の確率ベクトル\(X\)の各要素が\(a_j\)から\(a_j+\Delta a_j\)に含まれる確率は確率密度関数\(f(x)\)を用いて

\begin{align}\mu\bigl(\{a < \boldsymbol{X} < a + \Delta a\}\bigr) = \prod_{j=1}^p\int_{a_j}^{a_j+ \Delta a_j} f(\boldsymbol{x})dx_j\end{align}

と表現される。故に、\eqref{eq5}の\(\boldsymbol{x}\)についての被積分関数と確率密度関数\(f(\boldsymbol{x})\)は等しい。次の関係が示せた。

\begin{align}f(\boldsymbol{x})=\cfrac{1}{(2\pi)^p}\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}e^{-i\boldsymbol{t}^T\boldsymbol{x}}\phi(\boldsymbol{t})dt_1\cdots dt_p.\end{align}

□

上の証明で用いたLévyの多変量の反転公式については多変量のLévyの反転公式を参照されたい。

上の定理2は一意に特性関数が密度関数を決めることを示している。\(\boldsymbol{X}\)が密度関数をもたないとき、特性関数は任意の連続区間における確率を一意に定義する。単変量の場合、連続区間は、分布関数が区間の単店において不連続とならないような区間となる。

定理3　連続性の定理

\(F_j(\boldsymbol{x})\)を分布関数の列、\(\phi_j(\boldsymbol{t})\)を分布関数に対応する特性関数の列とする。\(F_j(\boldsymbol{x})\)が\(F(\boldsymbol{x})\)に収束する必要十分条件は、任意の\(\boldsymbol{t}\)に対して、\(\phi_j(\boldsymbol{t})\)が\(\phi(\boldsymbol{t})\)に収束することである。すなわち\(\boldsymbol{t}=\boldsymbol{0}\)において連続であることである。この条件を満たすとき、\(\phi(\boldsymbol{t})\)の極限は、極限分布\(F(\boldsymbol{x})\)の特性関数と一致する。

定理2と定理3については、Cramer(1946)の10.6節と10.7節を参照されたい。

多変量正規分布の特性関数の補足

多変量正規分布の線形結合の分布の特性関数

定理1 多変量正規分布の線形結合の分布

反転公式と連続性の定理

定理2 多変量の反転公式

定理3 連続性の定理

定理1　多変量正規分布の線形結合の分布

定理2　多変量の反転公式

定理3　連続性の定理