多変量正規分布

相関係数の最尤推定量散行列

  1. HOME >
  2. 多変量正規分布 >

相関係数の最尤推定量散行列

スポンサーリンク

相関係数の最尤推定量を導出する。

平均ベクトルと共分散行列の最尤推定量で証明したように、共分散行列の最尤推定量は標本共分散行列である。

相関係数が分散と共分散の関数であることを用いて、相関係数の最尤推定量を示す。

実数値関数の最大値

相関係数の最尤推定量を導出するために、まず実数値関数の最大値を考える。次の補題を証明に用いる。

補題1 実数値関数の最大値

実数値関数の最大値

\(f(\theta)\)を集合\(S\)上に定義される実数値関数とし、逆関数をもつ\(S\)から\(S^*\)への一価関数を\(\phi\)とする。すなわち\(\theta \in S\)に対して、一意に\(\theta^* \in S^*\)が対応し、逆に\(\theta^* \in S^*\)に対して、一意に\(\theta \in S\)が対応する。

\begin{align}\label{eq1}g(\theta^*) = f\left[\phi^{-1} (\theta^*)\right]\tag{1}\end{align}

とする。このとき、\(f(\theta)\)は\(\theta = \theta_0\)で最大値を取り、\(g(\theta^*)\)は\(\theta^* = \theta_0^* \phi(\theta_0)\)で最大値をとる。\(\theta_0\)における\(f(\theta)\)の最大値が一意であるとき、\(\theta_0^*\)における\(g(\theta^*)\)の最大値は一意である。

証明 すべての\(\theta \in S\)に対して、\(f(\theta_0) \geq f(\theta)\)が成り立つことから、任意の\(\theta^* \in S^*\)に対して

\begin{align}\label{eq2}g(\theta^*) = f\left[\phi^{-1}(\theta^*)\right] = f(\theta) \leq f(\theta_0)= f\left[\phi^{-1}(\theta_0^*)\right] = g(\theta_0^*)\tag{2}\end{align}

がいえる。このことから、\(g(\theta^*)\)は\(\theta_0^*\)で最大値をとる。\(\theta_0\)における\(f(\theta)\)の最大値が一意であるとき、\(\theta \neq \theta_0\)に対して、\eqref{eq2}は等号が成り立たず、\(g(\theta^*)\)の最大値は一意である。□

この補題から、単変数関数\(f(\theta)\)を多変数に拡張しても、成り立つことが容易にわかる。このことから最尤推定量に関する次の系を得る。

系1 実数値関数の最大値(多変数)

実数値関数の最大値(多変数)

標本の母集団のパラメータの最尤推定量がそれぞれ\(\hat{\theta}_1, \ldots, \hat{\theta}_m\)であるとする。\(\theta_1, \ldots, \theta_m\)から\(\phi_1, \ldots, \phi_m\)への変換が一対一であるとき、

\(\phi_1(\theta_1), \ldots, \phi_m(\theta_1, \ldots, \theta_m)\)

の最尤推定量は

\begin{align} \phi_1(\hat{\theta}_1, \ldots,\hat{\theta}_m), \ldots, \phi_m(\hat{\theta}_1, \ldots, \hat{\theta}_m)\end{align}

である。\(\theta_1, \ldots, \theta_m\)の推定量が一意であるとき、\(\phi_1, \ldots, \phi_m\)の推定量は一意である。

補足 \(\theta_1, \ldots, \theta_m \in S\)、\(\phi_1, \ldots, \phi_m \in S^*\)に対して、次の多変数の実数値関数を考える。

\begin{align}g\left[\phi_i(\theta_1, \ldots, \theta_m)\right] = f\left[\psi^{-1}\left[\phi_i(\theta_1, \ldots, \theta_m)\right]\right],\ \ \ \ i = 1, \ldots, m.\end{align}

\eqref{eq2}と同様に、次が成り立つ。

\begin{align}g\left[\phi_i(\theta_1, \ldots, \theta_m)\right] &= f\left[\psi^{-1}\left[\phi_i(\theta_1, \ldots, \theta_m)\right]\right] \\&= f(\theta_1, \ldots, \theta_m) \\&\leq f(\hat{\theta}_1, \ldots, \hat{\theta}_m)\\&= g\left[\psi^{-1} \left[ \phi_i(\hat{\theta}_1, \ldots, \hat{\theta}_m)\right]\right]\\ &= g\left[\phi_i(\hat{\theta}_1, \ldots, \hat{\theta}_m)\right].\end{align}

したがって、\(\hat{\theta}_1, \ldots, \hat{\theta}_m\)における\(f(\theta_1, \ldots, \theta_m)\)の最大値が一意であるとき、上記の不等式の等号は成り立たず、一意に\(g[\phi_i(\theta_1\, \ldots, \theta_m)]\)は\(\phi_i(\hat{\theta}_1\, \ldots, \hat{\theta}_m)\)で最大値をとる。

相関係数の最尤推定量

上で紹介した系1を用いて、相関係数の最尤推定量を導出する。\(\theta_1, \ldots, \theta_m\)を\(\sigma_{11}, \sigma_{12}, \ldots,\sigma_{pp}\)とし、\(\phi_1, \ldots, \phi_m\)を

\(\sigma_{12}/\sqrt{\sigma_{11}\sigma_{22}}, \ldots, \sigma_{p-1, p}/\sqrt{\sigma_{p-1, p-1}\sigma_{pp}}\)

で置き換えることで、次の系を得る。

系2 平均、共分散、相関係数の最尤推定量

平均、共分散、相関係数の最尤推定量

\(\boldsymbol{x}_1, \ldots, \boldsymbol{x_N}\)が\(N(\boldsymbol{\mu}, \boldsymbol{\Sigma})\)からの標本であるとき、平均\(\mu_i\)の最尤推定量は\(\hat{\mu}_i = (1/N)\sum_{\alpha=1}^Nx_{i\alpha}\)であり、共分散\(\sigma_{ij}\)の最尤推定量は

\(\hat{\sigma}_{ij} = (1/N)\sum_{\alpha=1}^N (x_{i\alpha} - \bar{x}_i)(x_{j\alpha} - \bar{x}_j)\)

である。さらに、相関係数\(\rho_{ij} = \sigma_{ij} / \sqrt{\sigma_{ii}\sigma_{jj}}\)の最尤推定量は

\begin{align}\hat{\rho}_{ij} &= \cfrac{\sum_{\alpha=1}^N (x_{i\alpha} - \bar{x}_i)(x_{j\alpha} - \bar{x}_j)}{\sqrt{\sum_{\alpha= 1}^N(x_{i\alpha} - \bar{x}_i}\sqrt{ \sum_{\alpha = 1}^N (x_{j\alpha} - \bar{x}_j)) }} \\&= \cfrac{\sum_{\alpha=1}^N(x_{i\alpha}x_{j\alpha} -x_{i\alpha}\bar{x}_j - \bar{x}_i x_{j\alpha} + \bar{x}_i\bar{x}_j)}{\sqrt{\sum_{\alpha = 1}^N(x_{i\alpha}^2 - 2x_{i\alpha}\bar{x}_i + \bar{x}_I^2)}\sqrt{ \sum_{\alpha = 1}^N}(x_{j\alpha}^2 -2 x_{j\alpha}\bar{x}_j + \bar{x}_j^2) }\\&= \cfrac{\sum_{\alpha = 1}^N x_{i\alpha} x_{j\alpha} -N\bar{x}_i\bar{x}_j -N\bar{x}_i\bar{x}_j + N\bar{x}_i\bar{x}_j}{\sqrt{\sum_{\alpha=1}^Nx_{i\alpha}^2 -2N\bar{x}_i^2 + N\bar{x}_i^2}\sqrt{\sum_{\alpha=1}^Nx_{j\alpha}^2 -2N\bar{x}_j^2 + N\bar{x}_j^2  } }\\ \label{eq3}&= \cfrac{\sum_{\alpha=1}^Nx_{i\alpha}x_{j\alpha} -N\bar{x}_i\bar{x}_j}{\sqrt{\sum_{\alpha= 1}^Nx_{i\alpha}^2 -N\bar{x}_i^2}\sqrt{\sum_{\alpha= 1}^Nx_{j\alpha}^2 -N\bar{x}_j^2}}\tag{3}\end{align}

である。

\eqref{eq3}は、次のように\(\rho_{ij} = \sigma_{ij}/\sqrt{\sigma_{ii}\sigma_{jj}}\)の\(\sigma_{ij}\)をその最尤推定量\(\hat{\sigma}_{ij}\)で置き換ええている。

\begin{align}\hat{\rho}_{ij} &= \cfrac{\hat{\sigma}_{ij}}{\sqrt{\hat{\sigma}_{ii}\hat{\sigma}_{jj}}} .\end{align}

相関係数\(\rho_{ij}\)の最尤推定量\(\hat{\rho}_{ij}\)はピアソンの積率相関係数(pearson product-moment correlation coefficient)や標本相関係数とも呼ばれる。

スポンサーリンク

  • この記事を書いた人
  • 最新記事

usagi-san

統計学とゲームとかをメインに解説していくよ。 数式とかプログラミングコードにミスがあったり質問があったりする場合はコメントで受け付けます。すぐに対応します。

-多変量正規分布
-,

© 2022 ウサギさんの統計学サロン Powered by AFFINGER5