相関係数の最尤推定量を導出する。
平均ベクトルと共分散行列の最尤推定量で証明したように、共分散行列の最尤推定量は標本共分散行列である。
相関係数が分散と共分散の関数であることを用いて、相関係数の最尤推定量を示す。
実数値関数の最大値
相関係数の最尤推定量を導出するために、まず実数値関数の最大値を考える。次の補題を証明に用いる。
補題1 実数値関数の最大値
実数値関数の最大値
\(f(\theta)\)を集合\(S\)上に定義される実数値関数とし、逆関数をもつ\(S\)から\(S^*\)への一価関数を\(\phi\)とする。すなわち\(\theta \in S\)に対して、一意に\(\theta^* \in S^*\)が対応し、逆に\(\theta^* \in S^*\)に対して、一意に\(\theta \in S\)が対応する。
\begin{align}\label{eq1}g(\theta^*) = f\left[\phi^{-1} (\theta^*)\right]\tag{1}\end{align}
とする。このとき、\(f(\theta)\)は\(\theta = \theta_0\)で最大値を取り、\(g(\theta^*)\)は\(\theta^* = \theta_0^* \phi(\theta_0)\)で最大値をとる。\(\theta_0\)における\(f(\theta)\)の最大値が一意であるとき、\(\theta_0^*\)における\(g(\theta^*)\)の最大値は一意である。
証明 すべての\(\theta \in S\)に対して、\(f(\theta_0) \geq f(\theta)\)が成り立つことから、任意の\(\theta^* \in S^*\)に対して
\begin{align}\label{eq2}g(\theta^*) = f\left[\phi^{-1}(\theta^*)\right] = f(\theta) \leq f(\theta_0)= f\left[\phi^{-1}(\theta_0^*)\right] = g(\theta_0^*)\tag{2}\end{align}
がいえる。このことから、\(g(\theta^*)\)は\(\theta_0^*\)で最大値をとる。\(\theta_0\)における\(f(\theta)\)の最大値が一意であるとき、\(\theta \neq \theta_0\)に対して、\eqref{eq2}は等号が成り立たず、\(g(\theta^*)\)の最大値は一意である。□
この補題から、単変数関数\(f(\theta)\)を多変数に拡張しても、成り立つことが容易にわかる。このことから最尤推定量に関する次の系を得る。
系1 実数値関数の最大値（多変数）
実数値関数の最大値（多変数）
標本の母集団のパラメータの最尤推定量がそれぞれ\(\hat{\theta}_1, \ldots, \hat{\theta}_m\)であるとする。\(\theta_1, \ldots, \theta_m\)から\(\phi_1, \ldots, \phi_m\)への変換が一対一であるとき、
\(\phi_1(\theta_1), \ldots, \phi_m(\theta_1, \ldots, \theta_m)\)
の最尤推定量は
\begin{align} \phi_1(\hat{\theta}_1, \ldots,\hat{\theta}_m), \ldots, \phi_m(\hat{\theta}_1, \ldots, \hat{\theta}_m)\end{align}
である。\(\theta_1, \ldots, \theta_m\)の推定量が一意であるとき、\(\phi_1, \ldots, \phi_m\)の推定量は一意である。
補足 \(\theta_1, \ldots, \theta_m \in S\)、\(\phi_1, \ldots, \phi_m \in S^*\)に対して、次の多変数の実数値関数を考える。
\begin{align}g\left[\phi_i(\theta_1, \ldots, \theta_m)\right] = f\left[\psi^{-1}\left[\phi_i(\theta_1, \ldots, \theta_m)\right]\right],\ \ \ \ i = 1, \ldots, m.\end{align}
\eqref{eq2}と同様に、次が成り立つ。
\begin{align}g\left[\phi_i(\theta_1, \ldots, \theta_m)\right] &= f\left[\psi^{-1}\left[\phi_i(\theta_1, \ldots, \theta_m)\right]\right] \\&= f(\theta_1, \ldots, \theta_m) \\&\leq f(\hat{\theta}_1, \ldots, \hat{\theta}_m)\\&= g\left[\psi^{-1} \left[ \phi_i(\hat{\theta}_1, \ldots, \hat{\theta}_m)\right]\right]\\ &= g\left[\phi_i(\hat{\theta}_1, \ldots, \hat{\theta}_m)\right].\end{align}
したがって、\(\hat{\theta}_1, \ldots, \hat{\theta}_m\)における\(f(\theta_1, \ldots, \theta_m)\)の最大値が一意であるとき、上記の不等式の等号は成り立たず、一意に\(g[\phi_i(\theta_1\, \ldots, \theta_m)]\)は\(\phi_i(\hat{\theta}_1\, \ldots, \hat{\theta}_m)\)で最大値をとる。
相関係数の最尤推定量
上で紹介した系1を用いて、相関係数の最尤推定量を導出する。\(\theta_1, \ldots, \theta_m\)を\(\sigma_{11}, \sigma_{12}, \ldots,\sigma_{pp}\)とし、\(\phi_1, \ldots, \phi_m\)を
\(\sigma_{12}/\sqrt{\sigma_{11}\sigma_{22}}, \ldots, \sigma_{p-1, p}/\sqrt{\sigma_{p-1, p-1}\sigma_{pp}}\)
で置き換えることで、次の系を得る。
系2 平均、共分散、相関係数の最尤推定量
平均、共分散、相関係数の最尤推定量
\(\boldsymbol{x}_1, \ldots, \boldsymbol{x_N}\)が\(N(\boldsymbol{\mu}, \boldsymbol{\Sigma})\)からの標本であるとき、平均\(\mu_i\)の最尤推定量は\(\hat{\mu}_i = (1/N)\sum_{\alpha=1}^Nx_{i\alpha}\)であり、共分散\(\sigma_{ij}\)の最尤推定量は
\(\hat{\sigma}_{ij} = (1/N)\sum_{\alpha=1}^N (x_{i\alpha} - \bar{x}_i)(x_{j\alpha} - \bar{x}_j)\)
である。さらに、相関係数\(\rho_{ij} = \sigma_{ij} / \sqrt{\sigma_{ii}\sigma_{jj}}\)の最尤推定量は
\begin{align}\hat{\rho}_{ij} &= \cfrac{\sum_{\alpha=1}^N (x_{i\alpha} - \bar{x}_i)(x_{j\alpha} - \bar{x}_j)}{\sqrt{\sum_{\alpha= 1}^N(x_{i\alpha} - \bar{x}_i}\sqrt{ \sum_{\alpha = 1}^N (x_{j\alpha} - \bar{x}_j)) }} \\&= \cfrac{\sum_{\alpha=1}^N(x_{i\alpha}x_{j\alpha} -x_{i\alpha}\bar{x}_j - \bar{x}_i x_{j\alpha} + \bar{x}_i\bar{x}_j)}{\sqrt{\sum_{\alpha = 1}^N(x_{i\alpha}^2 - 2x_{i\alpha}\bar{x}_i + \bar{x}_I^2)}\sqrt{ \sum_{\alpha = 1}^N}(x_{j\alpha}^2 -2 x_{j\alpha}\bar{x}_j + \bar{x}_j^2) }\\&= \cfrac{\sum_{\alpha = 1}^N x_{i\alpha} x_{j\alpha} -N\bar{x}_i\bar{x}_j -N\bar{x}_i\bar{x}_j + N\bar{x}_i\bar{x}_j}{\sqrt{\sum_{\alpha=1}^Nx_{i\alpha}^2 -2N\bar{x}_i^2 + N\bar{x}_i^2}\sqrt{\sum_{\alpha=1}^Nx_{j\alpha}^2 -2N\bar{x}_j^2 + N\bar{x}_j^2 } }\\ \label{eq3}&= \cfrac{\sum_{\alpha=1}^Nx_{i\alpha}x_{j\alpha} -N\bar{x}_i\bar{x}_j}{\sqrt{\sum_{\alpha= 1}^Nx_{i\alpha}^2 -N\bar{x}_i^2}\sqrt{\sum_{\alpha= 1}^Nx_{j\alpha}^2 -N\bar{x}_j^2}}\tag{3}\end{align}
である。
\eqref{eq3}は、次のように\(\rho_{ij} = \sigma_{ij}/\sqrt{\sigma_{ii}\sigma_{jj}}\)の\(\sigma_{ij}\)をその最尤推定量\(\hat{\sigma}_{ij}\)で置き換ええている。
\begin{align}\hat{\rho}_{ij} &= \cfrac{\hat{\sigma}_{ij}}{\sqrt{\hat{\sigma}_{ii}\hat{\sigma}_{jj}}} .\end{align}
相関係数\(\rho_{ij}\)の最尤推定量\(\hat{\rho}_{ij}\)はピアソンの積率相関係数（pearson product-moment correlation coefficient）や標本相関係数とも呼ばれる。
