多変量正規分布の平均ベクトルのミニマックス性について解説する。
推定量のミニマックス性の定義を与えて、平均ベクトルがミニマックスであることを示す。
前回の平均ベクトルのベイズ推定量に続いてミニマックス性についてみていく。
平均ベクトルのミニマックス性
定義 ミニマックス
ミニマックス
ミニマックス
次を満たすとき、決定関数\(\delta_0(x)\)はミニマックスである。
\begin{align}\label{eq1} \sup_{\theta}R(\theta, \delta_0) = \inf_{\delta} \sup_{\theta}R(\theta, \delta).\tag{1}\end{align}
\(\delta_0\)が与えられたときのパラメータ\(\theta\)に関するリスクの上限が、任意の\(\delta\)の下での\(\theta\)に関するリスクの上限の\(\delta\)に関する下限に等しいとき\(\delta_0\)はミニマックスであるという。これは\(\delta_0\)が他の任意の\(\delta\)の上限以下であることを意味する。
定理 平均ベクトルのミニマックス性
平均ベクトルのミニマックス性
\(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_N\)がそれぞれ\(N(\boldsymbol{\mu}, \boldsymbol{\Sigma})\)に従い、損失関数が\((\boldsymbol{d} - \boldsymbol{\mu})^T\boldsymbol{Q}(\boldsymbol{d} - \boldsymbol{\mu})\)であるとき、\(\bar{\boldsymbol{x}}\)はミニマックス推定量である。
証明 決定関数\(\delta_0(x)\)がextended Bayesであるとき、すなわち任意の\(\varepsilon\)に対して\(r(\rho, \delta_0) \leq r(\rho, \delta_{\rho}) + \varepsilon\)が適当な\(\rho\)について成り立ち、\(R(\theta, \delta_0)\)が一定であるとき、\(\delta_0\)はミニマックスである。ここに\(\delta_{\rho}\)は\(\rho\)に対応するベイズ推定量である。今、リスクは
\begin{align}R(\boldsymbol{\mu}, \bar{\boldsymbol{x}}) &= \mathrm{E}\bigl[(\bar{\boldsymbol{x}} - \boldsymbol{\mu})^T\boldsymbol{Q}(\bar{\boldsymbol{x}} - \boldsymbol{\mu})\bigr]\\ &= \mathrm{E}\bigl[\mathrm{tr}\bigl( (\bar{\boldsymbol{x}} - \boldsymbol{\mu})^T\boldsymbol{Q}(\bar{\boldsymbol{x}} - \boldsymbol{\mu}) \bigr)\bigr]\\ &= \mathrm{E}\bigl[\mathrm{tr}\bigl( \boldsymbol{Q}(\bar{\boldsymbol{x}} - \boldsymbol{\mu})(\bar{\boldsymbol{x}} - \boldsymbol{\mu})^T\bigr)\bigr]\\ &=\mathrm{tr}\bigl( \boldsymbol{Q} \mathrm{E}\bigl[(\bar{\boldsymbol{x}} - \boldsymbol{\mu})(\bar{\boldsymbol{x}} - \boldsymbol{\mu})^T\bigr]\bigr) \\ &= \mathrm{tr}\left(\boldsymbol{Q} \cfrac{1}{N}\boldsymbol{\Sigma}\right)\\ \label{eq2} &= \cfrac{1}{N}\mathrm{tr}(\boldsymbol{Q\Sigma}) .\tag{2}\end{align}
平均ベクトルのベイズ推定量の式7を\(\boldsymbol{d}(\bar{\boldsymbol{x}})\)とする。\(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_N\)が与えられたときの\(\boldsymbol{\mu}\)の条件付き分布の共分散行列は平均ベクトルのベイズ推定量の式8であることから、
\begin{align}\mathrm{E}_{\boldsymbol{\mu} | \bar{\boldsymbol{x}} }\bigl[(\boldsymbol{\mu} - \boldsymbol{d}(\bar{\boldsymbol{x}}))^T(\boldsymbol{\mu} - \boldsymbol{d}(\bar{\boldsymbol{x}})) \bigr] = \boldsymbol{\Phi} - \boldsymbol{\Phi}\left( \boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right)^{-1} \boldsymbol{\Phi}.\end{align}
よって
\begin{align} & \mathrm{E}_{\bar{\boldsymbol{x}}} \Bigl[ \mathrm{E}_{\boldsymbol{\mu} | \bar{\boldsymbol{x}}}\bigl[(\boldsymbol{d}(\bar{\boldsymbol{x}}) - \boldsymbol{\mu} )^T\boldsymbol{Q}(\boldsymbol{d}(\bar{\boldsymbol{x}}) - \boldsymbol{\mu} )\bigr]\Bigr]\\ &= \mathrm{E}_{\bar{\boldsymbol{x}}}\Bigl[ \mathrm{E}_{\boldsymbol{\mu} | \bar{\boldsymbol{x}}}\bigl[ \mathrm{tr}\bigl(\boldsymbol{Q}(\boldsymbol{d}(\bar{\boldsymbol{x}}) - \boldsymbol{\mu})(\boldsymbol{d}(\bar{\boldsymbol{x}}) - \boldsymbol{\mu})^T\bigr)\bigr] \Bigr] \\ &= \mathrm{E}_{\bar{\boldsymbol{x}}} \left[\mathrm{tr}\left(\boldsymbol{Q}\left\{\boldsymbol{\Phi} - \boldsymbol{\Phi}\left(\boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right)^{-1}\boldsymbol{\Phi}\right\}\right) \right]\\ &= \mathrm{E}_{\bar{\boldsymbol{x}}} \left[\mathrm{tr}\left(\boldsymbol{Q}\left\{\boldsymbol{\Phi} \left(\boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right)^{-1}\left(\boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right) - \boldsymbol{\Phi}\left(\boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right)^{-1}\boldsymbol{\Phi}\right\}\right) \right] \\ &= \cfrac{1}{N} \mathrm{E}_{\bar{\boldsymbol{x}}}\left[\mathrm{tr}\left(\boldsymbol{Q} \left\{\boldsymbol{\Phi} \left(\boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right)^{-1} \boldsymbol{\Sigma}\right\} \right)\right] \\ &= \cfrac{1}{N}\mathrm{tr}\left( \boldsymbol{Q\Phi} \left\{ \left(\boldsymbol{I} + \cfrac{1}{N}\boldsymbol{\Sigma}\boldsymbol{\Phi}^{-1}\right)\right\}^{-1} \boldsymbol{\Sigma}\right)\\ &= \cfrac{1}{N}\mathrm{tr}\left(\boldsymbol{Q} \boldsymbol{\Phi \Phi}^{-1}\left(\boldsymbol{I} + \cfrac{1}{N}\boldsymbol{\Sigma \Phi}^{-1}\right)^{-1}\boldsymbol{\Sigma}\right) \\\label{eq3} &=\cfrac{1}{N} \mathrm{tr}\left(\boldsymbol{Q}\left(\boldsymbol{I} + \cfrac{1}{N}\boldsymbol{\Sigma \Phi}^{-1}\right)^{-1} \boldsymbol{\Sigma}\right) .\tag{3}\end{align}
故に\(\boldsymbol{\Phi}^{-1} \to \boldsymbol{0}\)のとき、\eqref{eq3}の平均リスクは次に収束する。
\begin{align} \lim_{\boldsymbol{\Phi}^{-1} \to \boldsymbol{0}} \cfrac{1}{N} \mathrm{tr}\left(\boldsymbol{Q}\left(\boldsymbol{I} + \cfrac{1}{N}\boldsymbol{\Sigma \Phi}^{-1}\right)^{-1} \boldsymbol{\Sigma}\right) &= \cfrac{1}{N}\mathrm{tr}\left(\boldsymbol{Q}\left(\boldsymbol{I} + \cfrac{1}{N}\boldsymbol{\Sigma}\boldsymbol{0}\right)^{-1} \boldsymbol{\Sigma}\right)\\&= \cfrac{1}{N}\mathrm{tr}(\boldsymbol{Q\Sigma}).\end{align}
よって\(r(\boldsymbol{\mu}, \bar{\boldsymbol{x}}) = \mathrm{E}_{\boldsymbol{\mu}}[R(\boldsymbol{\mu}, \bar{\boldsymbol{x}} )] = (1/N)\mathrm{tr}(\boldsymbol{Q\Sigma})\)であることから、\(\boldsymbol{\Phi}^{-1}\to \boldsymbol{0}\)の下で、任意の\(\varepsilon\)に対して、\(r(\boldsymbol{\mu}, \bar{\boldsymbol{x}}) \leq r(\boldsymbol{\mu}, \boldsymbol{d}(\bar{\boldsymbol{x}})) + \varepsilon\)が成り立つ。故に\(\bar{\boldsymbol{x}}\)はextended Bayesである。また、\(R(\boldsymbol{\mu}, \bar{\boldsymbol{x}})\)は定数であることから、\(\bar{\boldsymbol{x}}\)はミニマックスである。□
