多変量正規分布

多変量正規分布の平均ベクトルのミニマックス性

  1. HOME >
  2. 多変量正規分布 >

多変量正規分布の平均ベクトルのミニマックス性

スポンサーリンク

多変量正規分布の平均ベクトルのミニマックス性について解説する。

推定量のミニマックス性の定義を与えて、平均ベクトルがミニマックスであることを示す。

前回の平均ベクトルのベイズ推定量に続いてミニマックス性についてみていく。

平均ベクトルのミニマックス性

定義 ミニマックス

ミニマックス

ミニマックス

次を満たすとき、決定関数\(\delta_0(x)\)はミニマックスである。

\begin{align}\label{eq1} \sup_{\theta}R(\theta, \delta_0) = \inf_{\delta} \sup_{\theta}R(\theta, \delta).\tag{1}\end{align}

\(\delta_0\)が与えられたときのパラメータ\(\theta\)に関するリスクの上限が、任意の\(\delta\)の下での\(\theta\)に関するリスクの上限の\(\delta\)に関する下限に等しいとき\(\delta_0\)はミニマックスであるという。これは\(\delta_0\)が他の任意の\(\delta\)の上限以下であることを意味する。

定理 平均ベクトルのミニマックス性

平均ベクトルのミニマックス性

\(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_N\)がそれぞれ\(N(\boldsymbol{\mu}, \boldsymbol{\Sigma})\)に従い、損失関数が\((\boldsymbol{d} - \boldsymbol{\mu})^T\boldsymbol{Q}(\boldsymbol{d} - \boldsymbol{\mu})\)であるとき、\(\bar{\boldsymbol{x}}\)はミニマックス推定量である。

証明 決定関数\(\delta_0(x)\)がextended Bayesであるとき、すなわち任意の\(\varepsilon\)に対して\(r(\rho, \delta_0) \leq r(\rho, \delta_{\rho}) + \varepsilon\)が適当な\(\rho\)について成り立ち、\(R(\theta, \delta_0)\)が一定であるとき、\(\delta_0\)はミニマックスである。ここに\(\delta_{\rho}\)は\(\rho\)に対応するベイズ推定量である。今、リスクは

\begin{align}R(\boldsymbol{\mu}, \bar{\boldsymbol{x}}) &= \mathrm{E}\bigl[(\bar{\boldsymbol{x}} - \boldsymbol{\mu})^T\boldsymbol{Q}(\bar{\boldsymbol{x}} - \boldsymbol{\mu})\bigr]\\ &= \mathrm{E}\bigl[\mathrm{tr}\bigl( (\bar{\boldsymbol{x}} - \boldsymbol{\mu})^T\boldsymbol{Q}(\bar{\boldsymbol{x}} - \boldsymbol{\mu}) \bigr)\bigr]\\ &= \mathrm{E}\bigl[\mathrm{tr}\bigl( \boldsymbol{Q}(\bar{\boldsymbol{x}} - \boldsymbol{\mu})(\bar{\boldsymbol{x}} - \boldsymbol{\mu})^T\bigr)\bigr]\\ &=\mathrm{tr}\bigl( \boldsymbol{Q} \mathrm{E}\bigl[(\bar{\boldsymbol{x}} - \boldsymbol{\mu})(\bar{\boldsymbol{x}} - \boldsymbol{\mu})^T\bigr]\bigr) \\ &= \mathrm{tr}\left(\boldsymbol{Q} \cfrac{1}{N}\boldsymbol{\Sigma}\right)\\ \label{eq2} &= \cfrac{1}{N}\mathrm{tr}(\boldsymbol{Q\Sigma}) .\tag{2}\end{align}

平均ベクトルのベイズ推定量の式7を\(\boldsymbol{d}(\bar{\boldsymbol{x}})\)とする。\(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_N\)が与えられたときの\(\boldsymbol{\mu}\)の条件付き分布の共分散行列は平均ベクトルのベイズ推定量の式8であることから、

\begin{align}\mathrm{E}_{\boldsymbol{\mu} | \bar{\boldsymbol{x}} }\bigl[(\boldsymbol{\mu} - \boldsymbol{d}(\bar{\boldsymbol{x}}))^T(\boldsymbol{\mu} - \boldsymbol{d}(\bar{\boldsymbol{x}})) \bigr] = \boldsymbol{\Phi} - \boldsymbol{\Phi}\left( \boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right)^{-1} \boldsymbol{\Phi}.\end{align}

よって

\begin{align} & \mathrm{E}_{\bar{\boldsymbol{x}}} \Bigl[ \mathrm{E}_{\boldsymbol{\mu} | \bar{\boldsymbol{x}}}\bigl[(\boldsymbol{d}(\bar{\boldsymbol{x}}) - \boldsymbol{\mu} )^T\boldsymbol{Q}(\boldsymbol{d}(\bar{\boldsymbol{x}}) - \boldsymbol{\mu} )\bigr]\Bigr]\\ &= \mathrm{E}_{\bar{\boldsymbol{x}}}\Bigl[ \mathrm{E}_{\boldsymbol{\mu} | \bar{\boldsymbol{x}}}\bigl[ \mathrm{tr}\bigl(\boldsymbol{Q}(\boldsymbol{d}(\bar{\boldsymbol{x}}) - \boldsymbol{\mu})(\boldsymbol{d}(\bar{\boldsymbol{x}}) - \boldsymbol{\mu})^T\bigr)\bigr] \Bigr] \\ &= \mathrm{E}_{\bar{\boldsymbol{x}}} \left[\mathrm{tr}\left(\boldsymbol{Q}\left\{\boldsymbol{\Phi}  - \boldsymbol{\Phi}\left(\boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right)^{-1}\boldsymbol{\Phi}\right\}\right) \right]\\ &=  \mathrm{E}_{\bar{\boldsymbol{x}}} \left[\mathrm{tr}\left(\boldsymbol{Q}\left\{\boldsymbol{\Phi} \left(\boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right)^{-1}\left(\boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right) - \boldsymbol{\Phi}\left(\boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right)^{-1}\boldsymbol{\Phi}\right\}\right) \right] \\ &= \cfrac{1}{N} \mathrm{E}_{\bar{\boldsymbol{x}}}\left[\mathrm{tr}\left(\boldsymbol{Q} \left\{\boldsymbol{\Phi} \left(\boldsymbol{\Phi} + \cfrac{1}{N}\boldsymbol{\Sigma}\right)^{-1} \boldsymbol{\Sigma}\right\} \right)\right] \\ &= \cfrac{1}{N}\mathrm{tr}\left( \boldsymbol{Q\Phi} \left\{ \left(\boldsymbol{I} + \cfrac{1}{N}\boldsymbol{\Sigma}\boldsymbol{\Phi}^{-1}\right)\right\}^{-1} \boldsymbol{\Sigma}\right)\\ &= \cfrac{1}{N}\mathrm{tr}\left(\boldsymbol{Q} \boldsymbol{\Phi \Phi}^{-1}\left(\boldsymbol{I} + \cfrac{1}{N}\boldsymbol{\Sigma \Phi}^{-1}\right)^{-1}\boldsymbol{\Sigma}\right) \\\label{eq3} &=\cfrac{1}{N} \mathrm{tr}\left(\boldsymbol{Q}\left(\boldsymbol{I} + \cfrac{1}{N}\boldsymbol{\Sigma \Phi}^{-1}\right)^{-1} \boldsymbol{\Sigma}\right) .\tag{3}\end{align}

故に\(\boldsymbol{\Phi}^{-1} \to \boldsymbol{0}\)のとき、\eqref{eq3}の平均リスクは次に収束する。

\begin{align} \lim_{\boldsymbol{\Phi}^{-1} \to \boldsymbol{0}} \cfrac{1}{N} \mathrm{tr}\left(\boldsymbol{Q}\left(\boldsymbol{I} + \cfrac{1}{N}\boldsymbol{\Sigma \Phi}^{-1}\right)^{-1} \boldsymbol{\Sigma}\right) &= \cfrac{1}{N}\mathrm{tr}\left(\boldsymbol{Q}\left(\boldsymbol{I} + \cfrac{1}{N}\boldsymbol{\Sigma}\boldsymbol{0}\right)^{-1} \boldsymbol{\Sigma}\right)\\&= \cfrac{1}{N}\mathrm{tr}(\boldsymbol{Q\Sigma}).\end{align}

よって\(r(\boldsymbol{\mu}, \bar{\boldsymbol{x}}) = \mathrm{E}_{\boldsymbol{\mu}}[R(\boldsymbol{\mu}, \bar{\boldsymbol{x}} )] = (1/N)\mathrm{tr}(\boldsymbol{Q\Sigma})\)であることから、\(\boldsymbol{\Phi}^{-1}\to \boldsymbol{0}\)の下で、任意の\(\varepsilon\)に対して、\(r(\boldsymbol{\mu}, \bar{\boldsymbol{x}}) \leq r(\boldsymbol{\mu}, \boldsymbol{d}(\bar{\boldsymbol{x}})) + \varepsilon\)が成り立つ。故に\(\bar{\boldsymbol{x}}\)はextended Bayesである。また、\(R(\boldsymbol{\mu}, \bar{\boldsymbol{x}})\)は定数であることから、\(\bar{\boldsymbol{x}}\)はミニマックスである。□

スポンサーリンク

  • この記事を書いた人
  • 最新記事

usagi-san

統計学とゲームとかをメインに解説していくよ。 数式とかプログラミングコードにミスがあったり質問があったりする場合はコメントで受け付けます。すぐに対応します。

-多変量正規分布
-,

© 2022 ウサギさんの統計学サロン Powered by AFFINGER5