対称行列の固有値・固有ベクトル#2

前回の対称行列の固有値・固有ベクトル#1の続きをみていく。

固有ベクトルの性質を中心に解説していく。

固有ベクトルの定義

\(\lambda_i\)が\(\boldsymbol{B}\)の固有値であるとき、次を満たす非零ベクトルであるベクトル\(\boldsymbol{x}_i\)は、固有値\(\lambda_i\)に対する\(\boldsymbol{B}\)の固有ベクトルと呼ばれる（英名ではcharacteristic vectorまたは、eigenvectors）。

\begin{align}\label{eq1}(\boldsymbol{B}-\lambda_i\boldsymbol{I})\boldsymbol{x}_i = \boldsymbol{0}.\tag{1}\end{align}

どんな\(\boldsymbol{x}_i\)のスカラー倍もまた固有ベクトルである。\(\boldsymbol{B}\)が対称行列であるとき、\(\boldsymbol{x}_i^T(\boldsymbol{B}-\lambda_i\boldsymbol{I})=\boldsymbol{0}\)が成り立つ。固有値がすべて異なるとき、\(\boldsymbol{x}_j^T\boldsymbol{B}\boldsymbol{x}_i=0\)であり、\(\boldsymbol{x}_j^T\boldsymbol{x}_i=0,\ i\neq j\)である。\(\boldsymbol{c}_i = (1/\|\boldsymbol{x}_i\|)\boldsymbol{x}_i\)を\(i\)番目の正規化された固有ベクトルとする。また、このベクトルを並べたものを\(\boldsymbol{C}=(\boldsymbol{c}_1, \ldots, \boldsymbol{c}_p)\)とする。このとき対称行列の固有値・固有ベクトル#1で与えた対角行列\(\boldsymbol{D}\)を用いると\(\boldsymbol{C}^T\boldsymbol{C}=\boldsymbol{I}\)であり、\(\boldsymbol{BC} = \boldsymbol{CD}\)である。これは対称行列の固有値・固有ベクトル#1の(4)式を意味する。固有値が\(m\)個の重根をもつとき、その固有値に対応する\(m\)個の固有ベクトルは、\(m\)個の線形独立な、固有ベクトルの線形結合で置き換えることができる（グラムシュミットの正規直交化法を用いる）。したがって、\eqref{eq1}を満たし、\(\boldsymbol{x}_j^T\boldsymbol{x}_i = 0\)、\(\boldsymbol{x}_j^T\boldsymbol{Bx}_i=0, \ i\neq j\)であるようにベクトルを選ぶことができる。

固有ベクトルは、多変量解析の主成分軸に対応していることが分かる。\(\boldsymbol{y}=\boldsymbol{Cx}\)の変換の下で、

\begin{align}1&=\boldsymbol{x}^T\boldsymbol{Bx}\\&=\boldsymbol{x}^T\boldsymbol{C}^T\boldsymbol{DCx}\\&=\boldsymbol{y}^T\boldsymbol{Dy}\\&=\sum_{i=1}^p d_iy_i^2\\\label{eq2}&=\sum_{i=1}^p \cfrac{y_i^2}{\sqrt{1/d_i^2}}\tag{2}\end{align}

であるので、\(\boldsymbol{B}\)の固有値は、次の楕円の主軸の長さの逆数の2乗に比例する。

\begin{align}\label{eq3}\boldsymbol{x}^T\boldsymbol{Bx} = 1\tag{3}\end{align}

固有値・固有ベクトルの性質

正則行列\(\boldsymbol{A}\)と\(\boldsymbol{B}\)の2組の行列に対して、次の形から成る方程式を考える。

\begin{align}\label{eq4}|\boldsymbol{B}-\lambda\boldsymbol{A}|=0.\tag{4}\end{align}

この方程式はある変換に関して不変性をもつ。実際に、正則行列\(\boldsymbol{C}\)に対し

\begin{align}|\boldsymbol{C}^T\boldsymbol{BC} - \lambda(\boldsymbol{C}^T\boldsymbol{AC})| &=|\boldsymbol{C}^T(\boldsymbol{B}-\lambda\boldsymbol{A})\boldsymbol{C}|\\\label{eq5}&=|\boldsymbol{C}^T|\cdot|\boldsymbol{B}-\lambda\boldsymbol{A}|\cdot|\boldsymbol{C}|\tag{5}\end{align}

が成り立ち、\(|\boldsymbol{C}^T| = |\boldsymbol{C}|\neq 0\)であるため

\begin{align}&|\boldsymbol{C}^T\boldsymbol{BC} - \lambda(\boldsymbol{C}^T\boldsymbol{AC})| = 0\\&\Leftrightarrow |\boldsymbol{C}^T|\cdot|\boldsymbol{B}-\lambda\boldsymbol{A}|\cdot|\boldsymbol{C}| =0\\&\Leftrightarrow |\boldsymbol{B}-\lambda\boldsymbol{A}|=|\boldsymbol{C}|^{-2}\cdot0\\\label{eq6}&\Leftrightarrow |\boldsymbol{B}-\lambda\boldsymbol{A}|=0\tag{6}\end{align}

である。したがって\eqref{eq6}の1行目の方程式の根は\eqref{eq4}の方程式の根と等しい。

正定値行列について#2の系2より、\(\boldsymbol{A}\)が正定値行列であるとき、\(\boldsymbol{E}^T\boldsymbol{AE}=\boldsymbol{I}\)を満たす行列\(\boldsymbol{E}\)が存在する。ここで行列\(\boldsymbol{B}^*\)を\(\boldsymbol{E}^T\boldsymbol{BE}=\boldsymbol{B}^*\)で定義する。対称行列の固有値・固有ベクトル#1より、\(\boldsymbol{C}^T\boldsymbol{B}^*\boldsymbol{C}=\boldsymbol{D}\)を満たすような直交行列\(\boldsymbol{C}\)が存在することがいえる。ここに\(\boldsymbol{D}\)は対角行列である。\(\boldsymbol{EC}\)を\(\boldsymbol{F}\)とおくと

\begin{align}(\boldsymbol{EC})^T\boldsymbol{BEC} &= \boldsymbol{C}^T\boldsymbol{B}^*\boldsymbol{C}\\&= \boldsymbol{D},\\(\boldsymbol{EC})^T\boldsymbol{A}^T\boldsymbol{EC}&=\boldsymbol{C}^T\boldsymbol{I}\boldsymbol{C}\\&=\boldsymbol{I}\end{align}

が成り立つことから、次の定理を得る。

定理1　2つの正則行列に対する対角化

半正定値行列\(\boldsymbol{B}\)と正定値行列\(\boldsymbol{A}\)与えられているとする。このとき、次を満たす正則行列\(\boldsymbol{F}\)が存在する。\begin{align}\label{eq7}\boldsymbol{F}^T\boldsymbol{BF}&=\begin{pmatrix}\lambda_1 &0 &\cdots& 0\\0&\lambda_2& &0\\\vdots &\vdots&&\vdots\\0&0&\cdots&\lambda_p\end{pmatrix},\tag{7}\\\label{eq8}\boldsymbol{F}^T\boldsymbol{AF} &=\boldsymbol{I},\tag{8}\end{align}ここに、\(\lambda_1 \geq \cdots \lambda_p\ (\geq 0)\)は\eqref{eq4}の根である。\(\boldsymbol{B}\)が正定値行列であるとき、\(\lambda_i > 0,\ i=1,\ldots,p\)である。

それぞれの根\(\lambda_i\)に対して、次を満たすベクトル\(\boldsymbol{x}_i\)が存在する。

\begin{gather}\label{eq9}(\boldsymbol{B}-\lambda_i\boldsymbol{A})\boldsymbol{x}_i = \boldsymbol{0}\tag{9}\\\boldsymbol{x}_i^T\boldsymbol{Ax}_i =1.\end{gather}

根が全て異なるとき、\(\boldsymbol{x}_j^T\boldsymbol{Bx}_i = 0\)、\(\boldsymbol{x}_j^T\boldsymbol{Ax}_i=0,\ i\neq j\)である。したがって、\(\boldsymbol{F}=(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_p)\)がいえる。\(m\)の重根をもつとき、これらのベクトルは、\(m\)個の線形独立な線形結合で置き換えることができる。よって、\eqref{eq9}、\(\boldsymbol{x}_j^T\boldsymbol{Bx}_i=0\)、\(\boldsymbol{x}_j^T\boldsymbol{Ax}_i = 0,\ i\neq j\)を満たすようにベクトルを選ぶことができる。

定理2　特異値分解

\(n\times p\)行列\(\boldsymbol{X},\ n\geq p\)が与えられているとする。このとき、次の式を満たすような\(n\times n\)直交行列\(\boldsymbol{P}\)、\(p\times p\)直交行列\(\boldsymbol{Q}\)、対角行列でありかつ半正定値行列である\(p\times p\)行列と\((n-p)\times p\)零行列をもつ\(n\times p\)行列\(\boldsymbol{D}\)が存在する。\begin{align}\label{eq10}\boldsymbol{X}=\boldsymbol{PDQ}.\tag{10}\end{align}

証明　対称行列の固有値・固有ベクトル#1の定理1より、次を満たすような\(p\times p\)直交行列\(\boldsymbol{Q}\)と対角行列\(\boldsymbol{E}_1\)が存在する。

\begin{align}\label{eq11}\boldsymbol{QX}^T\boldsymbol{XQ}^T =\begin{pmatrix}\boldsymbol{E}_1 & \boldsymbol{0}\\\boldsymbol{0} & \boldsymbol{0}\end{pmatrix},\tag{11}\end{align}

ここに、\(\boldsymbol{E}_1\)は対角行列であり、かつ正定値行列である。また、\(\boldsymbol{E}_1\)の次数は\(\boldsymbol{X}\)のランクと同じである。\(\boldsymbol{XQ}^T = \boldsymbol{Y}= (\boldsymbol{Y}_1, \boldsymbol{Y}_2)\)とする。ここに、\(\boldsymbol{Y}_1\)の列数は\(\boldsymbol{E}_1\)の次数である。したがって

\begin{align}\boldsymbol{QX}^T\boldsymbol{XQ}^T &= \boldsymbol{Y}^T\boldsymbol{Y}\\&= \begin{pmatrix}\boldsymbol{Y}_1^T&\boldsymbol{Y}_2^T\end{pmatrix}\begin{pmatrix}\boldsymbol{Y}_1\\\boldsymbol{Y}_2\end{pmatrix}\\ &= \begin{pmatrix}\boldsymbol{Y}_1^T\boldsymbol{Y}_1 &\boldsymbol{Y}_1^T\boldsymbol{Y}_2\\\boldsymbol{Y}_2^T\boldsymbol{Y}_1 &\boldsymbol{Y}_2^T\boldsymbol{Y}_2\end{pmatrix}\\\label{eq12}&=\begin{pmatrix}\boldsymbol{E}_1 & \boldsymbol{0}\\\boldsymbol{0} & \boldsymbol{0}\end{pmatrix}\tag{12}\end{align}

であることから、\(\boldsymbol{Y}_2^T\boldsymbol{Y}_2=\boldsymbol{0}\)である。故に、ベクトルの内積は\(0\)以上であるので、\(\boldsymbol{Y}_2 = \boldsymbol{0}\)である。\(\boldsymbol{P}_1 = \boldsymbol{Y}_1\boldsymbol{E}_1^{-\frac{1}{2}}\)とおく。このとき、

\begin{align}\boldsymbol{P}_1^T\boldsymbol{P}_1 &= \boldsymbol{E}_1^{-\frac{1}{2}}\boldsymbol{Y}_1^T\boldsymbol{Y}_1\boldsymbol{E}_1^{-\frac{1}{2}}\\&=\boldsymbol{E}_1^{-\frac{1}{2}}\boldsymbol{E}_1\boldsymbol{E}_1^{-\frac{1}{2}}\\&=\boldsymbol{I}\end{align}

である。この定理を満たす\(n\times n\)直交行列\(\boldsymbol{P}=(\boldsymbol{P}_1, \boldsymbol{P}_2)\)は、\(\boldsymbol{P}\)が直交行列になるように\(\boldsymbol{P}_2\)を選ぶことで作ることができる。ここで、いままでの操作を\eqref{eq10}に対応させてみる。\eqref{eq10}と\(\boldsymbol{D}\)が対角行列であることから、次が成り立つ

\begin{align}&\boldsymbol{P}^T\boldsymbol{XQ}^T=\boldsymbol{D}\\&\Leftrightarrow (\boldsymbol{P}^T\boldsymbol{XQ}^T)^T\boldsymbol{P}^T\boldsymbol{XQ}^T= \boldsymbol{D}^T\boldsymbol{D}\\&\Leftrightarrow \boldsymbol{QX}^T\boldsymbol{P}^T\boldsymbol{PX}^T\boldsymbol{Q} = \boldsymbol{D}^2\\&\Leftrightarrow \boldsymbol{QX}^T\boldsymbol{XQ}^T = \boldsymbol{D}^2\\\label{eq13}&\Leftrightarrow \boldsymbol{Y}^T\boldsymbol{Y} = \boldsymbol{D}^2.\tag{13}\end{align}

よって、\eqref{eq12}から\(\boldsymbol{Y}_1^T\boldsymbol{Y}_1 = \boldsymbol{E}_1\)、\(\boldsymbol{Y}_1^T\boldsymbol{Y}_2 = (\boldsymbol{Y}_2^T\boldsymbol{Y}_1)^T = \boldsymbol{0}\)、\(\boldsymbol{Y}_2^T\boldsymbol{Y}_2 = \boldsymbol{0}\)がいえるので、

\begin{align}&\boldsymbol{Y}^T\boldsymbol{Y} = \begin{pmatrix}\boldsymbol{E}_1 & \boldsymbol{0}\\\boldsymbol{0} & \boldsymbol{0}\end{pmatrix} = \boldsymbol{D}^2\\&\Leftrightarrow \begin{pmatrix}\boldsymbol{E}_1^{\frac{1}{2}} & \boldsymbol{0}\\\boldsymbol{0}&\boldsymbol{0}\end{pmatrix} = \boldsymbol{D}\end{align}

が成り立つ。上の式より\(\boldsymbol{D}\)の左上のブロックは\(\boldsymbol{E}_1^{\frac{1}{2}}\)であり、\(\boldsymbol{D}\)の残りのブロックは\(\boldsymbol{0}\)であることがいえる。したがって\eqref{eq13}の左辺より、\eqref{eq10}を満たす行列\(\boldsymbol{X}\)、\(\boldsymbol{P}\)、\(\boldsymbol{Q}\)、\(\boldsymbol{D}\)を構成することができた。□

定理3　固有値の最大値と最小値

\(\boldsymbol{A}\)を正定値行列、\(\boldsymbol{B}\)を半正定値行列とする。このとき\begin{align}\label{eq14}\lambda_p \leq \cfrac{\boldsymbol{x}^T\boldsymbol{Bx}}{\boldsymbol{x}^T\boldsymbol{x}}\leq\lambda_1,\tag{14}\end{align}であり、ここに\(\lambda_1\)と\(\lambda_p\)はそれぞれ、正方行列の固有値・固有ベクトルの(1)式の固有値の最大値と最小値である。また、

\begin{align}\label{eq15}\lambda_p \leq \cfrac{\boldsymbol{x}^T\boldsymbol{Bx}}{\boldsymbol{x}^T\boldsymbol{Ax}}\leq\lambda_1\tag{15}\end{align}であり、ここに\(\lambda_1\)と\(\lambda_p\)はそれぞれ、\eqref{eq9}の根の最大値と最小値である。

証明　まず\eqref{eq14}について証明する。対称行列の固有値・固有ベクトル#1の定理1より、\(\boldsymbol{x}^T\boldsymbol{Bx}\)に関して次の不等式が成り立つ。

\begin{align}\boldsymbol{x}^T\boldsymbol{Bx}&=\boldsymbol{x}^T\boldsymbol{C}\boldsymbol{DC}^T\boldsymbol{x}\\&=(\boldsymbol{C}^T\boldsymbol{x})^T\boldsymbol{D}(\boldsymbol{C}^T\boldsymbol{x})\\&= \begin{pmatrix}\boldsymbol{c}_1^T\boldsymbol{x}&\cdots & \boldsymbol{c}_p^T\boldsymbol{x}\end{pmatrix}\begin{pmatrix}\lambda_1 &0&\cdots&0\\ 0&\lambda_2&\cdots&0\\\vdots &\vdots&&\vdots\\0&0&\cdots&\lambda_p\end{pmatrix}\begin{pmatrix}\boldsymbol{c}_1^T\boldsymbol{x}&\\ \vdots\\ \boldsymbol{c}_p^T\boldsymbol{x}\end{pmatrix}\\&=\sum_{i=1}^p \lambda_i (\boldsymbol{c}_i^T\boldsymbol{x})^2\\& \leq \sum_{i=1}^p\lambda_1(\boldsymbol{c}_i^T\boldsymbol{x})^2\\ &= \lambda_1(\boldsymbol{C}^T\boldsymbol{x})^T(\boldsymbol{C}^T\boldsymbol{x})\\&= \lambda_1\boldsymbol{x}^T\boldsymbol{C}^T\boldsymbol{C}\boldsymbol{x}\\&=\lambda_1\boldsymbol{x}^T\boldsymbol{x}.\end{align}

また同様にして

\begin{align}\boldsymbol{x}^T\boldsymbol{Bx} \geq \lambda_p\boldsymbol{x}^T\boldsymbol{x}\end{align}

も示すことができる。したがって、これら2つの不等式の関係から次の\eqref{eq14}の不等式を導くことができる。

\begin{align}& \lambda_p\boldsymbol{x}^T\boldsymbol{x}\leq \boldsymbol{x}^T\boldsymbol{Bx} \leq \lambda_1\boldsymbol{x}^T\boldsymbol{x}\\& \Leftrightarrow \lambda_p\leq \cfrac{\boldsymbol{x}^T\boldsymbol{Bx}}{\boldsymbol{x}^T\boldsymbol{x}} \leq \lambda_1.\end{align}

次に、\eqref{eq15}を証明する。\eqref{eq7}の\(\boldsymbol{F}\)の逆行列を\(\boldsymbol{G}=\boldsymbol{F}^{-1}\)とし、\(\boldsymbol{G}\)の\(i\)番目の行を\(\boldsymbol{g}_i\)とすると、\(\boldsymbol{x}^T\boldsymbol{Bx}\)に関して、次の不等式が成り立つ。

\begin{align}\boldsymbol{x}^T\boldsymbol{Bx}&= \boldsymbol{x}^T\boldsymbol{G}^T\boldsymbol{DGx}\\&= (\boldsymbol{Gx})^T\boldsymbol{D} (\boldsymbol{Gx})\\&=\sum_{i=1}^p \lambda_i (\boldsymbol{g}_i\boldsymbol{x})^2\\&\leq \lambda_1\sum_{i=1}^p(\boldsymbol{g}_i\boldsymbol{x})^2\\&=\lambda_1 (\boldsymbol{Gx})^T(\boldsymbol{Gx}) \\&= \lambda_1 \boldsymbol{x}^T\boldsymbol{G}^T\boldsymbol{Gx}\\&= \lambda_1 \boldsymbol{x}^T\boldsymbol{Ax}.\end{align}

また同様にして

\begin{align}\boldsymbol{x}^T\boldsymbol{Bx} \geq \lambda_p \boldsymbol{x}^T\boldsymbol{Ax}\end{align}

も示すことができる。したがって、これら2つの不等式から、\eqref{eq15}の不等式が得られた。

\begin{align}&\lambda_p\boldsymbol{x}^T\boldsymbol{Ax} \leq \boldsymbol{x}^T\boldsymbol{Bx}\leq \lambda_1\boldsymbol{x}^T\boldsymbol{Ax} \\&\Leftrightarrow \lambda_p\leq \cfrac{\boldsymbol{x}^T\boldsymbol{Bx}}{\boldsymbol{x}^T\boldsymbol{Ax} }\leq \lambda_1.□\end{align}

\(\boldsymbol{A}^2 = \boldsymbol{A}\)が成り立つとき、正方行列\(\boldsymbol{A}\)は冪等行列という。\(\lambda\)が\(|\boldsymbol{A} -\lambda\boldsymbol{I}|=0\)を満たすとき、\(\lambda\boldsymbol{x} =\boldsymbol{Ax}=\boldsymbol{A}^2\boldsymbol{x}\)であるようなベクトル\(\boldsymbol{x}\neq \boldsymbol{0}\)が存在する。さらに、\(\boldsymbol{A}^2\boldsymbol{x} = \boldsymbol{A}(\boldsymbol{Ax}) = \boldsymbol{A}\lambda\boldsymbol{x} = \lambda^2\boldsymbol{x}\)という等式も得られる。したがって\(\lambda^2 = \lambda\)であり、\(\lambda\)は\(0\)か\(1\)をとる。\(\lambda = 1\)の根の重複度が\(\boldsymbol{A}\)のランクとなる。\(\boldsymbol{A}\)が\(p\times p\)であるとき、\(\boldsymbol{I}_p-\boldsymbol{A}\)はランク\(p-(\mathrm{rank}\ \boldsymbol{A})\)の冪等行列であり、\(\boldsymbol{A}\)と\(\boldsymbol{I}_p-\boldsymbol{A}\)は直交する。\(\boldsymbol{A}\)が対称行列であるとき、次となるような直交行列\(\boldsymbol{O}\)が存在する。

\begin{align}\boldsymbol{OAO}^T=\begin{bmatrix}\boldsymbol{I} & \boldsymbol{0}\\ \boldsymbol{0}& \boldsymbol{0}\end{bmatrix}, \ \ \boldsymbol{O}(\boldsymbol{I}-\boldsymbol{A})\boldsymbol{O}^T\begin{bmatrix} \boldsymbol{0}& \boldsymbol{0}\\ \boldsymbol{0}& \boldsymbol{I}\end{bmatrix},\end{align}

ここに\(\boldsymbol{I}\)の次元は\(\mathrm{rank}\ \boldsymbol{A}\)である。

対称行列の固有値・固有ベクトル#2

固有ベクトルの定義

固有値・固有ベクトルの性質

定理1 2つの正則行列に対する対角化

定理2 特異値分解

定理3 固有値の最大値と最小値

定理1　2つの正則行列に対する対角化

定理2　特異値分解

定理3　固有値の最大値と最小値