線形代数

対称行列の固有値・固有ベクトル#2

  1. HOME >
  2. 線形代数 >

対称行列の固有値・固有ベクトル#2

スポンサーリンク

前回の対称行列の固有値・固有ベクトル#1の続きをみていく。

固有ベクトルの性質を中心に解説していく。

固有ベクトルの定義

\(\lambda_i\)が\(\boldsymbol{B}\)の固有値であるとき、次を満たす非零ベクトルであるベクトル\(\boldsymbol{x}_i\)は、固有値\(\lambda_i\)に対する\(\boldsymbol{B}\)の固有ベクトルと呼ばれる(英名ではcharacteristic vectorまたは、eigenvectors)。

\begin{align}\label{eq1}(\boldsymbol{B}-\lambda_i\boldsymbol{I})\boldsymbol{x}_i = \boldsymbol{0}.\tag{1}\end{align}

どんな\(\boldsymbol{x}_i\)のスカラー倍もまた固有ベクトルである。\(\boldsymbol{B}\)が対称行列であるとき、\(\boldsymbol{x}_i^T(\boldsymbol{B}-\lambda_i\boldsymbol{I})=\boldsymbol{0}\)が成り立つ。固有値がすべて異なるとき、\(\boldsymbol{x}_j^T\boldsymbol{B}\boldsymbol{x}_i=0\)であり、\(\boldsymbol{x}_j^T\boldsymbol{x}_i=0,\  i\neq j\)である。\(\boldsymbol{c}_i = (1/\|\boldsymbol{x}_i\|)\boldsymbol{x}_i\)を\(i\)番目の正規化された固有ベクトルとする。また、このベクトルを並べたものを\(\boldsymbol{C}=(\boldsymbol{c}_1, \ldots, \boldsymbol{c}_p)\)とする。このとき対称行列の固有値・固有ベクトル#1で与えた対角行列\(\boldsymbol{D}\)を用いると\(\boldsymbol{C}^T\boldsymbol{C}=\boldsymbol{I}\)であり、\(\boldsymbol{BC} = \boldsymbol{CD}\)である。これは対称行列の固有値・固有ベクトル#1の(4)式を意味する。固有値が\(m\)個の重根をもつとき、その固有値に対応する\(m\)個の固有ベクトルは、\(m\)個の線形独立な、固有ベクトルの線形結合で置き換えることができる(グラムシュミットの正規直交化法を用いる)。したがって、\eqref{eq1}を満たし、\(\boldsymbol{x}_j^T\boldsymbol{x}_i = 0\)、\(\boldsymbol{x}_j^T\boldsymbol{Bx}_i=0, \ i\neq j\)であるようにベクトルを選ぶことができる。

固有ベクトルは、多変量解析の主成分軸に対応していることが分かる。\(\boldsymbol{y}=\boldsymbol{Cx}\)の変換の下で、

\begin{align}1&=\boldsymbol{x}^T\boldsymbol{Bx}\\&=\boldsymbol{x}^T\boldsymbol{C}^T\boldsymbol{DCx}\\&=\boldsymbol{y}^T\boldsymbol{Dy}\\&=\sum_{i=1}^p d_iy_i^2\\\label{eq2}&=\sum_{i=1}^p \cfrac{y_i^2}{\sqrt{1/d_i^2}}\tag{2}\end{align}

であるので、\(\boldsymbol{B}\)の固有値は、次の楕円の主軸の長さの逆数の2乗に比例する。

\begin{align}\label{eq3}\boldsymbol{x}^T\boldsymbol{Bx} = 1\tag{3}\end{align}

固有値・固有ベクトルの性質

正則行列\(\boldsymbol{A}\)と\(\boldsymbol{B}\)の2組の行列に対して、次の形から成る方程式を考える。

\begin{align}\label{eq4}|\boldsymbol{B}-\lambda\boldsymbol{A}|=0.\tag{4}\end{align}

この方程式はある変換に関して不変性をもつ。実際に、正則行列\(\boldsymbol{C}\)に対し

\begin{align}|\boldsymbol{C}^T\boldsymbol{BC} - \lambda(\boldsymbol{C}^T\boldsymbol{AC})| &=|\boldsymbol{C}^T(\boldsymbol{B}-\lambda\boldsymbol{A})\boldsymbol{C}|\\\label{eq5}&=|\boldsymbol{C}^T|\cdot|\boldsymbol{B}-\lambda\boldsymbol{A}|\cdot|\boldsymbol{C}|\tag{5}\end{align}

が成り立ち、\(|\boldsymbol{C}^T| = |\boldsymbol{C}|\neq 0\)であるため

\begin{align}&|\boldsymbol{C}^T\boldsymbol{BC} - \lambda(\boldsymbol{C}^T\boldsymbol{AC})| = 0\\&\Leftrightarrow |\boldsymbol{C}^T|\cdot|\boldsymbol{B}-\lambda\boldsymbol{A}|\cdot|\boldsymbol{C}| =0\\&\Leftrightarrow |\boldsymbol{B}-\lambda\boldsymbol{A}|=|\boldsymbol{C}|^{-2}\cdot0\\\label{eq6}&\Leftrightarrow |\boldsymbol{B}-\lambda\boldsymbol{A}|=0\tag{6}\end{align}

である。したがって\eqref{eq6}の1行目の方程式の根は\eqref{eq4}の方程式の根と等しい。

正定値行列について#2の系2より、\(\boldsymbol{A}\)が正定値行列であるとき、\(\boldsymbol{E}^T\boldsymbol{AE}=\boldsymbol{I}\)を満たす行列\(\boldsymbol{E}\)が存在する。ここで行列\(\boldsymbol{B}^*\)を\(\boldsymbol{E}^T\boldsymbol{BE}=\boldsymbol{B}^*\)で定義する。対称行列の固有値・固有ベクトル#1より、\(\boldsymbol{C}^T\boldsymbol{B}^*\boldsymbol{C}=\boldsymbol{D}\)を満たすような直交行列\(\boldsymbol{C}\)が存在することがいえる。ここに\(\boldsymbol{D}\)は対角行列である。\(\boldsymbol{EC}\)を\(\boldsymbol{F}\)とおくと

\begin{align}(\boldsymbol{EC})^T\boldsymbol{BEC} &= \boldsymbol{C}^T\boldsymbol{B}^*\boldsymbol{C}\\&= \boldsymbol{D},\\(\boldsymbol{EC})^T\boldsymbol{A}^T\boldsymbol{EC}&=\boldsymbol{C}^T\boldsymbol{I}\boldsymbol{C}\\&=\boldsymbol{I}\end{align}

が成り立つことから、次の定理を得る。

定理1 2つの正則行列に対する対角化

半正定値行列\(\boldsymbol{B}\)と正定値行列\(\boldsymbol{A}\)与えられているとする。このとき、次を満たす正則行列\(\boldsymbol{F}\)が存在する。\begin{align}\label{eq7}\boldsymbol{F}^T\boldsymbol{BF}&=\begin{pmatrix}\lambda_1 &0 &\cdots& 0\\0&\lambda_2& &0\\\vdots &\vdots&&\vdots\\0&0&\cdots&\lambda_p\end{pmatrix},\tag{7}\\\label{eq8}\boldsymbol{F}^T\boldsymbol{AF} &=\boldsymbol{I},\tag{8}\end{align}ここに、\(\lambda_1 \geq \cdots \lambda_p\ (\geq 0)\)は\eqref{eq4}の根である。\(\boldsymbol{B}\)が正定値行列であるとき、\(\lambda_i > 0,\ i=1,\ldots,p\)である。

それぞれの根\(\lambda_i\)に対して、次を満たすベクトル\(\boldsymbol{x}_i\)が存在する。

\begin{gather}\label{eq9}(\boldsymbol{B}-\lambda_i\boldsymbol{A})\boldsymbol{x}_i = \boldsymbol{0}\tag{9}\\\boldsymbol{x}_i^T\boldsymbol{Ax}_i =1.\end{gather}

根が全て異なるとき、\(\boldsymbol{x}_j^T\boldsymbol{Bx}_i = 0\)、\(\boldsymbol{x}_j^T\boldsymbol{Ax}_i=0,\ i\neq j\)である。したがって、\(\boldsymbol{F}=(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_p)\)がいえる。\(m\)の重根をもつとき、これらのベクトルは、\(m\)個の線形独立な線形結合で置き換えることができる。よって、\eqref{eq9}、\(\boldsymbol{x}_j^T\boldsymbol{Bx}_i=0\)、\(\boldsymbol{x}_j^T\boldsymbol{Ax}_i = 0,\ i\neq j\)を満たすようにベクトルを選ぶことができる。

定理2 特異値分解

\(n\times p\)行列\(\boldsymbol{X},\ n\geq p\)が与えられているとする。このとき、次の式を満たすような\(n\times n\)直交行列\(\boldsymbol{P}\)、\(p\times p\)直交行列\(\boldsymbol{Q}\)、対角行列でありかつ半正定値行列である\(p\times p\)行列と\((n-p)\times p\)零行列をもつ\(n\times p\)行列\(\boldsymbol{D}\)が存在する。\begin{align}\label{eq10}\boldsymbol{X}=\boldsymbol{PDQ}.\tag{10}\end{align}

証明 対称行列の固有値・固有ベクトル#1の定理1より、次を満たすような\(p\times p\)直交行列\(\boldsymbol{Q}\)と対角行列\(\boldsymbol{E}_1\)が存在する。

\begin{align}\label{eq11}\boldsymbol{QX}^T\boldsymbol{XQ}^T =\begin{pmatrix}\boldsymbol{E}_1 & \boldsymbol{0}\\\boldsymbol{0} & \boldsymbol{0}\end{pmatrix},\tag{11}\end{align}

ここに、\(\boldsymbol{E}_1\)は対角行列であり、かつ正定値行列である。また、\(\boldsymbol{E}_1\)の次数は\(\boldsymbol{X}\)のランクと同じである。\(\boldsymbol{XQ}^T = \boldsymbol{Y}= (\boldsymbol{Y}_1, \boldsymbol{Y}_2)\)とする。ここに、\(\boldsymbol{Y}_1\)の列数は\(\boldsymbol{E}_1\)の次数である。したがって

\begin{align}\boldsymbol{QX}^T\boldsymbol{XQ}^T &= \boldsymbol{Y}^T\boldsymbol{Y}\\&= \begin{pmatrix}\boldsymbol{Y}_1^T&\boldsymbol{Y}_2^T\end{pmatrix}\begin{pmatrix}\boldsymbol{Y}_1\\\boldsymbol{Y}_2\end{pmatrix}\\ &= \begin{pmatrix}\boldsymbol{Y}_1^T\boldsymbol{Y}_1 &\boldsymbol{Y}_1^T\boldsymbol{Y}_2\\\boldsymbol{Y}_2^T\boldsymbol{Y}_1 &\boldsymbol{Y}_2^T\boldsymbol{Y}_2\end{pmatrix}\\\label{eq12}&=\begin{pmatrix}\boldsymbol{E}_1 & \boldsymbol{0}\\\boldsymbol{0} & \boldsymbol{0}\end{pmatrix}\tag{12}\end{align}

であることから、\(\boldsymbol{Y}_2^T\boldsymbol{Y}_2=\boldsymbol{0}\)である。故に、ベクトルの内積は\(0\)以上であるので、\(\boldsymbol{Y}_2 = \boldsymbol{0}\)である。\(\boldsymbol{P}_1 = \boldsymbol{Y}_1\boldsymbol{E}_1^{-\frac{1}{2}}\)とおく。このとき、

\begin{align}\boldsymbol{P}_1^T\boldsymbol{P}_1 &= \boldsymbol{E}_1^{-\frac{1}{2}}\boldsymbol{Y}_1^T\boldsymbol{Y}_1\boldsymbol{E}_1^{-\frac{1}{2}}\\&=\boldsymbol{E}_1^{-\frac{1}{2}}\boldsymbol{E}_1\boldsymbol{E}_1^{-\frac{1}{2}}\\&=\boldsymbol{I}\end{align}

である。この定理を満たす\(n\times n\)直交行列\(\boldsymbol{P}=(\boldsymbol{P}_1, \boldsymbol{P}_2)\)は、\(\boldsymbol{P}\)が直交行列になるように\(\boldsymbol{P}_2\)を選ぶことで作ることができる。ここで、いままでの操作を\eqref{eq10}に対応させてみる。\eqref{eq10}と\(\boldsymbol{D}\)が対角行列であることから、次が成り立つ

\begin{align}&\boldsymbol{P}^T\boldsymbol{XQ}^T=\boldsymbol{D}\\&\Leftrightarrow (\boldsymbol{P}^T\boldsymbol{XQ}^T)^T\boldsymbol{P}^T\boldsymbol{XQ}^T= \boldsymbol{D}^T\boldsymbol{D}\\&\Leftrightarrow \boldsymbol{QX}^T\boldsymbol{P}^T\boldsymbol{PX}^T\boldsymbol{Q} =  \boldsymbol{D}^2\\&\Leftrightarrow \boldsymbol{QX}^T\boldsymbol{XQ}^T = \boldsymbol{D}^2\\\label{eq13}&\Leftrightarrow \boldsymbol{Y}^T\boldsymbol{Y} = \boldsymbol{D}^2.\tag{13}\end{align}

よって、\eqref{eq12}から\(\boldsymbol{Y}_1^T\boldsymbol{Y}_1 = \boldsymbol{E}_1\)、\(\boldsymbol{Y}_1^T\boldsymbol{Y}_2 = (\boldsymbol{Y}_2^T\boldsymbol{Y}_1)^T = \boldsymbol{0}\)、\(\boldsymbol{Y}_2^T\boldsymbol{Y}_2 = \boldsymbol{0}\)がいえるので、

\begin{align}&\boldsymbol{Y}^T\boldsymbol{Y} = \begin{pmatrix}\boldsymbol{E}_1 & \boldsymbol{0}\\\boldsymbol{0} & \boldsymbol{0}\end{pmatrix} = \boldsymbol{D}^2\\&\Leftrightarrow \begin{pmatrix}\boldsymbol{E}_1^{\frac{1}{2}} & \boldsymbol{0}\\\boldsymbol{0}&\boldsymbol{0}\end{pmatrix} = \boldsymbol{D}\end{align}

が成り立つ。上の式より\(\boldsymbol{D}\)の左上のブロックは\(\boldsymbol{E}_1^{\frac{1}{2}}\)であり、\(\boldsymbol{D}\)の残りのブロックは\(\boldsymbol{0}\)であることがいえる。したがって\eqref{eq13}の左辺より、\eqref{eq10}を満たす行列\(\boldsymbol{X}\)、\(\boldsymbol{P}\)、\(\boldsymbol{Q}\)、\(\boldsymbol{D}\)を構成することができた。□

定理3 固有値の最大値と最小値

\(\boldsymbol{A}\)を正定値行列、\(\boldsymbol{B}\)を半正定値行列とする。このとき\begin{align}\label{eq14}\lambda_p \leq \cfrac{\boldsymbol{x}^T\boldsymbol{Bx}}{\boldsymbol{x}^T\boldsymbol{x}}\leq\lambda_1,\tag{14}\end{align}であり、ここに\(\lambda_1\)と\(\lambda_p\)はそれぞれ、正方行列の固有値・固有ベクトルの(1)式の固有値の最大値と最小値である。また、

\begin{align}\label{eq15}\lambda_p \leq \cfrac{\boldsymbol{x}^T\boldsymbol{Bx}}{\boldsymbol{x}^T\boldsymbol{Ax}}\leq\lambda_1\tag{15}\end{align}であり、ここに\(\lambda_1\)と\(\lambda_p\)はそれぞれ、\eqref{eq9}の根の最大値と最小値である。

証明 まず\eqref{eq14}について証明する。対称行列の固有値・固有ベクトル#1の定理1より、\(\boldsymbol{x}^T\boldsymbol{Bx}\)に関して次の不等式が成り立つ。

\begin{align}\boldsymbol{x}^T\boldsymbol{Bx}&=\boldsymbol{x}^T\boldsymbol{C}\boldsymbol{DC}^T\boldsymbol{x}\\&=(\boldsymbol{C}^T\boldsymbol{x})^T\boldsymbol{D}(\boldsymbol{C}^T\boldsymbol{x})\\&= \begin{pmatrix}\boldsymbol{c}_1^T\boldsymbol{x}&\cdots & \boldsymbol{c}_p^T\boldsymbol{x}\end{pmatrix}\begin{pmatrix}\lambda_1 &0&\cdots&0\\ 0&\lambda_2&\cdots&0\\\vdots &\vdots&&\vdots\\0&0&\cdots&\lambda_p\end{pmatrix}\begin{pmatrix}\boldsymbol{c}_1^T\boldsymbol{x}&\\ \vdots\\ \boldsymbol{c}_p^T\boldsymbol{x}\end{pmatrix}\\&=\sum_{i=1}^p \lambda_i (\boldsymbol{c}_i^T\boldsymbol{x})^2\\& \leq \sum_{i=1}^p\lambda_1(\boldsymbol{c}_i^T\boldsymbol{x})^2\\ &= \lambda_1(\boldsymbol{C}^T\boldsymbol{x})^T(\boldsymbol{C}^T\boldsymbol{x})\\&= \lambda_1\boldsymbol{x}^T\boldsymbol{C}^T\boldsymbol{C}\boldsymbol{x}\\&=\lambda_1\boldsymbol{x}^T\boldsymbol{x}.\end{align}

また同様にして

\begin{align}\boldsymbol{x}^T\boldsymbol{Bx} \geq \lambda_p\boldsymbol{x}^T\boldsymbol{x}\end{align}

も示すことができる。したがって、これら2つの不等式の関係から次の\eqref{eq14}の不等式を導くことができる。

\begin{align}& \lambda_p\boldsymbol{x}^T\boldsymbol{x}\leq \boldsymbol{x}^T\boldsymbol{Bx} \leq \lambda_1\boldsymbol{x}^T\boldsymbol{x}\\& \Leftrightarrow \lambda_p\leq \cfrac{\boldsymbol{x}^T\boldsymbol{Bx}}{\boldsymbol{x}^T\boldsymbol{x}} \leq \lambda_1.\end{align}

次に、\eqref{eq15}を証明する。\eqref{eq7}の\(\boldsymbol{F}\)の逆行列を\(\boldsymbol{G}=\boldsymbol{F}^{-1}\)とし、\(\boldsymbol{G}\)の\(i\)番目の行を\(\boldsymbol{g}_i\)とすると、\(\boldsymbol{x}^T\boldsymbol{Bx}\)に関して、次の不等式が成り立つ。

\begin{align}\boldsymbol{x}^T\boldsymbol{Bx}&= \boldsymbol{x}^T\boldsymbol{G}^T\boldsymbol{DGx}\\&= (\boldsymbol{Gx})^T\boldsymbol{D} (\boldsymbol{Gx})\\&=\sum_{i=1}^p \lambda_i (\boldsymbol{g}_i\boldsymbol{x})^2\\&\leq \lambda_1\sum_{i=1}^p(\boldsymbol{g}_i\boldsymbol{x})^2\\&=\lambda_1 (\boldsymbol{Gx})^T(\boldsymbol{Gx}) \\&= \lambda_1 \boldsymbol{x}^T\boldsymbol{G}^T\boldsymbol{Gx}\\&= \lambda_1 \boldsymbol{x}^T\boldsymbol{Ax}.\end{align}

また同様にして

\begin{align}\boldsymbol{x}^T\boldsymbol{Bx} \geq \lambda_p \boldsymbol{x}^T\boldsymbol{Ax}\end{align}

も示すことができる。したがって、これら2つの不等式から、\eqref{eq15}の不等式が得られた。

\begin{align}&\lambda_p\boldsymbol{x}^T\boldsymbol{Ax} \leq \boldsymbol{x}^T\boldsymbol{Bx}\leq \lambda_1\boldsymbol{x}^T\boldsymbol{Ax} \\&\Leftrightarrow \lambda_p\leq \cfrac{\boldsymbol{x}^T\boldsymbol{Bx}}{\boldsymbol{x}^T\boldsymbol{Ax} }\leq \lambda_1.□\end{align}

\(\boldsymbol{A}^2 = \boldsymbol{A}\)が成り立つとき、正方行列\(\boldsymbol{A}\)は冪等行列という。\(\lambda\)が\(|\boldsymbol{A} -\lambda\boldsymbol{I}|=0\)を満たすとき、\(\lambda\boldsymbol{x} =\boldsymbol{Ax}=\boldsymbol{A}^2\boldsymbol{x}\)であるようなベクトル\(\boldsymbol{x}\neq \boldsymbol{0}\)が存在する。さらに、\(\boldsymbol{A}^2\boldsymbol{x} = \boldsymbol{A}(\boldsymbol{Ax}) = \boldsymbol{A}\lambda\boldsymbol{x} = \lambda^2\boldsymbol{x}\)という等式も得られる。したがって\(\lambda^2 = \lambda\)であり、\(\lambda\)は\(0\)か\(1\)をとる。\(\lambda = 1\)の根の重複度が\(\boldsymbol{A}\)のランクとなる。\(\boldsymbol{A}\)が\(p\times p\)であるとき、\(\boldsymbol{I}_p-\boldsymbol{A}\)はランク\(p-(\mathrm{rank}\ \boldsymbol{A})\)の冪等行列であり、\(\boldsymbol{A}\)と\(\boldsymbol{I}_p-\boldsymbol{A}\)は直交する。\(\boldsymbol{A}\)が対称行列であるとき、次となるような直交行列\(\boldsymbol{O}\)が存在する。

\begin{align}\boldsymbol{OAO}^T=\begin{bmatrix}\boldsymbol{I} & \boldsymbol{0}\\ \boldsymbol{0}& \boldsymbol{0}\end{bmatrix}, \ \ \boldsymbol{O}(\boldsymbol{I}-\boldsymbol{A})\boldsymbol{O}^T\begin{bmatrix} \boldsymbol{0}& \boldsymbol{0}\\ \boldsymbol{0}& \boldsymbol{I}\end{bmatrix},\end{align}

ここに\(\boldsymbol{I}\)の次元は\(\mathrm{rank}\ \boldsymbol{A}\)である。

スポンサーリンク

  • この記事を書いた人
  • 最新記事

usagi-san

統計学とゲームとかをメインに解説していくよ。 数式とかプログラミングコードにミスがあったり質問があったりする場合はコメントで受け付けます。すぐに対応します。

-線形代数
-,

© 2022 ウサギさんの統計学サロン Powered by AFFINGER5