対称行列の固有値・固有ベクトルについて#1

対称行列の固有値の定義やその性質を解説していく。

正方行列\(\boldsymbol{B}\)の固有値は、次の固有方程式の根として定義される。

\begin{align}\label{eq1}|\boldsymbol{B}-\lambda\boldsymbol{I}|=0.\tag{1}\end{align}

英名では、固有値をThe characteristic rootsやlatent rootsやeigenvaluesと呼ぶ。例として、正方行列\(\boldsymbol{B}\)を次で与える。

\begin{align}\boldsymbol{B}=\begin{pmatrix}5&2\\2&5\end{pmatrix},\end{align}

\(\boldsymbol{B}\)に対する固有方程式\eqref{eq1}の左辺は次となる。

\begin{align}\label{eq2}|\boldsymbol{B}-\lambda\boldsymbol{I}|=\begin{vmatrix}5-\lambda & 2\\2&5-\lambda\end{vmatrix}=25-4-10\lambda+\lambda^2=\lambda^2-10\lambda+21.\tag{2}\end{align}

多項式\eqref{eq1}の次数は\(\boldsymbol{B}\)のオーダーとなり、定数項は\(|\boldsymbol{B}|\)である。

\(\boldsymbol{C}^T\boldsymbol{C}=\boldsymbol{I}\)であり、\(\boldsymbol{CC}^T=\boldsymbol{I}\)であるとき、行列\(\boldsymbol{C}\)は直交行列であるという。ベクトル\(\boldsymbol{x}^T=(x_1, \ldots, x_p)\)、\(\boldsymbol{y}^T=(y_1, \ldots, y_p)\)を\(p\)次元ユークリッド空間上の2つの座標とする。これら2点間の距離は\(D(\boldsymbol{x},\boldsymbol{y})=(\boldsymbol{x}-\boldsymbol{y})^T(\boldsymbol{x}-\boldsymbol{y})\)である。\(\boldsymbol{z}=\boldsymbol{Cx}\)の変換は、\(p\)次元ユークリッド空間上での座標軸の変換であると考えられる。\(\boldsymbol{C}\)が直交行列であるとき、変換は等長写像となる。すなわち

\begin{align}D(\boldsymbol{Cx}, \boldsymbol{Cy}) &= (\boldsymbol{Cy}-\boldsymbol{Cx})^T(\boldsymbol{Cy}-\boldsymbol{Cx})\\&= (\boldsymbol{y}-\boldsymbol{x})^T\boldsymbol{C}^T\boldsymbol{C}(\boldsymbol{y}-\boldsymbol{x})\\&=(\boldsymbol{y}-\boldsymbol{x})^T(\boldsymbol{y}-\boldsymbol{x})\\\label{eq3}&=D(\boldsymbol{x}, \boldsymbol{y}).\tag{3}\end{align}

三角形の角度は、それらの辺の長さで決まるので、\(\boldsymbol{z}=\boldsymbol{Cx}\)の変換に関し、角度は不変である。つまり、直交変換は座標軸を回転させる射影と考えられる。\(\sqrt{\boldsymbol{x}^T\boldsymbol{x}}\)を\(\|\boldsymbol{x}\|\)と表記する。

定理1　スぺクトル分解

任意の対称行列が与えられているとする。このとき次を満たす直交行列\(\boldsymbol{C}\)が存在する。\begin{align}\label{eq4}\boldsymbol{C}^T\boldsymbol{BC} = \begin{pmatrix}d_1 & 0& \cdots&0\\0&d_2&&0\\\vdots &\vdots&&\vdots\\0&0&\cdots&d_p\end{pmatrix}.\tag{4}\end{align}\(\boldsymbol{B}\)が半正定値行列であるとき、\(d_i \geq0, i=1, \ldots, p\)であり、\(\boldsymbol{B}\)が正定値行列であるとき、\(d_i>0, i=1,\ldots,p\)である。

証明　\(1\times1\)行列の場合、自明である。\((p-1)\times(p-1)\)行列のとき\(\boldsymbol{C}_{p-1}^T\boldsymbol{B}_{p-1}\boldsymbol{C}_{p-1}=\boldsymbol{D}_{p-1}\)を仮定し、\(p\times p\)行列の場合を示す。グラムシュミットの直交化法により、\(\boldsymbol{C}_p\)を含む\(p\)次元列ベクトルを構成することが可能である。ここで、\(\boldsymbol{E}\)を\(\boldsymbol{C}_p\)に含まれない列ベクトルから成る\(p\times (p-1)\)直交行列とする。このとき、\(\boldsymbol{B}_p\)が対称行列であることから、\((\boldsymbol{E}^T\boldsymbol{B}_p\boldsymbol{E})^T=\boldsymbol{E}^T\boldsymbol{B}_p^T\boldsymbol{E} = \boldsymbol{E}^T\boldsymbol{B}_p\boldsymbol{E}\)が成り立ち、これは\(\boldsymbol{E}^T\boldsymbol{B}_p\boldsymbol{E}\)が\(p\times p\)対称行列であることを意味する。また、\((p-1)\times(p-1)\)対称行列のときに、\(\boldsymbol{E}^T\boldsymbol{B}_p\boldsymbol{E}\)の固有値を対角成分にもつ対角行列\(\boldsymbol{F}\)と、\(\boldsymbol{P}^T\boldsymbol{E}^T\boldsymbol{B}_p\boldsymbol{E}\boldsymbol{P} = \boldsymbol{F}\)を満たす\((p-1)\times(p-1)\)直交行列\(\boldsymbol{P}\)が存在する。ここで\(p\times(p-1)\)行列\(\boldsymbol{Q}=\boldsymbol{EP}\)を定義する。\(\boldsymbol{E}\)と\(\boldsymbol{P}\)が直交行列であるので、\((\boldsymbol{EP})^T\boldsymbol{EP}=\boldsymbol{I}\)が成り立つ。次に、最初の列を\(\boldsymbol{C}_p\)の任意の列ベクトルであり、残りの行が\(\boldsymbol{Q}\)である\(p\times p\)行列\(\boldsymbol{G}\)を定義する。\(\boldsymbol{G}\)は次のような行列である。\begin{align}\boldsymbol{G}=\begin{pmatrix}\boldsymbol{c}_i^{(p)} & \boldsymbol{Q}\end{pmatrix}, i=1, \ldots, p\end{align}この行列\(\boldsymbol{G}\)が直交行列であることを示す。\(\boldsymbol{E}\)の定義より、\(\boldsymbol{E}\)の列ベクトルは\(c_i^{(p)}\)の直交補空間に含まれる。したがって次が成り立つ。

\begin{align}\boldsymbol{G}^T\boldsymbol{G}&= \begin{pmatrix}\boldsymbol{c}_i^{(p)^T} \\ \boldsymbol{Q}^T\end{pmatrix}\begin{pmatrix}\boldsymbol{c}_i^{(p)} & \boldsymbol{Q}\end{pmatrix}\\&=\begin{pmatrix}\boldsymbol{c}_i^{(p)^T}\boldsymbol{c}_i^{(p)} & \boldsymbol{c}_i^{(p)^T}\boldsymbol{Q}\\ \boldsymbol{Q}\boldsymbol{c}_i^{(p)} & \boldsymbol{Q}^T\boldsymbol{Q}\end{pmatrix}\\&= \begin{pmatrix}1 & (\boldsymbol{c}_i^{(p)^T}\boldsymbol{E})\boldsymbol{P}\\\boldsymbol{P}^T (\boldsymbol{E}^T\boldsymbol{c}_i^{(p)}) & \boldsymbol{I}\end{pmatrix}\\&=\boldsymbol{I}.\end{align}

よって、\(\boldsymbol{G}\)が直交行列であることが示せた。また、

\begin{align}&\boldsymbol{P}^T\boldsymbol{E}^T\boldsymbol{B}_p\boldsymbol{E}\boldsymbol{P} = \boldsymbol{F}\\&\Leftrightarrow \boldsymbol{E}^T\boldsymbol{B}_p\boldsymbol{E}=\boldsymbol{PF}\boldsymbol{P}^T\end{align}

であることから

\begin{align}\boldsymbol{Q}^T\boldsymbol{B}_p\boldsymbol{Q}&= (\boldsymbol{EP})^T\boldsymbol{B}_p(\boldsymbol{EP})\\&=\boldsymbol{P}^T(\boldsymbol{E}^T\boldsymbol{B}_p\boldsymbol{E})\boldsymbol{P}\\&=\boldsymbol{P}^T(\boldsymbol{PF}\boldsymbol{P}^T)\boldsymbol{P}\\&= \boldsymbol{F}\end{align}

が成り立つ。次に、\(\boldsymbol{Q}^T\boldsymbol{B}_p\boldsymbol{c}_i^{(p)}=\boldsymbol{c}_i^{(p)T}\boldsymbol{B}_p\boldsymbol{Q}=\boldsymbol{0}\)であることを示す。

\begin{align}\boldsymbol{Q}^T\boldsymbol{B}_p\boldsymbol{c}_i^{(p)})^T = \boldsymbol{c}_i^{(p)T}\boldsymbol{B}_p^T\boldsymbol{Q} = \boldsymbol{c}_i^{(p)T}\boldsymbol{B}_p\boldsymbol{Q}\end{align}

であるので、\(\boldsymbol{Q}^T\boldsymbol{B}_p\boldsymbol{c}_i^{(p)}=\boldsymbol{0}\)を示せばよい。\(\boldsymbol{E}^T\boldsymbol{c}_i^{(p)}=\boldsymbol{0}\)であることと、\(\boldsymbol{C}_p^T\boldsymbol{B}_p\boldsymbol{C}_p = \boldsymbol{D}_p\Leftrightarrow \boldsymbol{B}_p\boldsymbol{c}_i^{(p)}=d_ic_i^{(p)}, i = 1, \ldots, p\)が成り立つので

\begin{align}\boldsymbol{Q}^T\boldsymbol{B}_p\boldsymbol{c}_i^{(p)} &= \boldsymbol{Q}^Td_i\boldsymbol{c}_i^{(p)} \\&=d_i(\boldsymbol{EP})^T\boldsymbol{c}_i^{(p)}\\&= d_i\boldsymbol{P}^T(\boldsymbol{E}^T\boldsymbol{c}_i^{(p)})\\&=\boldsymbol{0}\end{align}

が示せた。今

\begin{align}\boldsymbol{G}^T\boldsymbol{B}_p^T\boldsymbol{G}&= \begin{pmatrix}\boldsymbol{c}_i^{(p)T} \\\boldsymbol{Q}^T\end{pmatrix}\boldsymbol{B}_p\begin{pmatrix}\boldsymbol{c}_i^{(p)} & \boldsymbol{Q}\end{pmatrix}\\&= \begin{pmatrix}\boldsymbol{c}_i^{(p)T}\boldsymbol{B}_p\boldsymbol{c}_i^{(p)} & \boldsymbol{c}_i^{(p)T}\boldsymbol{B}_p\boldsymbol{Q}\\\boldsymbol{Q}^T\boldsymbol{B}_p\boldsymbol{c}_i^{(p)} & \boldsymbol{Q}^T\boldsymbol{B}_p\boldsymbol{Q}\end{pmatrix}\\&= \begin{pmatrix}d_i& \boldsymbol{0}\\\boldsymbol{0} & \boldsymbol{F}\end{pmatrix}\end{align}

が成り立ち、これは\(\boldsymbol{C}_p^T\boldsymbol{B}_p\boldsymbol{C}_p = \boldsymbol{D}_p\)であることを意味する。したがって、この定理が示せた。□

\(|\boldsymbol{C}T\boldsymbol{C}| =| \boldsymbol{I}|\Leftrightarrow |\boldsymbol{C}|^2 = 1\Leftrightarrow |\boldsymbol{C}| = 1\)なので、\(\boldsymbol{C}\)による直交変換の下での固有方程式\eqref{eq1}は次となる。

\begin{align}0&=|\boldsymbol{C}^T|\cdot|\boldsymbol{B}-\lambda\boldsymbol{I}|\cdot|\boldsymbol{C}| \\&= |\boldsymbol{C}^T(\boldsymbol{B}-\lambda\boldsymbol{I})\boldsymbol{C}|\\&=|\boldsymbol{C}^T\boldsymbol{BC}-\lambda\boldsymbol{I}|\\&=|\boldsymbol{D}-\lambda\boldsymbol{I}|\\&=\begin{vmatrix}d_1-\lambda & 0&\cdots & 0\\0&d_2-\lambda& \cdots&0\\\vdots &\vdots&&\vdots\\0&0&\cdots&d_p-\lambda\end{vmatrix}\\&=\prod_{i=1}^p(d_i-\lambda).\end{align}

したがって、\(\boldsymbol{B}\)の固有値は、スペクトル分解した際の対角行列\(\boldsymbol{D}\)の対角成分である。

対称行列の固有値・固有ベクトルについて#1

定理1 スぺクトル分解

定理1　スぺクトル分解