※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。
* * *
前回の終わりに、相関係数が1である相関行列の性質を概観しました。
$$C=\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}$$
この行列の固有値は $\lambda_1=2$、$\lambda_2=0$ ですので、行列式は0です。
$$det(C)=\lambda_1\lambda_2=2\times 0=0$$
行列式の逆数は、私たち文系の範囲では計算不能になります。行列式の逆数を係数として持つ逆行列も計算不能になります。今回はそのような場面で登場する重要な用語であるSpan、Kernel、Rankを紹介します。
* * *
Span
傘 ☂️ を思い浮かべてください。骨組みに防水布が張られています。傘の骨すべてが平行に重なっていたらどうでしょうか。防水布を張りようがなくなります。これでは傘を作れません。防水布が張れて、雨をしのげるように、傘の骨は放射線状に広がっています。
下図は緑のベクトル $(3, 1)$ とオレンジのベクトル $(2, 4)$ が平面を張る（Spanする）ようすを表しています。①は、緑とオレンジのベクトルで張られる三角形様の領域です。（便宜上、緑の三角の底辺に当たる部分に線を入れていますが、これは右上に無限に伸びるとてつもなく大きな三角形のようなものと考えてください。）
①だけでは、左上、左下、右下からの雨を防げませんので、傘になりません。では、緑とオレンジのベクトルは平面を張るのに不十分かというとそうではありません。ベクトルにマイナスのスカラーを掛ける（たとえば $-2$ 倍する）と逆向きのベクトルになります。②は、オレンジのベクトルはそのままに、緑のベクトルに $-1$ を掛けたベクトルが張る平面部分です。
同様に、③は緑とオレンジのベクトル両方に $-1$ を掛けたベクトルが張る平面部分、④は緑のベクトルはそのままに、オレンジのベクトルに $-1$ を掛けたベクトルが張る平面部分です。①から④まであわせると、平面全体になります。これを、緑とオレンジのベクトルが張る（Spanする）平面といいます。
* * *
次元の縮約再訪
下図に示した緑の実線ベクトルに相関係数1の相関行列を働きかけると緑の点線ベクトルになります。終点の座標は、以下の計算から $(4, 4)$ です。
$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 3 \\ 1\end{pmatrix}=\begin{pmatrix} 4 \\ 4\end{pmatrix}$$
同様に、オレンジの実線ベクトルの終点の座標は $(2, 4)$ です。このベクトルに相関係数1の相関行列を働きかけるとオレンジの点線ベクトルになります。終点の座標は $(6, 6)$ です。
$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 2 \\ 4\end{pmatrix}=\begin{pmatrix} 6 \\ 6\end{pmatrix}$$
実は、座標平面上のすべての点（平面そのもの）に、相関係数1の相関行列を働きかけると、その行き先はみな45°線上の点になります。つまり相関係数が1の相関行列は平面を消滅させるとんでもない力を持っています。以前の記事の言葉を使って表現すると、相関係数が1の相関行列は、次元を縮約する力を持つということになります。
一般に、2×2行列が次元を縮約する力を持つのは、固有値の積が0のときであり、行列式が0のときであり、逆行列が計算不能に陥るときです。
$det(A)=0$（$\lambda_1\lambda_2=0$）には、平面を消滅させる魔力がある。
（用語が少しややこしいのですが、平面を張れる平行ではないベクトルを1次独立といい、この節でみたような平面を張れない平行なベクトルを1次従属といいます。）
RankとKernel
相関係数が1のとき、相関行列の固有値は $\lambda_1=2$、$\lambda_2=0$ になります。$\lambda_2$ とこれに対応する固有ベクトル $(1, -1)$ を固有値・固有ベクトルの定義式に代入すると
$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 1 \\ -1\end{pmatrix}=0\begin{pmatrix} 1 \\ -1\end{pmatrix}$$
右辺を整理すると
$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 1 \\ -1\end{pmatrix}=\begin{pmatrix} 0 \\ 0\end{pmatrix}$$
これは、連立方程式
$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} x \\ y\end{pmatrix}=\begin{pmatrix} 0 \\ 0\end{pmatrix}$$
の解が
$t\begin{pmatrix} 1 \\ -1\end{pmatrix}$ （$t$ は任意定数）
であることを意味します。方程式の解となるベクトル $(1, -1)$ 方向の広がりが、もう1つのベクトル $(1, 1)$ が張る直線に完全に飲み込まれて消滅することから零空間（Null Space）とか行列の核（Kernel）といいます。$(1, -1)$ 方向の傘の骨が突然消滅し、防水布を張れなくしまうようなものです。
前回の終わりにみたように、固有値が0であるとき、方程式に多重共線性が発生して、方程式の事実上の本数が少なくなります。これをRank落ちと言ったりします。相関係数が1であるとき、相関行列の固有値の1つが0となり、行列の階数（Rank）は1となります。
一般に、$n\times n$ の正方行列 $A$ について
$0$となる固有値の数$=dim(ker(A))=n-rank(A)$
ここで $dim(.)$ は次元の数を、$ker(A)$ は行列 $A$ の核を、$rank(A)$ は行列のランクを表します。右の等式を $n$ について解いた下式を次元定理といいます。
$$n=dim(ker(A))+rank(A)$$
行列は、消えるものと消えないものに分割できます。