※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。
* * *
前回、Spanの説明をするときに次のようなグラフを用いました。緑とオレンジの基底ベクトルが平面を張っています。
ただ、グラフをよくみると、緑のベクトルが原点から伸びるとき、それと似た方向にオレンジのベクトルも伸びます。緑のベクトルにはオレンジの成分が混じり、オレンジのベクトルには緑の成分が混じってしまっています。
線型代数では、成分が混濁していることを、大地に見立てたベクトルに、もう1つのベクトルの影が差すと文学的に表現します。ちょうど夏至の正午、北回帰線上では真上から陽があたります。このときオレンジのベクトルの影が緑の大地に差します。
今回は、この影をなすベクトル（射影ベクトル）とオレンジベクトルを射影ベクトルに変換する操作（射影行列）について考えます。（数学の言葉では、内積空間の射影作用素になるでしょうか…）
* * *
射影行列
上の図表には、緑のベクトルに対して真上から照りつけるお日様によって、オレンジのベクトルの影ができています。影として緑のベクトルに投影される灰色のベクトルのことを射影ベクトルといいます。そして、オレンジのベクトルを灰色のベクトルに変換する行列を射影行列といいます。
影が差す大地のベクトルを $a$ とおくと、射影行列 $P$ は
$$P=a a^T(a^T a)^{-1}$$
ここで、$a^T$ はベクトル$a$ の転置です。$a$ は列ベクトルですので、転値をした $a^T$ は行ベクトルになります。$a$ がたくさんあって何が起きているのかみづらいので、数値例で考えましょう。影が差す大地のベクトルは
$$a=\begin{pmatrix} 3 \\ 1\end{pmatrix}$$
これを上の公式に代入してていねいに計算します。
$$P=\begin{pmatrix} 3 \\ 1\end{pmatrix}\begin{pmatrix} 3 & 1\end{pmatrix}\Biggl(\begin{pmatrix} 3 & 1\end{pmatrix}\begin{pmatrix} 3 \\ 1\end{pmatrix}\Biggr)^{-1}$$
$$P=\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}10^{-1}$$
$$P=\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}$$
この射影行列を用いて、オレンジのベクトル $(2, 4)$ の射影ベクトルを求めてみましょう。
$$\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}\begin{pmatrix} 2 \\ 4 \end{pmatrix}=\frac{1}{10}\begin{pmatrix} 30 \\ 10 \end{pmatrix}=\begin{pmatrix} 3 \\ 1 \end{pmatrix}$$
射影ベクトルの終点の座標は、図表のとおり $(3, 1)$ であることが確かめられました。
射影行列の定義
射影行列（$P$）には次の2つの性質があります。
- 射影行列の転置行列は射影行列に等しい：$P^T=P$
- 射影行列の積（2乗）は射影行列に等しい：$P^2=P$
前節の数値例
$$P=\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}$$
を用いてそれぞれ成り立つか調べてみます。まず転置についてですが、右上の要素と左下の要素が同じですので、明らかに $P^T=P$ です。つづいて、2乗についてみます。これは計算してみないとわかりません。
$$P^2=\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}$$
係数の $\frac{1}{10}$ が2つありますのでまとめます。
$$P^2=\frac{1}{100}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}$$
行列の掛け算をします。
$$P^2=\frac{1}{100}\begin{pmatrix} 90 & 30 \\ 30 & 10\end{pmatrix}$$
数が大きくなって収拾つかない感じもしますが、係数の分母も大きいです。行列の各要素を10で割ると
$$P^2=\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}=P$$
$P^2=P$ が成り立つことがわかりました。射影行列の定義はとても不思議ですね。
内積による射影の表現
上の図表を再掲します。内積という概念を用いると、オレンジのベクトルと大地のベクトルから射影ベクトルを求めることができます。私たちにとって、内積とは成分どうしを掛けて足す積和のことです。オレンジのベクトルを $\mathbf{o}$、大地のベクトルを $\mathbf{g}$、内積を $\langle , \rangle$ とおくと、射影ベクトルは
$$\frac{\langle \mathbf{o}, \mathbf{g}\rangle}{\langle \mathbf{g}, \mathbf{g}\rangle}\mathbf{g}$$
数値を代入して計算すると
$$\frac{2\times 3+4\times 1}{3^2+1^2}\begin{pmatrix}3 \\ 1 \end{pmatrix}=\frac{10}{10}\begin{pmatrix}3 \\ 1 \end{pmatrix}=\begin{pmatrix}3 \\ 1 \end{pmatrix}$$
確かに射影ベクトルが得られました。
得られた射影ベクトルが照りつける日差しのベクトルと直交することを確かめましょう。オレンジのベクトルとその影である灰色のベクトルの差は、オレンジの終点を始点、灰色の終点を終点とするベクトルになります。つまり、 "お日様ベクトル" は
$$\begin{pmatrix} 2 \\ 4 \end{pmatrix}-\begin{pmatrix} 3 \\ 1 \end{pmatrix}=\begin{pmatrix} -1 \\ 3 \end{pmatrix}$$
もし射影ベクトルがこのお日様ベクトルと直交するのであれば内積は0になるはずです。計算してみましょう。
$$\begin{pmatrix} -1 \\ 3 \end{pmatrix}\cdot\begin{pmatrix} 3 \\ 1 \end{pmatrix}=-3+3=0$$
射影ベクトルはお日様ベクトルと直交することが確かめられました。この辺りの詳細は、志賀浩二『固有値問題30講』数学30講シリーズ, 朝倉書店, pp.76-77を参照してください。
* * *
射影行列と相関係数が1である相関行列は似ているようにみえます。ここで違いを確認しておきます。
- 射影行列：平面に散らばるベクトルを、大地のベクトル（が張る直線）への影に落とし込む操作
- 相関行列：45°線上を終点とするベクトルの観測値
とても単純に言ってしまうと、ばらついたものを大地に落とし込むのが射影行列、はじめから45°線に乗っているベクトルの観測値が相関行列です。