数学の学びかた（自作カリキュラム）

※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。

*  *  *

今回は少し趣向を変えて、数学の学びかたについて書きます。私は数学者ではないので、「こんなふうに教えてもらえたら、もう少し前向きに学べていたかな…」という感じのことを書きます。

*  *  *

ある先生の論考を拝見しまして、昨今は大学の教育も大変だなと感じました（意見ではないです…）。ただ、大学入学まで「考えないこと」を教えられてきた学生さんに、突然「考えなさい」と言ってもなかなか難しいと思います（論考に登場する学生さんは、少なくとも私より数学の知識が豊富で素養があると思います）。

高校のカリキュラムには、あまりに多くの分野が詰め込まれています。2022年度以降のカリキュラムでは、学期ごとなのでしょうか、6つも科目があります。

• 数学Ⅰ：数、式、2次関数、データ分析など
• 数学A：図形、場合の数、確率など
• 数学Ⅱ：方程式、指数、対数、三角関数など
• 数学B：数列、推測統計、社会への応用など
• 数学Ⅲ：極限、微分、積分など
• 数学C：ベクトル、複素平面など

大学数学の見地からみると、高校の3年間でこれらすべてをカバーするのは明らかに不可能です。統計学ぽいものまで入っています。このカリキュラムでは、理学部数学科の学生でもパンクしてしまうのではないでしょうか…

こちらに小学校からの学びチャートがありますが、これも複雑です。これだけ複雑なカリキュラムをこなしながら、来し方行く末に想いを馳せるのは、大人でも大変です。

このカリキュラムをこなせるのは、考えるのをやめ、解法をパズル化して暗記する人だけだと思います。そういう人に限って計算能力を数学の素養と勘違いして理学部に進学し、大変な思いをするのではないでしょうか。このカリキュラムで学ばせておいて「数学嫌いが減らない」と言われても当然です。数学がわからない人が文系に進むといわれますが、むしろ「難し過ぎて数学を諦めた」という生徒のほうが数学を深く理解しているようにすら感じます。

高校の数学の先生も大変だと思います。素養・理解・意欲の差が大きい生徒たちを前に、とてつもなく多くの概念を総花的にごくわずか触れるだけ、あとは大学入試対策の計算、計算ですので、数学の楽しさを教える時間など全く取れないのではないでしょうか…

文系の私が書くのもなんですが、昨今の数学教育は国立大医学部、理系の入試対策に明け暮れ、深みも広がりもないように感じます。どこにもつながらない袋小路の重箱の隅をつつくことに、10代後半の人生で一番よい時期を浪費しているのをみるのは忍びないです。

*  *  *

自分なりに何本か記事を書いてきて、「こんなカリキュラムなら文系も数学を楽しんで学べるかもしれない…」と感じています。以下、遊び感覚で高校のカリキュラム案として書いてみます。数学とは「どこで何をするか」です。

1年次

前期：線型代数（まずは小高い丘に登って数学という街を眺める）

数直線と座標平面

• 数直線上の足し算、引き算（ベクトルの連結）
• 数直線上の掛け算、割り算（ベクトルの伸縮）
• 実数平面上の足し算、引き算
• 実数平面上の掛け算、割り算
• 方眼紙にベクトルを描く

2×2行列によるベクトルへの働きかけ

• 回転行列（三角定規の角度のみ）
• 相関行列（相関係数は紹介のみ）
• その他の2×2行列（0、±1を4要素に持つ行列）
• 行列式（平行四辺形の倍率）
• 方眼紙に行列による変換を描く

発展的な内容

• 三角比（三角定規の角度のみ）
• 三角定規以外の角度（分度器、ラジアン表記）
• 直交座標と極座標（2とおりの表現法）
• 方眼紙にコンパスで円を描く（実数平面↔︎複素平面）

後期：固有値（向きと強さへの二極分解）

相関行列の固有値

• 相関行列の固有ベクトルと固有値
• 固有値分解の意味（向きと強さ）
• 固有値の和と積（トレースと行列式）
• ケーリー＝ハミルトンの定理
• 方眼紙に固有ベクトルと固有値を描く

回転行列の固有値

• 回転行列の固有ベクトル、固有値（$e^{i\theta}$）
• 逆回転（$e^{-i\theta}$）
• ド・モアブルの定理（加法定理、倍角公式）
• 複素平面、テーラー展開（紹介だけ）

連立1次方程式への応用

• 行列式の復習
• 余因子と逆行列
• 連立1次方程式（カーネル）
• 解の不定と不能（掃き出し法、ランク、行列式=0）

発展的な内容

• 可換と非可換（n×m行列の紹介だけ）
• 内積（積和、直交条件、分散の導入）
• 中線定理（内積＝ノルム＋中線定理）
• コーシー＝シュワルツの不等式（射影、$\cos\theta$、相関係数）

2年次

前期：集合論（「どこで」の話）

数

• 閉じているとは
• 自然数（足し算、掛け算）
• 整数（引き算）
• 有理数（割り算、分数）
• 無理数（ルート、π、e）
• 有理数から実数へ（カントール集合）
• 複素数（マイナスの掛け算、$e^{i\pi}=i^2=-1$ ）
• 単位元、零元、逆元
• 集合の和、差、積、補集合、排他的論理和
• 最小、最大、上限、下限
• 整列、順序、全順序、切片

発展的な内容

• 実数の連続性・稠密性（デデキント切断）
• 商集合（割り算の余りによるグループ分け）
• 合同式と漸化式（乱数、暗号への応用紹介）
• 2進数（コンピューターサイエンスの紹介）
• 場合の数と確率（紹介だけ）

後期：写像と関数（「何をするか」の話）

写像

• 定義域と値域
• 単射、全射
• 全単射、逆写像、恒等写像
• 濃度

基礎的な関数

• 1次関数と直線の対応
• 2次関数と曲線の対応
• 3次関数と曲線の対応
• 方眼紙にグラフを描く
• 2次関数の解の公式
• 判別式（固有値再訪）
• 係数と解の関係（ケーリー＝ハミルトンの定理再訪）

発展的な関数

• 指数関数、対数関数と曲線の対応
• 三角関数と曲線の対応
• 距離（三平方の定理、点と直線、射影再訪）
• 円、楕円
• 方眼紙に様々な関数を描く

3年次

前期：微分（解析の導入）

微分

• $\pm\infty$ とは
• 極限、収束、発散、振動
• 連続、不連続
• ε-n論法
• ε-δ論法
• 微分の公式
• n次関数の微分
• 指数関数の微分
• ネイピア数を底とする指数関数の微分
• ネイピア数を底とする対数関数の微分

発展的な内容

• 積分（関数と横軸を挟む面積として）
• 測度論（一様分布と正規分布を例に）

後期：プログラミング（学んだことを使えるように）

プログラミングの初歩

• 簡単な計算
• 簡単な描画
• マクローリン展開、テイラー展開（$e^{R(\theta)}$の展開）
• プログラミングが扱える数（整数、float、double）
• 記述統計（平均、分散、標準偏差、共分散、相関係数）
• 二項分布、一様分布、正規分布
• 主成分分析
• 乱数

大学での学びに向けて

• 推測統計の紹介
• 深層学習、AI
• 大学数学の地図

*  *  *

このようなカリキュラムであれば、大学の学びへシームレスにつながります。大学受験が障害物ではなく、ロイター坂になります。（私は文系ですので、各分枝の右端の分野は名称を聞いたことがあるだけですが…）

・線型代数 → 大学レベルの線型代数 → 群論へ
・固有値 → 作用素、固有空間へ
       　　→ ノルム空間 → バナッハ空間へ
　　 　　→ 内積空間 → ヒルベルト空間へ
・集合論 → 大学レベルの集合論 → 位相へ

・写像、積分 → 測度論、ルベーグ積分、確率論へ

・関数、微分 → 解析、微分方程式へ

・記述統計、乱数 → 統計学、整数論、シミュレーションへ
・プログラミング → コンピューターサイエンスへ

「高校数学のどこまで戻ればいいかわかりません」と学生さんから聞かれても、現状のまぜこぜカリキュラムでは答えようがないです…　上表のように高校から大学へシームレスにつながるカリキュラムであれば、戻るべき場所をすぐ答えられます。

はじめに回転行列を学んでおけば、$i^2=-1$ も「90°回転を×2だから」と一目瞭然です。反対に、極限の概念を飛ばして微分の定義式を出されてもほとんどの生徒はわからないでしょうし、測度論を飛ばして積分や確率を導入するのもつらいです。不定積分、ガウス積分、ガンマ分布、各種収束、大数の法則、中心極限定理なしで推測統計というのも手順前後ではないでしょうか。

*  *  *

コンピューター時代になって久しいので、あまり細かい計算にこだわらず、「これはこういう物語です」という概念説明のほうが親切だと思います。手を動かす際にも、計算だけでなく方眼紙やパソコンで描くことも取り入れると、より多くの人に興味を持ってもらえますし、深みや広がりを実感してもらえます。

高校生に度を超えた厳密性や抽象性、煩雑な計算を求めても詮ないです。細かい話はさておき、まず小高い丘に登り、「これまで暮らしてきた街はこんな構造になっているのか」「あの道とこの道はこのようにつながっているのか」「行きつけの店にいく近道が見つかった」などと数学という街の眺望を楽しむことで十分です。線型代数は大半の生徒が登れて、ある程度見晴らせる、ちょうどよい高さの丘だと思います。

分散共分散行列

※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。

*  *  *

前回まで、相関行列についてさまざまな角度から検討してきました。実際のデータを用いた実証分析についてはこちらの動画を参照してください（随分前に作成したものですので音が小さいです…）。

実証分析では、単位の影響を受けない相関係数ではなく、長さの単位（m）、重さの単位（kg）、お金の単位（万円）など、単位のついたデータを扱います。こうした単位を残したままデータどうしの関係をみるとき、相関係数ではなく共分散という統計量を用います。今回は単位のあるデータどうしの関係を表す分散共分散行列についてみることにします。

*  *  *

分散共分散行列

これまで繰り返し用いてきた相関行列を再掲します。

$$C=\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}$$

右上と左下の要素である相関係数は共分散を用いて次のように表記できます。（ここまで学んだように、相関係数$=cos\theta$であり、コーシー＝シュワルツの不等式であり、固有値・固有ベクトル・トレース・行列式と深く関わるものでもありますが…）

$$\rho=\frac{cov_{1,2}}{\sigma_1\sigma_2}$$

ここで、分母の $\sigma_1$ と$\sigma_2$ はそれぞれ変数1と変数2の変動を捉える標準偏差、分子の $cov_{1,2}$ は2つの変数がどれほどともに動くかを表す共分散です。（分散と共分散について不案内な人は、次の動画をご覧ください。第4回分、第7回分）

相関行列と変数の標準偏差の情報が与えられれば、相関行列の左右から標準偏差行列を掛けるだけで、分散共分散行列が得られます。まず、標準偏差行列を作成しましょう。2変数の標準偏差を $\sigma_1$、$\sigma_2$ とすると、標準偏差行列は 

$$S=\begin{pmatrix} \sigma_1 & 0 \\ 0 & \sigma_2 \end{pmatrix}$$

この行列を左右から相関行列に掛けます。その際、相関係数を上で示した分数表記しておきます。

$$SCS=\begin{pmatrix} \sigma_1 & 0 \\ 0 & \sigma_2 \end{pmatrix}\begin{pmatrix} 1 & \frac{cov_{1,2}}{\sigma_1\sigma_2} \\ \frac{cov_{1,2}}{\sigma_1\sigma_2} & 1 \end{pmatrix}\begin{pmatrix} \sigma_1 & 0 \\ 0 & \sigma_2 \end{pmatrix}$$

まず、左の2つの行列を掛けます。

$$SCS=\begin{pmatrix} \sigma_1 & \frac{cov_{1,2}}{\sigma_2} \\ \frac{cov_{1,2}}{\sigma_1} & \sigma_2 \end{pmatrix}\begin{pmatrix} \sigma_1 & 0 \\ 0 & \sigma_2 \end{pmatrix}$$

つづいて、計算結果と右の行列を掛けます。

$$SCS=\begin{pmatrix} \sigma_1^2 & cov_{1,2} \\ cov_{1,2} & \sigma_2^2 \end{pmatrix}$$

行列で共分散を表記するとき添え字を {行, 列} と書く慣わしですので、左下の共分散を $cov_{21}$ に書き換えます。私 🙎‍♂️ とあなた 🙎‍♀️ の関係は、あなた 🙎‍♀️ と私 🙎‍♂️ の関係と同じです。同じ関係の言い換えにすぎません。変数1と変数2の関係は変数2と変数1の関係と同じです。添え字の表記を入れ替えても値は変わりません（ $cov_{12}=cov_{21}$）。

$$SCS=\begin{pmatrix} \sigma_1^2 & cov_{1,2} \\ cov_{2,1} & \sigma_2^2 \end{pmatrix}$$

これで分散共分散行列ができました。

*  *  *

スケールの影響

分散共分散行列はデータの単位に影響を受けます。冒頭に紹介した動画で説明しているように、データを小数点表記するかパーセント表記するかだけで共分散の値は $100^2$、すなわち1万倍違います。見込み客100人あたりの購入率（コンバージョン率）が10人であれば、見込み客と商品の売れ行きデータに10倍のスケールで違いが出るかもしれません。また、電車通学に利用する駅間の距離と通学定期の料金であれば、データの計測単位がkmと円という異なる単位になります。

実際のデータを取り扱うときには、このようなことに気を遣わなければなりません。この点について数値例で考えましょう。$\sigma_1=10$、$\sigma_2=2$ とします。このとき、共分散は

$$\rho=\frac{cov_{1,2}}{\sigma_1\sigma_2}$$

$$\rho=\frac{cov_{1,2}}{10\times 2}$$

$$cov_{1,2}=20\rho$$

すると、分散共分散行列は次のようになります。

$$SCS=\begin{pmatrix} 100 & 20\rho \\ 20\rho & 4 \end{pmatrix}$$

この行列の固有値 $\lambda$ は

$$det\begin{pmatrix} 100-\lambda & 20\rho \\ 20\rho & 4-\lambda \end{pmatrix}=\bf{0}$$

の解です。固有方程式にすると

$$(100-\lambda)(4-\lambda)-(20\rho)^2=0$$

展開して整理すると（ケーリーハミルトンの定理）

$$\lambda^2-(100+4)\lambda+400-400\rho^2=0$$

$$\lambda^2-(100+4)\lambda+(100\times4)(1-\rho^2)=0$$

解の公式を使って $\lambda$ を求めると（途中の式は略します） 

$$\lambda=52\pm 2\sqrt{100\rho^2+24^2}$$

たとえば

• $\rho=0$ のとき、$\lambda_1=100, \lambda_2=4$
• $\rho=0.2$ のとき、$\lambda_1, \lambda_2=52\pm 4\sqrt{145}$
• $\rho=0.4$ のとき、$\lambda_1, \lambda_2=52\pm 8\sqrt{37}$
• $\rho=0.6$ のとき、$\lambda_1, \lambda_2=52\pm 12\sqrt{17}$
• $\rho=0.8$ のとき、$\lambda_1, \lambda_2=52\pm 16\sqrt{10}$
• $\rho=1$ のとき、$\lambda_1=104, \lambda_2=0$

となります。ちなみに $\lambda_j (j=1, 2)$に対応する固有ベクトルは

$$v_j=\frac{1}{\sqrt{(20\rho)^2+(100-\lambda_j)^2}}\begin{pmatrix} 20\rho \\ 100-\lambda_j \end{pmatrix}$$

相関行列のときは比較的計算しやすかったですが、分散共分散行列になると、2×2行列であるにも関わらず計算が相当煩雑になります。これが3×3になると… という感じです。

*  *  *

下図は、$\rho=0$のときの分散共分散行列を視覚化したものです。「単位円の行き先」の記事で示した相関行列の散布図は半径1の単位円（真円）でしたが、分散共分散行列の散布図は2つの変数の変動が標準化されていないので真円にならず、楕円になります。楕円の長半径（横半径）は $\sigma_1^2=100$ を反映して100、短半径（縦半径）は $\sigma_2^2=4$ を反映して4です。赤い線は分散共分散行列の固有ベクトルの向きを表しています。

 

相関係数の値を0から1へ少しずつ大きくしてみましょう。すると、散布図は次のように形を変えます。相関行列の散布図では、円内に置かれた◯が右上に向かう45°線に集まってきました。このグラフも右上に向かう線に集まってきています。ただし、縦軸のスケールは横軸のスケールの5分の1ですので、◯が並ぶのは $y=0.2x$ の線分上です。この線分の傾き0.2は、2変数の標準偏差の比率 $\frac{\sigma_2}{\sigma_1}=\frac{2}{10}$ と一致します。

左上：$\rho=0.2$、右上：$\rho=0.4$、左下：$\rho=0.6$、右下：$\rho=0.8$ 

相関係数が1のときの分散共分散行列の散布図は次のようになります。◯は$y=0.2x$の線分上に綺麗に並びます。 

*  *  *

これらのグラフから、分散共分散行列では、固有ベクトルと固有値がともに変数の変動の相対的大きさ（2変数の標準偏差の比率 $\frac{\sigma_2}{\sigma_1}$）に影響を受けることが読み取れます。相関行列と、その係数としての標準偏差行列に影響を分離できるのではないかと思ったのですが、渾然一体となり分離が難しいです。

相関係数に由来する固有ベクトル・固有値と相対的な変動の大きさをそれぞれ個別に観察したいときには、分散共分散行列だけでなく、相関行列もあわせてみたほうがよさそうです。

影を伸ばせ！（射影の統計学への応用）

※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。

*  *  *

前回、とてつもなく重要な概念である射影ベクトルについて学びました。大地のベクトル $\mathbf{b}$ に映される $\mathbf{a}$ の射影ベクトルは

$$\frac{\langle \mathbf{a}, \mathbf{b}\rangle}{\langle \mathbf{b}, \mathbf{b}\rangle}\mathbf{b}$$

射影倍率 $\|\mathbf{a}\|\|\mathbf{b}\|\cos\theta$ を分子に代入すると

$$\frac{\|\mathbf{a}\|\|\mathbf{b}\|\cos\theta}{\langle \mathbf{b}, \mathbf{b}\rangle}\mathbf{b}$$

$\langle \mathbf{b}, \mathbf{b}\rangle=\|\mathbf{b}\|^2$ を分母に代入すると

$$\frac{\|\mathbf{a}\|\|\mathbf{b}\|\cos\theta}{\|\mathbf{b}\|^2}\mathbf{b}$$

約分すると

$$\frac{\|\mathbf{a}\|\cos\theta}{\|\mathbf{b}\|}\mathbf{b}$$

分数部分を $\lambda$ とおくと、射影ベクトルは

$$\lambda \mathbf{b}$$

大地のベクトル $\mathbf{b}$ を $\lambda$ 倍したものが射影ベクトルです。ここまで書くと、勘のいい人は「固有値と固有ベクトルの関係に似てる！」と思わず叫ぶのではないでしょうか。固有値と固有ベクトルは多くの観測値から導かれる射影ベクトルのサマリーのようなものとみると面白いですね。固有値分解に限らず、線形代数は基底とスカラーに尽きるのですが…　今回はこの辺りの話をします。

*  *  *

情報のゲインとロス

これまで、相関行列を例に固有値分解をくりかえし紹介してきました。

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}=\frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} 1+\rho & 0 \\ 0 & 1-\rho \end{pmatrix}\frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$$

1つめの固有値 $\lambda_1=1+\rho$ に対応するのは、右上に向かう45°線です。下図は、右上に向かう45°線を大地とみなして射影ベクトルを描いています。真上から照らすお日様によって、緑の大地に影が差しています。

オレンジベクトルの射影ベクトルに "ゲイン" と書いています。これはオレンジベクトルが持つ情報のうち、緑の大地に映じられた成分が射影ベクトルであることを意味しています。オレンジのうち大地に映じられていない成分（すなわち "ロス"）は、このブログで "お日様ベクトル" と名付けた水色ベクトルです。

オレンジベクトル＝射影ベクトル＋お日様ベクトル 

ですので

お日様ベクトル ＝オレンジベクトル－射影ベクトル

お日様ベクトル＝ロス、射影ベクトル＝ゲインですので

ゲイン＝オレンジベクトル－ロス

ロス ＝オレンジベクトル－ゲイン

となります。いうまでもなく、ゲインは最大にしたいですし、ロスは最小にしたいです。高校数学の点と直線の距離で学んだように、ロスが最小（点と直線の距離が最短）になるのは、ベクトルの終点から直線に向かって垂直に線を下すときです。

*  *  *

内積と相関係数

平均がともに0である2種類のデータ $\mathbf{a}$ と $\mathbf{b}$ の相関係数を内積の記法を用いて書くと 

$$\rho=\frac{\langle \mathbf{a}, \mathbf{b}\rangle}{\|\mathbf{a}\|\|\mathbf{b}\|}$$

射影倍率 $\|\mathbf{a}\|\|\mathbf{b}\|\cos\theta$ を分子に代入すると

$$\rho=\frac{\|\mathbf{a}\|\|\mathbf{b}\|\cos\theta}{\|\mathbf{a}\|\|\mathbf{b}\|}$$

とてつもなく不思議なことに、相関係数は $\cos\theta$ と等しくなります。

$$\rho=\cos\theta$$

さらに、とてつもなく重要なことは、この角度 $\theta$ は相関行列によって変換された $x$ 軸の基底と $y$ 軸の基底がなす角であるということです。相関行列によって変換後の $x, y$ 2軸のなす角、相関係数、固有値の関係をまとめると次のようになります。

• なす角90°：$\rho=0$、$\lambda_1=1$、$\lambda_2=1$
• なす角60°：$\rho=\frac{1}{2}$、$\lambda_1=1+\frac{1}{2}$、$\lambda_2=1-\frac{1}{2}$
• なす角45°：$\rho=\frac{\sqrt{2}}{2}$、$\lambda_1=1+\frac{\sqrt{2}}{2}$、$\lambda_2=1-\frac{\sqrt{2}}{2}$
• なす角30°：$\rho=\frac{\sqrt{3}}{2}$、$\lambda_1=1+\frac{\sqrt{3}}{2}$、$\lambda_2=1-\frac{\sqrt{3}}{2}$
• なす角0° ：$\rho=1$、$\lambda_1=2$、$\lambda_2=0$

相関係数が0のとき、変換後の2軸がなす角は90°ですので、情報ゲインはありません。相関係数が1に向かって高まるにしたがい、変換後の2軸のなす角は小さくなり、射影ベクトルの影は伸びますので、情報ゲインは高まります。相関係数が1のとき、すべてのベクトルの終点が45°線上になりますので、情報ゲインが100％となり、情報ロスは0％になります。

（以前の記事からグラフを再掲しました）

相関行列による変換をくどいほど繰り返してきましたが、伏線回収できましたね。コーシー＝シュワルツの不等式、$\cos\theta$、相関係数はみな同じものです。

*  *  *

主成分とは

統計学の分野に主成分分析というものがあります。この響きのよい名前をどこかで聞いたことがあるかもしれません。主成分とは、データからの情報ゲインが最大になる（＝情報ロスが最小になる）成分です。

ベクトルが1つだけ置かれていた前節の図で情報ロスを最小にする大地ベクトルは、下図のように、傾きをオレンジベクトルと同じにしたものです。このとき、オレンジベクトルが持つ情報は大地に100％映じられます。情報ロスはまったくありません。

データが1つしかなければ、ゲインを最大にする大地ベクトルの傾きをみつけるのは簡単です。オレンジベクトルに合わせるだけです。しかし、私たちが実際に扱うのは100、1,000、多いときには1,000,000を超えるポイントを持つデータです。このとき、傾向線を引くのは難しくなります。たとえば、次のグラフは、2つの変数 $a$ と $b$ を500個ずつ観測して、関係を散布図にしたものです。

こうしたぼんやりとしか傾向が読み取れないデータから、射影ベクトルの合計が最長になり、ロスベクトルの合計が最短になるように選ばれるのが主成分です。情報ゲインを最大にするために影を伸ばせ！　ということです。

主成分分析については…

• Hottelling, Harold, 1933, Analysis of a Complex of Statistical Variables into Principal Components, Journal of Educational Psychology, 24(6), 417–441.
• Hottelling, Harold, 1936, Relations Between Two Sets of Variates, Biometrika, 28, 3/4,  321-377.
• Girshick, M. A., 1936, Principal Components, Journal of the American Statistical Association, 31, 195, 519-528.
• 小林久高, 主成分分析 : 社会調査データの多変量解析(2), 同志社社会学研究, 26, 31-72, 2022年。

（私は同志社大学関係者でも小林先生でもありません。ciniiで検索したら出てきました。ゼミのレポートや卒業論文で主成分分析を利用する学生やゼミの教材を探している若手の先生にお勧めです。）

cosは関係を支配する（射影、内積、共分散）

 ※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。

*  *  *

前回、お日様と大地の話をしました。北回帰線上では、夏至の日の正午に、お日様が真上から照らします。そのときできるオレンジベクトルの影が射影ベクトルであり、オレンジベクトルに働きかけて射影ベクトルを導くものが射影行列でした。

前回の終わりに、内積を用いて射影ベクトルを求めました。オレンジのベクトルを $\mathbf{o}$、大地のベクトルを $\mathbf{g}$、内積を $\langle , \rangle$ とおくと、射影ベクトルは

$$\frac{\langle \mathbf{o}, \mathbf{g}\rangle}{\langle \mathbf{g}, \mathbf{g}\rangle}\mathbf{g}$$

数値を代入して計算すると

$$\frac{2\times 3+4\times 1}{3^2+1^2}\begin{pmatrix}3 \\ 1 \end{pmatrix}=\frac{10}{10}\begin{pmatrix}3 \\ 1 \end{pmatrix}=\begin{pmatrix}3 \\ 1 \end{pmatrix}$$

今回は、とてつもなく重要な概念であるにもかかわらず、理解しづらい内積について考えます。

*  *  *

内積の計算方法

$\langle , \rangle$ という不思議な記号で表す内積は、私たちにとっては、掛けて足す積和です。2つのベクトル

$$\mathbf{a}=\begin{pmatrix} a_1 \\ a_2 \end{pmatrix}, \qquad \mathbf{b}=\begin{pmatrix} b_1 \\ b_2 \end{pmatrix}$$

の内積 $\langle \mathbf{a}, \mathbf{b}\rangle$ は各ベクトルの要素を用いて次のように書けます。

$$\langle \mathbf{a}, \mathbf{b}\rangle=\sum_{j=1}^2a_jb_j=a_1b_1+a_2b_2$$

ベクトルをそのまま書いてしまうこともあります。

$$\langle \mathbf{a}, \mathbf{b}\rangle=\begin{pmatrix} a_1 \\ a_2 \end{pmatrix}\cdot\begin{pmatrix} b_1 \\ b_2 \end{pmatrix}=a_1b_1+a_2b_2$$

していることは2つのベクトルの終点を、要素ごとに掛けて足しているだけです。内積はベクトルでも行列でもなく、スカラー（単なる数字）になります。

*  *  *

内積に潜む角度

数学が得意な人、物理など理系科目を学んでいる人は、角度を用いて内積を表現できることを知っています。2つのベクトル $\mathbf{a}, \mathbf{b}$ がなす角を $\theta$ とおくと

$$\langle \mathbf{a}, \mathbf{b}\rangle=\|\mathbf{a}\|\|\mathbf{b}\|\cos\theta$$

突然角度が出てきてびっくりする人がいるかもしれません。ただ、2つのベクトルがあれば、必ずそれらがなす角があります。たとえば、下図に示す青色の曲線矢印はなす角です。複数のベクトルには、なす角がつきものと覚えておきましょう。何か複数のものがあれば、それらの関係を考えることができます。それが矢印であっても、変数であっても、自然言語の文章であっても…

なす角を用いて射影ベクトルの長さを表現できます。思考の飛躍が必要かもしれませんので、それを助ける例を挙げます。下図には、原点を中心とする半径1の単位円を真上から照らす黄色の "お日様ベクトル" が4本描かれています。お日様ベクトルに照らされて、緑のベクトルは横軸という地表に影を作ります。

一番右のお日様ベクトルは地表に横たえられた長さ1の棒を照らしています。このとき、影の長さは棒の長さと同じ1（$=1\times\cos0°$）です。右から二番目のお日様ベクトルは30°傾いた長さ1の棒を照らしています。地表に差す影の長さは $\frac{\sqrt{3}}{2}$（$=1\times\cos30°$）です。右から三番目のお日様ベクトルが60°傾いた長さ1の棒を照らして作る影の長さは$\frac{1}{2}$（$=1\times\cos60°$）、一番左のお日様ベクトルが垂直に立てられた長さ1の棒を照らして作る影の長さは0（$=1\times\cos90°$）です。

こうしてみると、$\cos\theta$ は長さの倍率（収縮率）であることがわかります。お日様に照らされる棒の長さは1で変わりませんが、なす角 $\theta$ によって影の長さは大きく異なります。なす角が0°のとき、棒の長さは倍率1（$=\cos0°$）でそのまま影に反映されますが、なす角が大きくなるにしたがい倍率は小さくなり、なす角が90°になると、棒の長さは影にまったく反映されなくなります（係数0：$\cos90°$）。$\cos\theta$ は射影倍率です。

*  *  *

余弦による射影の表現

射影倍率 $\cos\theta$ を用いて、大地のベクトル $\mathbf{b}$ に映される $\mathbf{a}$ の射影ベクトルを表現してみましょう。

$$\frac{\langle \mathbf{a}, \mathbf{b}\rangle}{\langle \mathbf{b}, \mathbf{b}\rangle}\mathbf{b}$$

射影倍率を分子に代入すると

$$\frac{\|\mathbf{a}\|\|\mathbf{b}\|\cos\theta}{\langle \mathbf{b}, \mathbf{b}\rangle}\mathbf{b}$$

$\langle \mathbf{b}, \mathbf{b}\rangle=\|\mathbf{b}\|^2$ を分母に代入すると

$$\frac{\|\mathbf{a}\|\|\mathbf{b}\|\cos\theta}{\|\mathbf{b}\|^2}\mathbf{b}$$

約分すると

$$\frac{\|\mathbf{a}\|\cos\theta}{\|\mathbf{b}\|}\mathbf{b}$$

となります。分子の $\|\mathbf{a}\|\cos\theta$ は、前節でみた棒がお日様に照らされて作る影の長さに対応します。分母の $\|\mathbf{b}\|$ は、ベクトル $\mathbf{b}$ の長さを表します。したがって、この分数は、影の長さは大地のベクトルの長さの何倍か、という倍率を表すスカラーです。前節でみたように、傾きが大きくなるにしたがい影は短くなりますのでこの倍率は小さくなります。この倍率を $\lambda$ とおきましょう。すると射影ベクトルは

$$\lambda \mathbf{b}$$

射影ベクトルは大地のベクトル $\mathbf{b}$ を $\lambda$ 倍したものであることがわかります。射影ベクトルはとてつもなくシンプルな概念です。しかしまた、関係の深さを端的に捉える、とてつもなく強力なツールでもあります。

お日様と大地（射影と内積）

※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。

*  *  *

前回、Spanの説明をするときに次のようなグラフを用いました。緑とオレンジの基底ベクトルが平面を張っています。

ただ、グラフをよくみると、緑のベクトルが原点から伸びるとき、それと似た方向にオレンジのベクトルも伸びます。緑のベクトルにはオレンジの成分が混じり、オレンジのベクトルには緑の成分が混じってしまっています。

線型代数では、成分が混濁していることを、大地に見立てたベクトルに、もう1つのベクトルの影が差すと文学的に表現します。ちょうど夏至の正午、北回帰線上では真上から陽があたります。このときオレンジのベクトルの影が緑の大地に差します。

今回は、この影をなすベクトル（射影ベクトル）とオレンジベクトルを射影ベクトルに変換する操作（射影行列）について考えます。（数学の言葉では、内積空間の射影作用素になるでしょうか…）

*  *  *

射影行列

上の図表には、緑のベクトルに対して真上から照りつけるお日様によって、オレンジのベクトルの影ができています。影として緑のベクトルに投影される灰色のベクトルのことを射影ベクトルといいます。そして、オレンジのベクトルを灰色のベクトルに変換する行列を射影行列といいます。

影が差す大地のベクトルを $a$ とおくと、射影行列 $P$ は

$$P=a a^T(a^T a)^{-1}$$

ここで、$a^T$ はベクトル$a$ の転置です。$a$ は列ベクトルですので、転値をした $a^T$ は行ベクトルになります。$a$ がたくさんあって何が起きているのかみづらいので、数値例で考えましょう。影が差す大地のベクトルは

$$a=\begin{pmatrix} 3 \\ 1\end{pmatrix}$$

これを上の公式に代入してていねいに計算します。

$$P=\begin{pmatrix} 3 \\ 1\end{pmatrix}\begin{pmatrix} 3 & 1\end{pmatrix}\Biggl(\begin{pmatrix} 3 & 1\end{pmatrix}\begin{pmatrix} 3 \\ 1\end{pmatrix}\Biggr)^{-1}$$

$$P=\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}10^{-1}$$

$$P=\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}$$

この射影行列を用いて、オレンジのベクトル $(2, 4)$ の射影ベクトルを求めてみましょう。

$$\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}\begin{pmatrix} 2 \\ 4 \end{pmatrix}=\frac{1}{10}\begin{pmatrix} 30 \\ 10 \end{pmatrix}=\begin{pmatrix} 3 \\ 1 \end{pmatrix}$$

射影ベクトルの終点の座標は、図表のとおり $(3, 1)$ であることが確かめられました。

*  *  *

射影行列の定義

射影行列（$P$）には次の2つの性質があります。

• 射影行列の転置行列は射影行列に等しい：$P^T=P$
• 射影行列の積（2乗）は射影行列に等しい：$P^2=P$

前節の数値例

$$P=\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}$$

を用いてそれぞれ成り立つか調べてみます。まず転置についてですが、右上の要素と左下の要素が同じですので、明らかに $P^T=P$ です。つづいて、2乗についてみます。これは計算してみないとわかりません。

$$P^2=\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}$$

係数の $\frac{1}{10}$ が2つありますのでまとめます。

$$P^2=\frac{1}{100}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}$$

行列の掛け算をします。

$$P^2=\frac{1}{100}\begin{pmatrix} 90 & 30 \\ 30 & 10\end{pmatrix}$$

数が大きくなって収拾つかない感じもしますが、係数の分母も大きいです。行列の各要素を10で割ると

$$P^2=\frac{1}{10}\begin{pmatrix} 9 & 3 \\ 3 & 1\end{pmatrix}=P$$

$P^2=P$ が成り立つことがわかりました。射影行列の定義はとても不思議ですね。

*  *  *

内積による射影の表現

上の図表を再掲します。内積という概念を用いると、オレンジのベクトルと大地のベクトルから射影ベクトルを求めることができます。私たちにとって、内積とは成分どうしを掛けて足す積和のことです。オレンジのベクトルを $\mathbf{o}$、大地のベクトルを $\mathbf{g}$、内積を $\langle , \rangle$ とおくと、射影ベクトルは

$$\frac{\langle \mathbf{o}, \mathbf{g}\rangle}{\langle \mathbf{g}, \mathbf{g}\rangle}\mathbf{g}$$

数値を代入して計算すると

$$\frac{2\times 3+4\times 1}{3^2+1^2}\begin{pmatrix}3 \\ 1 \end{pmatrix}=\frac{10}{10}\begin{pmatrix}3 \\ 1 \end{pmatrix}=\begin{pmatrix}3 \\ 1 \end{pmatrix}$$

確かに射影ベクトルが得られました。

*  *  *

得られた射影ベクトルが照りつける日差しのベクトルと直交することを確かめましょう。オレンジのベクトルとその影である灰色のベクトルの差は、オレンジの終点を始点、灰色の終点を終点とするベクトルになります。つまり、 "お日様ベクトル" は

$$\begin{pmatrix} 2 \\ 4 \end{pmatrix}-\begin{pmatrix} 3 \\ 1 \end{pmatrix}=\begin{pmatrix} -1 \\ 3 \end{pmatrix}$$

もし射影ベクトルがこのお日様ベクトルと直交するのであれば内積は0になるはずです。計算してみましょう。

$$\begin{pmatrix} -1 \\ 3 \end{pmatrix}\cdot\begin{pmatrix} 3 \\ 1 \end{pmatrix}=-3+3=0$$

射影ベクトルはお日様ベクトルと直交することが確かめられました。この辺りの詳細は、志賀浩二『固有値問題30講』数学30講シリーズ, 朝倉書店, pp.76-77を参照してください。

*  *  *

射影行列と相関係数が1である相関行列は似ているようにみえます。ここで違いを確認しておきます。

• 射影行列：平面に散らばるベクトルを、大地のベクトル（が張る直線）への影に落とし込む操作
• 相関行列：45°線上を終点とするベクトルの観測値

とても単純に言ってしまうと、ばらついたものを大地に落とし込むのが射影行列、はじめから45°線に乗っているベクトルの観測値が相関行列です。

傘の骨組み（Span、Kernel、Rank）

※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。

*  *  *

前回の終わりに、相関係数が1である相関行列の性質を概観しました。

$$C=\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}$$

この行列の固有値は $\lambda_1=2$、$\lambda_2=0$ ですので、行列式は0です。

$$det(C)=\lambda_1\lambda_2=2\times 0=0$$

行列式の逆数は、私たち文系の範囲では計算不能になります。行列式の逆数を係数として持つ逆行列も計算不能になります。今回はそのような場面で登場する重要な用語であるSpan、Kernel、Rankを紹介します。

*  *  *

Span

傘 ☂️ を思い浮かべてください。骨組みに防水布が張られています。傘の骨すべてが平行に重なっていたらどうでしょうか。防水布を張りようがなくなります。これでは傘を作れません。防水布が張れて、雨をしのげるように、傘の骨は放射線状に広がっています。

下図は緑のベクトル $(3, 1)$ とオレンジのベクトル $(2, 4)$ が平面を張る（Spanする）ようすを表しています。①は、緑とオレンジのベクトルで張られる三角形様の領域です。（便宜上、緑の三角の底辺に当たる部分に線を入れていますが、これは右上に無限に伸びるとてつもなく大きな三角形のようなものと考えてください。）

①だけでは、左上、左下、右下からの雨を防げませんので、傘になりません。では、緑とオレンジのベクトルは平面を張るのに不十分かというとそうではありません。ベクトルにマイナスのスカラーを掛ける（たとえば $-2$ 倍する）と逆向きのベクトルになります。②は、オレンジのベクトルはそのままに、緑のベクトルに $-1$ を掛けたベクトルが張る平面部分です。

同様に、③は緑とオレンジのベクトル両方に $-1$ を掛けたベクトルが張る平面部分、④は緑のベクトルはそのままに、オレンジのベクトルに $-1$ を掛けたベクトルが張る平面部分です。①から④まであわせると、平面全体になります。これを、緑とオレンジのベクトルが張る（Spanする）平面といいます。

*  *  *

次元の縮約再訪

下図に示した緑の実線ベクトルに相関係数1の相関行列を働きかけると緑の点線ベクトルになります。終点の座標は、以下の計算から $(4, 4)$ です。

$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 3 \\ 1\end{pmatrix}=\begin{pmatrix} 4 \\ 4\end{pmatrix}$$

同様に、オレンジの実線ベクトルの終点の座標は $(2, 4)$ です。このベクトルに相関係数1の相関行列を働きかけるとオレンジの点線ベクトルになります。終点の座標は $(6, 6)$ です。

$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 2 \\ 4\end{pmatrix}=\begin{pmatrix} 6 \\ 6\end{pmatrix}$$

実は、座標平面上のすべての点（平面そのもの）に、相関係数1の相関行列を働きかけると、その行き先はみな45°線上の点になります。つまり相関係数が1の相関行列は平面を消滅させるとんでもない力を持っています。以前の記事の言葉を使って表現すると、相関係数が1の相関行列は、次元を縮約する力を持つということになります。

一般に、2×2行列が次元を縮約する力を持つのは、固有値の積が0のときであり、行列式が0のときであり、逆行列が計算不能に陥るときです。

$det(A)=0$（$\lambda_1\lambda_2=0$）には、平面を消滅させる魔力がある。

（用語が少しややこしいのですが、平面を張れる平行ではないベクトルを1次独立といい、この節でみたような平面を張れない平行なベクトルを1次従属といいます。）

*  *  *

RankとKernel

相関係数が1のとき、相関行列の固有値は $\lambda_1=2$、$\lambda_2=0$ になります。$\lambda_2$ とこれに対応する固有ベクトル $(1, -1)$ を固有値・固有ベクトルの定義式に代入すると

$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 1 \\ -1\end{pmatrix}=0\begin{pmatrix} 1 \\ -1\end{pmatrix}$$

右辺を整理すると

$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 1 \\ -1\end{pmatrix}=\begin{pmatrix} 0 \\ 0\end{pmatrix}$$

これは、連立方程式

$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} x \\ y\end{pmatrix}=\begin{pmatrix} 0 \\ 0\end{pmatrix}$$

の解が

$t\begin{pmatrix} 1 \\ -1\end{pmatrix}$　（$t$ は任意定数）

であることを意味します。方程式の解となるベクトル $(1, -1)$ 方向の広がりが、もう1つのベクトル $(1, 1)$ が張る直線に完全に飲み込まれて消滅することから零空間（Null Space）とか行列の核（Kernel）といいます。$(1, -1)$ 方向の傘の骨が突然消滅し、防水布を張れなくしまうようなものです。

前回の終わりにみたように、固有値が0であるとき、方程式に多重共線性が発生して、方程式の事実上の本数が少なくなります。これをRank落ちと言ったりします。相関係数が1であるとき、相関行列の固有値の1つが0となり、行列の階数（Rank）は1となります。

*  *  *

一般に、$n\times n$ の正方行列 $A$ について

$0$となる固有値の数$=dim(ker(A))=n-rank(A)$

ここで $dim(.)$ は次元の数を、$ker(A)$ は行列 $A$ の核を、$rank(A)$ は行列のランクを表します。右の等式を $n$ について解いた下式を次元定理といいます。

$$n=dim(ker(A))+rank(A)$$

行列は、消えるものと消えないものに分割できます。

戻るべき故郷はどこに…（逆行列の不在）

※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。

*  *  *

前回、逆行列について学びました。2×2行列 $A$ の逆行列は

$A=\begin{pmatrix} a & b \\ c & d \end{pmatrix}$　のとき、　$A^{-1}=\frac{1}{det(A)}\begin{pmatrix} d & -c \\ -b & a \end{pmatrix} $

でした。この公式を相関行列

$$C=\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}$$

に適用すると

$$C^{-1}=\frac{1}{1-\rho^2}\begin{pmatrix} 1 & -\rho \\ -\rho & 1 \end{pmatrix}$$

公式を用いず、固有値分解から逆行列を求めると

$$C^{-1}=\frac{1}{2}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} \frac{1}{1+\rho} & 0 \\ 0 & \frac{1}{1-\rho} \end{pmatrix}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$$

となりました。今回は相関係数 $\rho$ が最大値である1をとるとき、行列による働きかけとそれをなかったことにする働きかけがどうなるか議論します。

*  *  *

相関係数が1のとき

相関係数が1であるとき、相関行列のすべての要素は1になります。

$$C=\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}$$

これを $x$ 軸の標準基底に働きかけると

$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 1 \\ 0\end{pmatrix}=\begin{pmatrix} 1 \\ 1\end{pmatrix}$$

同様に、$y$ 軸の標準基底に働きかけると

$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 0 \\ 1\end{pmatrix}=\begin{pmatrix} 1 \\ 1\end{pmatrix}$$

働きかけの結果が同じになりました。$x$ 軸の標準基底は反時計回りに45°回転して $\sqrt{2}$ 倍だけ長くなり、終点の座標は $(1, 1)$ になりました。$y$ 軸の標準基底は時計回りに45°回転して $\sqrt{2}$ 倍だけ長くなり、終点の座標は $(1, 1)$ になりました。大変興味深いことに、$x$ 軸と $y$ 軸の標準基底に相関係数1の相関行列を働きかけると、まったく同じベクトルになります（図では、みやすさを重視してオレンジの矢印を少しずらして表示しています）。

*  *  *

逆行列の不在

変換後のベクトルが1つに重なるというのは何を意味するのでしょうか。下図の例でもう少し考えてみましょう。

緑の実線ベクトルの終点の座標は $(4, 1)$ です。このベクトルに相関係数1の相関行列を働きかけると緑の点線ベクトルになります。終点の座標は以下の計算から $(5, 5)$ になります。

$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 4 \\ 1\end{pmatrix}=\begin{pmatrix} 5 \\ 5\end{pmatrix}$$

同様に、オレンジの実線ベクトルの終点の座標は $(1, 4)$ です。このベクトルに相関係数1の相関行列を働きかけるとオレンジの点線ベクトルになります。終点の座標はこれも $(5, 5)$ になります。

$$\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\begin{pmatrix} 1 \\ 4\end{pmatrix}=\begin{pmatrix} 5 \\ 5\end{pmatrix}$$

緑とオレンジ、2つのベクトルが相関行列の働きかけによって全く同じベクトルになりました。前回、逆行列とは働きかけをなかったことにするツールであることを学びましたが、異なる場所から同じ場所に行きつくのであれば、それをなかったことにする操作は一意に定まらなくなってしまいます。

$\begin{pmatrix} 5 \\ 5\end{pmatrix}$ から戻るべきは $\begin{pmatrix} 4 \\ 1\end{pmatrix}$、それとも $\begin{pmatrix} 1 \\ 4\end{pmatrix}$ ？

誰にでも戻るべき故郷があるはずですが、どこに戻ればよいかわからなくなってしまうこともあるんですね…

*  *  *

故郷がみつからなくなる条件

相関行列の相関係数が1であるとき、戻るべき故郷がわからなくなってしまうことをみました。戻るべき故郷がわからなくなってしまう条件を数学的に表すと

$det(A)=0$　あるいは　$\lambda_1\lambda_2=0$

確かに、相関係数が1のとき、相関行列 $C$ の行列式（固有値の積）は

$$det(C)=\lambda_1\lambda_2=1-\rho^2=1-1=0$$

となります。これはさらに逆行列が計算不能という条件にもなります。なぜかというと、逆行列の公式の係数の分母に $det(A)$ があるからです。

$A=\begin{pmatrix} a & b \\ c & d \end{pmatrix}$　のとき、　$A^{-1}=\frac{1}{det(A)}\begin{pmatrix} d & -c \\ -b & a \end{pmatrix} $

なぜ、逆行列が計算不能になるのでしょうか。相関係数が1であるときの相関行列を再度眺めてみましょう。

$$C=\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}$$

よくみると、行列の1行目と2行目の要素が全く同じです。これは、2元1次の連立方程式で2つの式の係数が全く同じ（か係数がスカラー倍されている）場合に当たります。変数が2つあるのに式が事実上1本しかなければ、方程式を解くことができません。

連立方程式が解けなくなるとき、行列式の値は0、逆行列は計算不能になります。この現象を統計学などでは多重共線性（基底ベクトルが重なってしまったために、行列表記した連立方程式が解けなくなる状態）といいます。

戻るべき故郷がみつからなくなるのは寂しいですね…

なかったことに…（逆行列）

※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。

*  *  *

前回、固有値の和（トレース）と積（行列式）についてみました。もう1つ、線形代数の基本をなす用語があります。それが逆行列です。今回は行列の働きかけをなかったことにする（行列の働きかけによって向きや長さが変わってしまったベクトルを元に戻す）ツールである逆行列について考えます。

逆行列の詳細は、岩田利一『行列と行列式1』岩波講座 現代数学への入門, 岩波書店, pp.13-18を参照してください。

*  *  *

なかったことにする

行列の働きかけをなかったことにする操作をいきなり考えるのは大変ですので、まずやさしい計算を例に、なかったことにする操作を考えましょう。2という数字に3倍という変換をほどこすことを模式化すると

2 $\rightarrow$ （3倍する） $\rightarrow$ ？

この働きかけの結果は6です。式にすると

$$2\times 3=6$$

この3倍という働きかけをなかったことにして、元の数字である2に戻せるでしょうか。この願望を、先ほどと逆向きの矢印で模式化にすると次のようになります。

？ $\leftarrow$ （3倍の逆をする） $\leftarrow$ 6

？が元の数字2であるためには、「3倍の逆」をどのように設定すべきでしょうか。算数が得意な小学生なら「3倍の逆数である $\frac{1}{3}$ を掛ける」と答えるでしょう。指数を知っている高校生であれば、もう少しおしゃれに「$3^{-1}$ 倍する」と答えるかもしれません。

？ $\leftarrow$（$3^{-1}$ 倍する） $\leftarrow$ 6

この逆向きの働きかけの結果、元の数字の2に戻ります。式にすると

$$6\times 3^{-1}=2$$

まとめると

$$2\times 3=6\qquad\rightarrow\qquad 6\times 3^{-1}=2$$

右式の $\times 3^{-1}$ は、左式の $\times 3$ をなかったことにする操作です。「なかったことにする」を式で表現すると

$$3\times 3^{-1}=1$$

計算結果の1は、いったん働きかけ（$\times 3$）、それをなかったことにすると（$\times 3^{-1}$）、元に戻ることを表しています。私たちが知りたいのはこれの行列バージョンです。

*  *  *

逆行列

ベクトルに働きかける相関行列

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}$$

を $C$ とおきます。そして、この行列の働きかけをなかったことにする行列を $C^{-1}$ とおき、逆行列と呼ぶことにします。前節終わりの式から類推すると、逆行列は次のように書けそうです。右辺の $E$ は単位行列です。単位行列 $E$ は元のベクトルや行列を全く変えないという働きかけをする単位元です。

$$C C^{-1}=E$$

さらに、行列 $C$ の働きかけにより、変換後のベクトルが生成する平行四辺形の面積が $det(C)$ 倍（$\lambda_1\lambda_2$倍）されることを思い出すと、この働きかけをなかったことにするためには $\frac{1}{det(C)}$ 倍すればよさそうです。つまり

$$C^{-1}=\frac{1}{det(C)}\tilde{C}$$

すると、私たちが知るべきは2×2行列 $\tilde{C}$ の要素 $a, b, c, d$ になります。

$$\tilde{C}=\begin{pmatrix} a & b \\ c & d \end{pmatrix}$$

まず、各行列の要素を明示し、$det(C)=1-\rho^2$ を代入します。

$$C \frac{1}{det(C)}\tilde{C}=E$$

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}\frac{1}{1-\rho^2}\begin{pmatrix} a & b \\ c & d \end{pmatrix}=\begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}$$

行列式を右辺に移行し、左辺の行列の積を計算します。

$$\begin{pmatrix} a+c\rho & b+d\rho \\ a\rho+c & b\rho+d \end{pmatrix}=\begin{pmatrix} 1-\rho^2 & 0 \\ 0 & 1-\rho^2 \end{pmatrix}$$

両辺の各要素を対応させると

$$a\rho+c=b+d\rho=0, \qquad a+c\rho=b\rho+d=1-\rho^2$$

左の式から得られる $b=-d\rho, c=-a\rho$ を右の式に代入すると

$$a+(-a\rho)\rho=(-d\rho)\rho+d=1-\rho^2$$

$$a(1-\rho^2)=d(1-\rho^2)=1-\rho^2$$

$$a=d=1$$

これらを $b=-d\rho, c=-a\rho$ に代入すると

$$b=c=-\rho$$

$a, b, c, d$ を所定の位置に代入すると $\tilde{C}$ が得られます。

$$\tilde{C}=\begin{pmatrix} 1 & -\rho \\ -\rho & 1 \end{pmatrix}$$

実は、$\tilde{C}$ は計算の煩雑さで悪名高い余因子行列です。逆行列は行列式と余因子行列の比です。

$$C^{-1}=\frac{1}{det(C)}\tilde{C}=\frac{1}{1-\rho^2}\begin{pmatrix} 1 & -\rho \\ -\rho & 1 \end{pmatrix}$$

一般に、行列 $A=\bigl(\begin{smallmatrix} a & b \\ c & d \end{smallmatrix}\bigr)$ の逆行列は

$$A^{-1}=\frac{1}{det(A)}\begin{pmatrix} d & -c \\ -b & a \end{pmatrix}$$

※砂田『行列と行列式1』pp.2-3に、行列式は連立1次方程式の解の分母であり、

　余因子は解の分子であることが記されています。

※集合論の逆写像（全単射）についてはこちらを参照してください。

*  *  *

$C$ の逆行列 $C^{-1}$ が本当に相関行列の働きかけをなかったことにするのか、$CC^{-1}$ を計算して確認してみます。

$$CC^{-1}=\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}\frac{1}{1-\rho^2}\begin{pmatrix} 1 & -\rho \\ -\rho & 1 \end{pmatrix}$$

係数である $1-\rho^2$ を前に出して

$$CC^{-1}=\frac{1}{1-\rho^2}\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}\begin{pmatrix} 1 & -\rho \\ -\rho & 1 \end{pmatrix}$$

行列の積を計算すると

$$CC^{-1}=\frac{1}{1-\rho^2}\begin{pmatrix} 1-\rho^2 & 0 \\ 0 & 1-\rho^2 \end{pmatrix}$$

対角要素と係数の分母は同じです。(同じもの)÷(同じもの)=1ですので

$$CC^{-1}=\begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}=E$$

単位行列 $E$ は元のベクトルや行列を全く変えません。逆行列 $C^{-1}$ は相関行列 $C$ の働きかけをなかったことにすることが確かめられました。

*  *  *

固有値分解を利用した逆行列

逆行列は、相関行列を固有値分解したものからも得られます。相関行列を固有値分解したものは

$$C=\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}=\frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} 1+\rho & 0 \\ 0 & 1-\rho \end{pmatrix}\frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$$

相関行列の逆行列を固有値分解表記すると

$$C^{-1}=\frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} \frac{1}{1+\rho} & 0 \\ 0 & \frac{1}{1-\rho} \end{pmatrix}\frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$$

逆行列は、真ん中にある行列の固有値を逆数にするだけで求まります。もしすでに固有値分解しているのであれば、逆行列の計算はとても楽になります。これが本当に逆行列なのか、計算して確かめてみましょう。

$$C^{-1}=\frac{1}{2}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} \frac{1}{1+\rho} & 0 \\ 0 & \frac{1}{1-\rho} \end{pmatrix}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$$

$$C^{-1}=\frac{1}{2}\begin{pmatrix} \frac{1}{1+\rho} & \frac{1}{1-\rho} \\ \frac{1}{1+\rho} & -\frac{1}{1-\rho} \end{pmatrix}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$$

$$C^{-1}=\frac{1}{2(1-\rho^2)}\begin{pmatrix} 2 & -2\rho \\ -2\rho & 2 \end{pmatrix}$$

$$C^{-1}=\frac{1}{1-\rho^2}\begin{pmatrix} 1 & -\rho \\ -\rho & 1 \end{pmatrix}$$

前節で得た逆行列と同じになりました。固有値分解からも逆行列が簡単に得られることが確かめられました。

*  *  *

どこから来たの？

逆行列を用いると、変換後のベクトルがどこからきたのか知ることができます。ここでも相関行列を例にとります。以前の記事でみたように、$x$ 軸の基底ベクトルに相関行列で働きかけると、行き先は $(1, \rho)$ になります。

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix} \begin{pmatrix}  1 \\  0\end{pmatrix}=\begin{pmatrix}  1  \\  \rho \end{pmatrix}$$

相関行列の逆行列を行き先のベクトル $(1, \rho)$ に掛けることで、元のベクトル $(1, 0)$ に戻せるでしょうか。まず、両辺に逆行列を掛けます。

$$C^{-1}\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix} \begin{pmatrix}  1 \\  0\end{pmatrix}=C^{-1}\begin{pmatrix}  1  \\  \rho \end{pmatrix}$$

左辺だけ整理します。

$$C^{-1}C \begin{pmatrix}  1 \\  0\end{pmatrix}=C^{-1}\begin{pmatrix}  1  \\  \rho \end{pmatrix}$$

$$E \begin{pmatrix}  1 \\  0\end{pmatrix}=C^{-1}\begin{pmatrix}  1  \\  \rho \end{pmatrix}$$

$$\begin{pmatrix}  1 \\  0\end{pmatrix}=C^{-1}\begin{pmatrix}  1  \\  \rho \end{pmatrix}$$

つづいて右辺を計算します。

$$\begin{pmatrix}  1 \\  0\end{pmatrix}=\frac{1}{1-\rho^2}\begin{pmatrix} 1 & -\rho \\ -\rho & 1 \end{pmatrix}\begin{pmatrix}  1  \\  \rho \end{pmatrix}$$

$$\begin{pmatrix}  1 \\  0\end{pmatrix}=\frac{1}{1-\rho^2}\begin{pmatrix}  1-\rho^2  \\ 0 \end{pmatrix}$$

$$\begin{pmatrix}  1 \\  0\end{pmatrix}=\begin{pmatrix}  1 \\ 0 \end{pmatrix}$$

相関行列の働きかけにより $(1, \rho)$ に到着したベクトルは、$(1, 0)$ から来たことがわかりました。逆行列は、変換後のベクトルがどこから来たのか故郷を訪ねるツールです。

*  *  *

高校数学では、行列は扱われたり、扱われなくなったり、数奇な運命をたどっています。経緯についてはこちらをご覧ください。

固有値の和と積（トレースと行列式）

※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。

*  *  *

前回、固有値分解について学びました。潜在的にはかなり高度な内容を含みますが、私たち文系がここちよく感じられるようにまとめたつもりです。今回は、固有値の和（トレース）と積（行列式）を通して固有値分解の理解を深めたいと思います。

*  *  *

固有値の和

今回も相関行列を例にします。

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}$$

前回みたように、相関行列の固有値は

$$\lambda_1=1+\rho, \qquad \lambda_2=1-\rho$$

これらの和は

$$\lambda_1+\lambda_2=(1+\rho)+(1-\rho)=2$$

この2という値は、固有値分解した元の行列の対角要素の和と等しいです。相関行列の左上の対角要素は1、右下の対角要素も1ですので、対角要素の和は確かに2です。

行列の対角要素の和をトレースといいます。固有値の和がトレースであるというのは、相関行列だけでなく、行列一般に成り立つ不思議な性質です。

鋭い人は、「固有値には非対角要素である $\rho$ が織り込まれ、トレースには非対角要素が全く関わらないのに、固有値の和が対角要素の和と等しくなるのはなぜですか？」という疑問を持つかもしれません。

相関行列の例は、この問いに明確な回答を与えます。すなわち、「確かに固有値には非対角要素である $\rho$ が織り込まれているが、和を計算する過程で相殺される」という回答です。これは2次方程式の解の公式に $\pm$ がある（2次方程式の対称性）ことから理解できます。

※2次方程式の解の公式については、こちらとこちらを参照してください。

*  *  *

前回の記事に次のような段落があります。

2つの固有値の和は、相関係数の値によらず、元の相関行列の対角要素の和である2に等しくなります。相関係数が0から1に近づくにしたがい、↘︎成分が↗︎成分に吸い取られるイメージです。相関係数が1のとき、↘︎成分は完全に↗︎成分に吸い取られます。

オレンジ色にした文節はトレースの性質を表しています。それぞれの固有値は非対角要素である $\rho$ に影響を受けますが、それらは相殺されトレースは2のままです。「行く川の流れは絶えずして、しかももとの水にあらず」といいますか、不易と流行が溶け合ったものが固有値です。

*  *  *

固有値の積

つづいて固有値の積についてみます。相関行列の固有値の積は

$$\lambda_1\lambda_2=(1+\rho)(1-\rho)=1-\rho^2$$

これが何か、にわかに判然としないかもしれません。しかし、相関行列で働きかけた後のベクトルの（伸縮）倍率が固有値であることを思い出してみましょう。すると、固有値の積（$\lambda_1\lambda_2$）は、働きかけた後のベクトルから生成される平行四辺形の面積と、対応する固有値を掛けて伸び縮みさせたベクトルから生成される平行四辺形の面積との倍率であることに気づきます。

やさしく言い換えましょう。「1cm四方の正方形の面積は1です。この正方形を横に3倍、縦に2倍引き伸ばした長方形の面積は元の正方形の面積の何倍ですか？」答えは明らかに「$3\times 2=6$ だから6倍」ですよね。

同様に、「相関行列で変換した後のベクトルが生成する平行四辺形の面積が1であるとしましょう。この平行四辺形を横に $1+\rho$ 倍、縦に $1-\rho$ 倍引き伸ばした平行四辺形の面積は元の平行四辺形の面積の何倍でしょうか？」答えは明らかに「$(1+\rho)(1-\rho)$ だから$1-\rho^2$」です。同じことです。要するに、「固有値で2辺を伸び縮みさせた平行四辺形の面積は、元の平行四辺形の何倍ですか？」、固有値の積はこの問いの答えです。

実は、この問いの答えを求めるもう1つの式があります。それが行列式です。行列式は、行列の要素のたすき掛けの差です。相関行列の要素を用いて式を書くと

$$1\times 1-\rho\times\rho=1-\rho^2$$

確かに、計算結果は固有値の積と等しいです。

固有値がベクトルの伸縮倍率であることに気づけば、固有値の積が平行四辺形の面積の倍率であることもすぐにわかります。ここまでたどりつければ、固有値の積が行列式の計算結果と等しいのは当たり前に思えます。

*  *  *

相関係数は $-1$ から $+1$ の間の値をとります。さまざまな相関係数の値に対応する変換後のベクトルと、それらから生成される平行四辺形をアニメーションにしてみました。相関係数が $-1$ から $+1$ に向かうと平行四辺形の色は青、黄、オレンジに変わります。相関係数が0のとき平行四辺形は正方形となり、面積は最大値の1となります。相関係数の絶対値が0から1へ向かうにしたがい、平行四辺形は押しつぶされ、面積は0に向かって小さくなります。

*  *  *

固有値は、固有方程式といわれるものの解です。2×2行列 $A$ の2つの固有値を $\lambda_1,  \lambda_2$ とおき、単位行列を $E$、すべての要素が0である零行列を $O$ とおくと、特性方程式は

$$(A-\lambda_1E)(A-\lambda_2E)=O$$

となります。これを展開すると

$$A^2-(\lambda_1+\lambda_2)A+\lambda_1\lambda_2E=O$$

固有値の和はトレース、固有値の積は行列式ですので、これらを代入すると

$$A^2-tr(A)A+det(A)E=O$$

これをケーリー＝ハミルトンの定理といいます。これまで学んだことが1つの式にコンパクトに収まるのはすごいですね。詳細は、岩田利一『行列と行列式1』岩波講座 現代数学への入門, 岩波書店, pp.34-37を参照してください。

※固有値の和であるトレースと、固有値の積である行列式は、ヴィエトの公式という多項式の知見の応用だそうです。このブログの範囲をはるかに超えますので、名前だけ紹介しておきます。

向きと強さへの二極分解（固有値と固有ベクトル）

※私は数学者ではありません。自分用のまとめとしてこれを書いています。楽しむ範囲でご覧いただければ幸いです。内容の正確性については専門家のサイトや動画、専門書等で必ず確認をお願いします。

*  *  *

前回、単位円内を終点とするベクトルに働きかけたとき、行き先がどこになるのか考えました。相関行列の働きかけにより、単位円（真円）は傾いた楕円に押しつぶされ、究極的には45°線になりました。

今回は、この押しつぶしと傾きの尺度（ぺしゃんこの尺度）とも言うべき、固有値と固有ベクトルを紹介します。文系の私たちも、ゼミナールや演習科目で主成分分析をしたり、証券ポートフォリオの効率的フロンティアを描いたりする機会があります。そうした場面にも幅広く応用されます。

少々天下り的な説明になりますが、計算結果と図表を対応させることでイメージは掴めるのではないかと思います。

*  *  *

私たち文系にとって、固有値と固有ベクトルは次のようなものです。

• 固有ベクトル：行列の働きから向きを取り出したもの
• 固有値：行列の働きから強さを取り出したもの

ここでは、相関行列を例に固有ベクトルと固有値についてみます。

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}$$

*  *  *

固有ベクトル

下図は前回のグラフです。私たちが中学生の頃から慣れ親しんだ座標平面は、相関行列の働きによって反時計回りに45°回転します。座標平面の横軸は左下から右上に向かう線に、縦軸は左上から右下に向かう線に45°ずつ回転します。

このことから、相関行列の固有ベクトルは、原点から右上45°に向かう長さ1のベクトルと、原点から右下45°に向かう長さ1のベクトルの2本であることがわかります。

まず、右上45°に向かう固有ベクトルについて考えます。45°は、小学生のとき使った太っちょの三角定規の底辺と斜辺を挟む角度です。したがって、固有ベクトルはこの三角定規の斜辺にそって原点から1進むベクトルになります。

太っちょの三角定規の3辺の長さの比は横：縦：斜辺$=1：1：\sqrt{2}$ ですが、固有ベクトルの長さは1ですので、斜辺の長さが1になるように調整します。すると

横：縦：斜辺 $=\frac{1}{\sqrt{2}}：\frac{1}{\sqrt{2}}：1$

これで、原点から右上45°に向かう固有ベクトルの終点の座標は $(\frac{1}{\sqrt{2}}, \frac{1}{\sqrt{2}})$ だとわかりました。よって、1つめの固有ベクトルは

$$\begin{pmatrix}  \frac{1}{\sqrt{2}}  \\  \frac{1}{\sqrt{2}} \end{pmatrix}$$

つづいて、右下に向かう固有ベクトルについて考えます。原点から右下45°に向かう長さ1のベクトルの終点の座標は $(\frac{1}{\sqrt{2}}, -\frac{1}{\sqrt{2}})$ です。よって、2つめの固有ベクトルは

$$\begin{pmatrix}  \frac{1}{\sqrt{2}}  \\  -\frac{1}{\sqrt{2}} \end{pmatrix}$$

2つの固有ベクトルをくっつけ、共通の係数 $\frac{1}{\sqrt{2}}$ を行列の外に出すと

$$\begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{pmatrix}=\frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$$

この行列は、私たちが慣れ親しんだ横軸と縦軸からなる座標平面に相関行列を働きかけると、反時計回りに45°傾くことを表します。固有ベクトルは、行列に備えられた向きの働きを浮かび上がらせます。

*  *  *

固有値

前回、相関行列に入力される相関係数が0から1へ大きくなるにしたがい、500個の◯の分布は単位円（真円）から楕円に押しつぶされることをみました。前回のグラフを再掲します。

左上：$\rho=0.2$、右上：$\rho=0.4$、左下：$\rho=0.6$、右下：$\rho=0.8$ 

楕円の長半径（右上45°に伸びる長いほうの半径）は、真円である単位円の1からしだいに伸び、相関係数が1のとき2になります。短半径（右下45°に伸びる短いほうの半径）は、単位円の1からしだいに縮み、相関係数が1のとき0になり消滅します。

長半径への引き伸ばし倍率を $\lambda_1$、短半径への収縮倍率を $\lambda_2$ とおきます。$\lambda_1$ と $\lambda_2$ を $\rho$ による最もやさしい式で表すと

$$\lambda_1=1+\rho, \qquad \lambda_2=1-\rho$$

$\lambda_1$ は $\rho$ が0のとき1であり、$\rho$ が1に近づくにしたがい2に近づきます。これは長半径の引き伸ばしの特徴をうまく捉えています。同様に、$\lambda_2$ は $\rho$ が0のとき1であり、$\rho$ が1に近づくにしたがい0に近づきます。これも短半径の収縮の特徴をうまく捉えています。実は、これが行列に備えられた強さを取り出す固有値です。

右上45°に向かう固有ベクトルは相関係数が大きくなるにしたがい強く（倍率が高く）なり、右下45°に向かう固有ベクトルは相関係数が大きくなるにしたがい弱く（倍率が低く）なります。

2つの固有値の和は、相関係数の値によらず、元の相関行列の対角要素の和である2に等しくなります。相関係数が0から1に近づくにしたがい、↘︎成分が↗︎成分に吸い取られるイメージです。相関係数が1のとき、↘︎成分は完全に↗︎成分に吸い取られます。

左上の対角要素に $\lambda_1$、右下の対角要素に $\lambda_2$ をもつ行列を作ると次のようになります。大変興味深いことに、相関行列では非対角要素にあった $\rho$ が対角要素に来ています。

$$\begin{pmatrix} 1+\rho & 0 \\ 0 & 1-\rho \end{pmatrix}$$

*  *  *

固有値分解

ここまでで、行列の働きから向き（傾き）を取り出したものが固有ベクトルであり、強さ（伸縮）を取り出したものが固有値であることがわかりました。元の行列に混在している向きと強さの2極を "電気分解" で取り出す作業を固有値分解といいます。

下式は相関行列を固有値分解したものです。（右辺の左右の行列は同じにみえますが、右の行列は左の行列の逆行列です。対称かつ直交な行列ですので、元の行列=転置行列=逆行列となります。）

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}=\frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} 1+\rho & 0 \\ 0 & 1-\rho \end{pmatrix}\frac{1}{\sqrt{2}}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$$

係数 $\frac{1}{\sqrt{2}}$ が2つありますので、掛けて $\frac{1}{2}$ にしてしまいましょう。

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}=\frac{1}{2}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} 1+\rho & 0 \\ 0 & 1-\rho \end{pmatrix}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$$

この等式が成り立つか確かめてみます。右辺の3つの行列の積は、はじめの2つを掛け、その結果に一番右の行列を掛けて求めます。まずはじめの2つの行列を掛けます。

$$\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} 1+\rho & 0 \\ 0 & 1-\rho \end{pmatrix}=\begin{pmatrix} 1+\rho & 1-\rho \\ 1+\rho & -(1-\rho)\end{pmatrix}$$

この計算結果に一番右の行列を掛けます。

$$\begin{pmatrix} 1+\rho & 1-\rho \\ 1+\rho & -(1-\rho) \end{pmatrix}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}=\begin{pmatrix} 2 & 2\rho \\ 2\rho & 2 \end{pmatrix}$$

係数 $\frac{1}{2}$ を行列の4つの要素それぞれに掛けると

$$\begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}$$

相関行列は、固有値からなる対角行列と固有ベクトルからなる行列に分解できることがわかりました。

*  *  *

固有（eigen）の由来

固有ベクトル、固有値の固有はドイツ語の eigen に由来します。20世紀のはじめ頃には proper という語も使われていたようですが、より的確な表現として eigen が用いられるようになりました。確かに、相関行列には単位円内を終点とするすべてのベクトルを、45°線に向ける力があります。これが相関行列固有の向き（固有ベクトル）です。そして、右下45°へ向かう力は次第に右上45°へ向かう力に吸い取られ、究極的には右上45°に向かう力に統合されます。これが行列固有の強さ（固有値）です。

eigenは、行列を基底変換しても変わらないことを表しているようです。（志賀浩二『固有値問題30講』数学30講シリーズ10, 朝倉書店pp.40-41）

*  *  *

固有値分解は、どのテキスト、どのウェブサイトを見てもとても難しく書いてあります。おそらく、この記事のように相関行列を例にとるのが最もやさしいと思います。それでも結構大変でしたよね…

*  *  *

「で、これ何？」

というのがほとんどの人の本音ではないでしょうか。そこで、最後に固有値分解の意味についてまとめておきます。

• 固有ベクトル：行列の働きから向きを取り出したもの
• 固有値：行列の働きから強さを取り出したもの

行列の働きを傾き（向き）と強さ（倍率）に二極分解するのが固有値分解です。

もっと知りたい人はこちらへ…

（リンク先の人は私ではありません）