最小二乗法の計算は、エクセルでもできるので、系列を指定すれば結果は得られます。ただ、どのような仕組みになっているのかを知っておくのも重要です。
多くの教科書では、簡単に計算できる説明変数が一つの単回帰の例は載っていますが、説明変数が複数ある場合は、行列計算が必要なので、結果だけ載せている場合や載せていない場合が多いです。
この記事では、行列計算にあまりなじみがない人でも、だいたいどんなことをやっているかをわかるようにしたいと思います。
経済統計の使い方では、統計データの入手法から分析法まで解説しています。

重回帰式の行列表示
重回帰式は以下の形で書けます。
これを行列表示で表すと以下になります。大きな違いは、行列
これを要素を含めて描くと以下のことを表しています。
係数の求め方
行列による最小二乗法の計算について解説します。必要なのは、転置行列の計算と行列の微分に関する知識です。微分ですら難しいのに、さらに行列の微分が必要になり、難解です。こんなものか、ということでよいのではないかと思います。
被説明変数が
残差の二乗和の計算
残差の二乗和は
係数を求めるために、残差の二乗和を
転置行列の性質(
これを微分してゼロと置けばいいわけですが、式が結構長いですね。もう少しまとめることを考えます。
と を一つに
定数項を含む
つまり
次に
この式を使えば誤差の二乗和の式の第2項、第3項を一つにまとめることができます。
これが誤差の二乗和です。これを最小化します。1階の条件はこの式をベクトル
1次形式の微分
微分は次のように計算します。
この形の微分では一般的に
2次形式の微分
また、
この式から
分散共分散行列
分散共分散行列は、誤差項の各時点の分散とほかの時点との分散を計算したものです。
最小二乗法では、誤差の均一分散を仮定しています。
最小二乗法による係数の期待値と分散
真の係数を
最小二乗法による推定値
期待値の計算
まず
つまり最小二乗法による推定値
分散の計算
次に係数の分散を求めます。期待値の計算と同様
誤差の分散(
転置行列や逆行列の性質(
順をおって式を追っていくと以下のようになります。
元の行列とその逆行列の積は単位行列になるので、
まとめ
行列計算による計算をまとめると以下になります。
係数は以下で表されます。
分散共分散行列はこれです。
係数の期待値はこれです。
係数の分散はこれです。