【計量経済学】決定係数｜当てはまりを表すものさし

経済統計の使い方では、統計データの入手法から分析法まで解説しています。

統計学・計量経済学のまとめ統計学に関するまとめのサイトです。回帰分析の基本記述統計記述統計の説明動画（エクセル）平均分...

Contents

どの程度当てはまっているかを表す
自由度修正済み決定係数
RSSの関数ととらえる
8種類算出法がある！

どの程度当てはまっているかを表す

決定係数は、回帰式を推定したときに、どの程度データに当てはまっているのかを示します。決定係数を説明する場合、全変動というあまり使わない用語が出てきますが、まずは、

実績値と理論値の相関を表すもの

と考えるのが良いのではないかと思います。詳しく言うと、「実績値と理論値の相関係数を二乗したもの」です。相関係数に関してはこちらを参考にしてください。

このため、０が全く当てはまってない場合、１は実績と理論値が残差なくぴったり会ったものを表します。決定係数が0.10、0.50、0.90、0.99のばらつき具合は以下の図の通りです。決定係数が0.10の場合は直線は当てはまっているように見えますが、Xが動いてもYはほとんど変化せず、ほとんど定数項だけで説明していることになっています。

実績値($Y_i$)と理論値($\hat{Y_i}$)と残差($u_i$)は以下の関係にあります。

$ Y_i=\hat{Y_i} + u_i $

実績値が理論値とどのくらい合っているかを考えるわけですが、両者の平均をとっても意味がありません。最小二乗法では実績値と理論値の平均は同じで、誤差の平均はゼロになるためです。

そこで、実績値と理論値の相関を考えます。以下の式は、実績値と理論値の相関係数の二乗を表しています。$\bar{Y}$は$Y_i$の平均です。

$ 実績値と理論値の相関係数の二乗$

$=\frac{\large{実績値と理論値の共分散の二乗}}{\large{実績値の分散×理論値の分散}}$

$ \cfrac{( \Sigma (Y_i-\bar{Y_i})(\hat{Y_i}-\bar{Y}))^2}{\Sigma (Y_i-\bar{Y})^2 \Sigma (\hat{Y_i}-\bar{Y})^2} $

これを変形すると以下の式になります。これが決定係数の定義として使われるものです。

$決定係数＝\dfrac{ \Sigma(\hat{Y_i}-\bar{Y} )^2}{\Sigma(Y_i-\bar{Y} )^2}$

分母の$\Sigma (Y_i-\bar{Y} )^2$は実績値の平均からの偏差の二乗和で全変動と呼ばれます。実績値の分散を計算する際の分子です。分子の$\Sigma(\hat{Y_i}-\bar{Y} )^2$は回帰変動と呼ばれ、回帰式によって説明された部分になります。回帰変動によって説明できなかった部分が残差変動になり、以下の式が成り立ちます。

$ 全変動＝回帰変動 \text{+} 残差変動$

全変動、回帰変動、残差変動をまとめると以下になります。

$全変動=\Sigma (Y_i-\bar{Y})^2 $

$回帰変動＝\Sigma (\hat{Y_i}-\bar{Y})^2　$

$残差変動＝\Sigma ( Y_i-\hat{Y_i} )^2　$

決定係数は以下のようにも書き換えられます。

$決定係数= \dfrac{回帰変動}{全変動}=1- \dfrac{残差変動}{全変動}$

自由度修正済み決定係数

決定係数は、当てはまりを示す指標なので、説明変数を増やせば増やすほど、多かれ少なかれ決定係数は上昇します。説明変数が増えることで、係数の数値を低めるようにしたものが自由度修正済み決定係数です。残差二乗和をRSS、全変動をＴＳＳ、サンプル数をｎ、定数項を含む説明変数の数をＫとすると以下の式になります。

$ 自由度決定済み決定係数＝1-\dfrac{RSS/(n-K)}{TSS/(n-1)}$