【計量経済学】回帰係数βの期待値、分散について｜丁寧に式を展開

経済統計の使い方では、統計データの入手法から分析法まで解説しています。

統計学・計量経済学のまとめ 統計学に関するまとめのサイトです。 教科書 「回帰分析から学ぶ計量経済学－Excelで読み解く経済の仕組み」 回帰分...

回帰係数β

まず結果を見ます。

$\hat{\beta }={\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}={\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})Y_i}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}$

βの確率的表現

まず結果を見ます。係数を誤差項の関数として表したものです。

$\hat{\beta }=\beta +{\displaystyle \frac{\sum _{n=1}^n(X_i-\overline{X})u_i}{\sum _{n=1}^n(X_i-\overline{X}{)}^2}}$

βの期待値

$E(\hat{\beta })=\beta +{\displaystyle \frac{\sum _{n-1}^n(X_i-\overline{X})E(u_i)}{\sum _{n-1}^n(X_i-\overline{X}{)}^2}}$

最小二乗法の仮定により、「$u_i$の期待値はゼロ」なので、以下の結果になります。

$E(\hat{\beta })=\beta$

βの分散

まず結果を見ます。$\sigma$は誤差項の分散です。

$V(\hat{\beta })={\displaystyle \frac{{\sigma }^2}{\sum _{n-1}^n(X_i-\overline{X}{)}^2}}$

回帰係数βの変形

$\hat{\beta }={\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}$

$={\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})Y_i-\overline{Y}\sum _{i=1}^n(X_i-\overline{X})}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}$

$X_i$を1からnまで足したものと、平均$\overline{X}$をn回足したものは同じなので、$\sum _{i=1}^n(X_i-\overline{X})=0$。

$={\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})Y_i}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}$

βの確率的表現

$Y_i=\alpha +\beta X_i+u_i$

この式は平均についても成り立つので、以下の式が成り立ちます。

$\overline{Y}=\alpha +\beta \overline{X}+\overline{u}$

基本の式から平均の式を引くと、以下の式になります。

$Y_i-\overline{Y_i}=\beta (X_i-\overline{X})+u_i-\overline{u}$

$\hat{\beta }$は以下のように表せます。

$\hat{\beta }={\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})(\beta (X_i-\overline{X})+(u_i-\overline{u}))}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}$

$=\beta {\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X}{)}^2}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}+{\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})(u_i-\overline{u})}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}$

$=\beta +{\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})u_i}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}-{\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})\overline{u}}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}$

$\sum _{i=1}^n(X_i-\overline{X})\overline{u}=(X_i-\overline{X})\sum _{i=1}^n\overline{u}$で、$\sum _{i=1}^n\overline{u}$は「誤差の平均はゼロ」なので、全体としてもゼロです。

βの期待値の変形

$E(\hat{\beta })=\beta +{\displaystyle \frac{\sum (X_i-\overline{X})E(u_i)}{\sum (X_i-\overline{X}{)}^2}}$

$=\beta +E(u_i){\displaystyle \frac{\sum (X_i-\overline{X})}{\sum (X_i-\overline{X}{)}^2}}$

最小二乗法の仮定により「$u_i$の期待値はゼロ」なので、$E(u_i)=0$になります。

$=\beta$

期待値がβになるために使った仮定は「$X_i$や$\hat{X}$は非確率変数」「$u_i$の期待値はゼロ」なので、不均一分散がある場合でも、この式は成り立ちます。

βの分散の変形

分散は、変数の平均からの偏差の二乗の平均なので、$V(X)=E((X-E(X){)}^2)$となります。$\hat{\beta }$は$\beta$の不偏推定量なので、$\hat{\beta }$の平均（期待値）は$\beta$になります。これらを勘案すると以下の変形ができます。

$V(\hat{\beta })=E(\hat{\beta }-E(\hat{\beta }){)}^2=E(\hat{\beta }-\beta {)}^2$

$\hat{\beta }$に$\beta$の期待値の式を代入します。

$=E\left[{(\beta +{\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})u_i}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}-\beta )}^2\right]$

$=E\left[{\left({\displaystyle \frac{\sum _{i=1}^n(X_i-\overline{X})u_i}{\sum _{i=1}^n(X_i-\overline{X}{)}^2}}\right)}^2\right]$

$={\displaystyle \frac{E[(\sum _{i=1}^n(X_i-\overline{X})u_i{)}^2]}{E[(\sum _{i=1}^n(X_i-\overline{X}{)}^2{)}^2]}}$

$(\sum _{i=1}^n(X_i-\overline{X})u_i{)}^2$ に対して、$(\sum _{i=1}^n{X}_i{)}^2=\sum _{i=1}^n\sum _{j=1}^n{X}_i{X}_j$ を使います。

${\displaystyle \frac{1}{(\sum (X_i-\hat{X}{)}^2{)}^2}}E[\sum _{i=1}^n\sum _{j=1}^n(X_i-\hat{X})u_i(X_j-\hat{X})u_j]$

$={\displaystyle \frac{1}{(\sum (X_i-\hat{X}{)}^2{)}^2}}E[\sum _{i=1}^n\sum _{j=1}^n{u}_i{u}_j(X_i-\hat{X})(X_j-\hat{X})]$

$={\displaystyle \frac{1}{(\sum (X_i-\overline{X}{)}^2{)}^2}}\sum (X_i-\overline{X}{)}^2{\sigma }^2$

$={\displaystyle \frac{1}{(\sum (X_i-\overline{X}{)}^2{)}^2}}{\sigma }^2\sum (X_i-\overline{X}{)}^2$

$={\displaystyle \frac{{\sigma }^2}{\sum (X_i-\overline{X}{)}^2}}$

分子の変形について

上記の変形について、詳しく見ていきます。分子の部分は以下の式に期待値をとったものです。2つの部分に分けて期待値をとります。

$\sum _{i=1}^n\sum _{j=1}^n{u}_i{u}_j(X_i-\hat{X})(X_j-\hat{X})$

$=\sum _{i=j}(X_i-\overline{X}{)}^2{u}_i^2+\sum _{i\ne j}(X_i-\overline{X})(X_j-\overline{X})E(u_i)E(u_j)$

第1項の期待値

第1項は、iとjが等しい場合で、1からnまでn個あります。

第1項について期待値をとります。「$X_i$と$\overline{X}$は非確率変数」という最小二乗法の仮定から、前半の期待値オぺーレーターを取ることができます。誤差項の二乗の期待値は、誤差項の分散に等しく、$E(u_i^2)={\sigma }^2$です。

$E(\sum _{i=1}^n(X_i-\overline{X}{)}^2{u}_i^2)$

$=\sum _{i=1}^n(X_i-\overline{X}{)}^{2}E(u_i^2)$

$=\sum _{i=1}^n(X_i-\overline{X}{)}^2{\sigma }^2$

第2項の期待値

次に、第2項について期待値をとります。「$X_i$と$\overline{X}$は非確率変数」という最小二乗法の仮定から、前半の期待値オぺーレーターを取ることができます。

$E[\sum _{i\ne j}(X_i-\overline{X})(X_j-\overline{X})u_i{u}_j]$

$=\sum _{i\ne j}(X_i-\overline{X})(X_j-\overline{X})E(u_i{u}_j)$

「異なる誤差どうしは無相関」という最小二乗法の仮定から、$E(u_i{u}_j)=0$になります。

$\sum _{i\ne j}(X_i-\overline{X})(X_j-\overline{X})E(u_i{u}_j)=0$

再掲

まとめると以下の式です。

$E(\sum _{i=1}^n\sum _{j=1}^n{u}_i{u}_j(X_i-\hat{X})(X_j-\hat{X}))$

$=\sum _{i=1}^n(X_i-\overline{X}{)}^2{\sigma }^2$

これを元の式から順に書くと以下の通りになります。

${\displaystyle \frac{1}{(\sum (X_i-\hat{X}{)}^2{)}^2}}E[\sum _{i=1}^n\sum _{j=1}^n{u}_i{u}_j(X_i-\hat{X})(X_j-\hat{X})]$

$={\displaystyle \frac{1}{(\sum (X_i-\overline{X}{)}^2{)}^2}}\sum (X_i-\overline{X}{)}^2{\sigma }^2$

$={\displaystyle \frac{1}{(\sum (X_i-\overline{X}{)}^2{)}^2}}{\sigma }^2\sum (X_i-\overline{X}{)}^2$

$={\displaystyle \frac{{\sigma }^2}{\sum (X_i-\overline{X}{)}^2}}$

• 【python】リスト君の大変身
• 【python】 クラスとインスタンス
• 【python】関数の作成
• AI関連の分析ツールの紹介ーー生成AIなど
• 【Python】Pythonの基本操作

検索

検索