【計量経済学】回帰係数βの期待値、分散について｜丁寧に式を展開

単回帰分析の回帰係数βは誤差の二乗を最小化することで得られます。

その導出も大事ですが、この記事ではその先の期待値や分散の導出方法について解説します。

まず、最初に結論としての式を書きます。その後にできるだけわかりやすく、解説をつけていきます。

経済統計の使い方では、統計データの入手法から分析法まで解説しています。

統計学・計量経済学のまとめ統計学に関するまとめのサイトです。教科書「回帰分析から学ぶ計量経済学－Excelで読み解く経済の仕組み」回帰分...

Contents

回帰係数β
βの確率的表現
βの期待値
βの分散
回帰係数βの変形
βの確率的表現
βの期待値の変形
βの分散の変形
- 分子の変形について

回帰係数β

まず結果を見ます。

$ˆ 𝛽 = 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) (𝑌 𝑖 - ¯ 𝑌) 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2 = 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 𝑌 𝑖 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2$

βの確率的表現

まず結果を見ます。係数を誤差項の関数として表したものです。

$ˆ 𝛽 = 𝛽 + 𝑛 \sum 𝑛 = 1 (𝑋 𝑖 - ¯ 𝑋) 𝑢 𝑖 𝑛 \sum 𝑛 = 1 (𝑋 𝑖 - ¯ 𝑋) 2$

βの期待値

$𝐸 (ˆ 𝛽) = 𝛽 + 𝑛 \sum 𝑛 - 1 (𝑋 𝑖 - ¯ 𝑋) 𝐸 (𝑢 𝑖) 𝑛 \sum 𝑛 - 1 (𝑋 𝑖 - ¯ 𝑋) 2$

最小二乗法の仮定により、「 $𝑢 𝑖$ の期待値はゼロ」なので、以下の結果になります。

$𝐸 (ˆ 𝛽) = 𝛽$

βの分散

まず結果を見ます。 $𝜎$ は誤差項の分散です。

$𝑉 (ˆ 𝛽) = 𝜎 2 𝑛 \sum 𝑛 - 1 (𝑋 𝑖 - ¯ 𝑋) 2$

回帰係数βの変形

$ˆ 𝛽 = 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) (𝑌 𝑖 - ¯ 𝑌) 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2$

$= 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 𝑌 𝑖 - ¯ 𝑌 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2$

$𝑋 𝑖$ を1からnまで足したものと、平均 $¯ 𝑋$ をn回足したものは同じなので、 $𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) = 0$ 。

$= 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 𝑌 𝑖 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2$

βの確率的表現

$𝑌 𝑖 = 𝛼 + 𝛽 𝑋 𝑖 + 𝑢 𝑖$

この式は平均についても成り立つので、以下の式が成り立ちます。

$¯ 𝑌 = 𝛼 + 𝛽 ¯ 𝑋 + ¯ 𝑢$

基本の式から平均の式を引くと、以下の式になります。

$𝑌 𝑖 - ¯ 𝑌 𝑖 = 𝛽 (𝑋 𝑖 - ¯ 𝑋) + 𝑢 𝑖 - ¯ 𝑢$

$ˆ 𝛽$ は以下のように表せます。

$ˆ 𝛽 = 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) (𝛽 (𝑋 𝑖 - ¯ 𝑋) + (𝑢 𝑖 - ¯ 𝑢)) 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2$

$= 𝛽 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2 + 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) (𝑢 𝑖 - ¯ 𝑢) 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2$

$= 𝛽 + 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 𝑢 𝑖 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2 - 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) ¯ 𝑢 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2$

$𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) ¯ 𝑢 = (𝑋 𝑖 - ¯ 𝑋) 𝑛 \sum 𝑖 = 1 ¯ 𝑢$ で、 $𝑛 \sum 𝑖 = 1 ¯ 𝑢$ は「誤差の平均はゼロ」なので、全体としてもゼロです。

βの期待値の変形

$𝐸 (ˆ 𝛽) = 𝛽 + \sum (𝑋 𝑖 - ¯ 𝑋) 𝐸 (𝑢 𝑖) \sum (𝑋 𝑖 - ¯ 𝑋) 2$

$= 𝛽 + 𝐸 (𝑢 𝑖) \sum (𝑋 𝑖 - ¯ 𝑋) \sum (𝑋 𝑖 - ¯ 𝑋) 2$

最小二乗法の仮定により「 $𝑢 𝑖$ の期待値はゼロ」なので、 $𝐸 (𝑢 𝑖) = 0$ になります。

$= 𝛽$

期待値がβになるために使った仮定は「 $𝑋 𝑖$ や $ˆ 𝑋$ は非確率変数」「 $𝑢 𝑖$ の期待値はゼロ」なので、不均一分散がある場合でも、この式は成り立ちます。

βの分散の変形

分散は、変数の平均からの偏差の二乗の平均なので、 $𝑉 (𝑋) = 𝐸 ((𝑋 - 𝐸 (𝑋)) 2)$ となります。 $ˆ 𝛽$ は $𝛽$ の不偏推定量なので、 $ˆ 𝛽$ の平均（期待値）は $𝛽$ になります。これらを勘案すると以下の変形ができます。

$𝑉 (ˆ 𝛽) = 𝐸 (ˆ 𝛽 - 𝐸 (ˆ 𝛽)) 2 = 𝐸 (ˆ 𝛽 - 𝛽) 2$

$ˆ 𝛽$ に $𝛽$ の期待値の式を代入します。

$= 𝐸 ⎡ ⎢ ⎢ ⎢ ⎢ ⎣ ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ 𝛽 + 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 𝑢 𝑖 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2 - 𝛽 ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ 2 ⎤ ⎥ ⎥ ⎥ ⎥ ⎦$

$= 𝐸 ⎡ ⎢ ⎢ ⎢ ⎢ ⎣ ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 𝑢 𝑖 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2 ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ 2 ⎤ ⎥ ⎥ ⎥ ⎥ ⎦$

$= 𝐸 [(𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 𝑢 𝑖) 2] 𝐸 [(𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2) 2]$

$(𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 𝑢 𝑖) 2$ に対して、 $(𝑛 \sum 𝑖 = 1 𝑋 𝑖) 2 = 𝑛 \sum 𝑖 = 1 𝑛 \sum 𝑗 = 1 𝑋 𝑖 𝑋 𝑗$ を使います。

$1 (\sum (𝑋 𝑖 - ˆ 𝑋) 2) 2 𝐸 [𝑛 \sum 𝑖 = 1 𝑛 \sum 𝑗 = 1 (𝑋 𝑖 - ˆ 𝑋) 𝑢 𝑖 (𝑋 𝑗 - ˆ 𝑋) 𝑢 𝑗]$

$= 1 (\sum (𝑋 𝑖 - ˆ 𝑋) 2) 2 𝐸 [𝑛 \sum 𝑖 = 1 𝑛 \sum 𝑗 = 1 𝑢 𝑖 𝑢 𝑗 (𝑋 𝑖 - ˆ 𝑋) (𝑋 𝑗 - ˆ 𝑋)]$

$= 1 (\sum (𝑋 𝑖 - ¯ 𝑋) 2) 2 \sum (𝑋 𝑖 - ¯ 𝑋) 2 𝜎 2$

$= 1 (\sum (𝑋 𝑖 - ¯ 𝑋) 2) 2 𝜎 2 \sum (𝑋 𝑖 - ¯ 𝑋) 2$

$= 𝜎 2 \sum (𝑋 𝑖 - ¯ 𝑋) 2$

分子の変形について

上記の変形について、詳しく見ていきます。分子の部分は以下の式に期待値をとったものです。2つの部分に分けて期待値をとります。

$𝑛 \sum 𝑖 = 1 𝑛 \sum 𝑗 = 1 𝑢 𝑖 𝑢 𝑗 (𝑋 𝑖 - ˆ 𝑋) (𝑋 𝑗 - ˆ 𝑋)$

$= \sum 𝑖 = 𝑗 (𝑋 𝑖 - ¯ 𝑋) 2 𝑢 2 𝑖 + \sum 𝑖 \neq 𝑗 (𝑋 𝑖 - ¯ 𝑋) (𝑋 𝑗 - ¯ 𝑋) 𝐸 (𝑢 𝑖) 𝐸 (𝑢 𝑗)$

第1項の期待値

第1項は、iとjが等しい場合で、1からnまでn個あります。

第1項について期待値をとります。「 $𝑋 𝑖$ と $¯ 𝑋$ は非確率変数」という最小二乗法の仮定から、前半の期待値オぺーレーターを取ることができます。誤差項の二乗の期待値は、誤差項の分散に等しく、 $𝐸 (𝑢 2 𝑖) = 𝜎 2$ です。

$𝐸 (𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2 𝑢 2 𝑖)$

$= 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2 𝐸 (𝑢 2 𝑖)$

$= 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2 𝜎 2$

第2項の期待値

次に、第2項について期待値をとります。「 $𝑋 𝑖$ と $¯ 𝑋$ は非確率変数」という最小二乗法の仮定から、前半の期待値オぺーレーターを取ることができます。

$𝐸 [\sum 𝑖 \neq 𝑗 (𝑋 𝑖 - ¯ 𝑋) (𝑋 𝑗 - ¯ 𝑋) 𝑢 𝑖 𝑢 𝑗]$

$= \sum 𝑖 \neq 𝑗 (𝑋 𝑖 - ¯ 𝑋) (𝑋 𝑗 - ¯ 𝑋) 𝐸 (𝑢 𝑖 𝑢 𝑗)$

「異なる誤差どうしは無相関」という最小二乗法の仮定から、 $𝐸 (𝑢 𝑖 𝑢 𝑗) = 0$ になります。

$\sum 𝑖 \neq 𝑗 (𝑋 𝑖 - ¯ 𝑋) (𝑋 𝑗 - ¯ 𝑋) 𝐸 (𝑢 𝑖 𝑢 𝑗) = 0$

再掲

まとめると以下の式です。

$𝐸 (𝑛 \sum 𝑖 = 1 𝑛 \sum 𝑗 = 1 𝑢 𝑖 𝑢 𝑗 (𝑋 𝑖 - ˆ 𝑋) (𝑋 𝑗 - ˆ 𝑋))$

$= 𝑛 \sum 𝑖 = 1 (𝑋 𝑖 - ¯ 𝑋) 2 𝜎 2$

これを元の式から順に書くと以下の通りになります。

$1 (\sum (𝑋 𝑖 - ˆ 𝑋) 2) 2 𝐸 [𝑛 \sum 𝑖 = 1 𝑛 \sum 𝑗 = 1 𝑢 𝑖 𝑢 𝑗 (𝑋 𝑖 - ˆ 𝑋) (𝑋 𝑗 - ˆ 𝑋)]$

$= 1 (\sum (𝑋 𝑖 - ¯ 𝑋) 2) 2 \sum (𝑋 𝑖 - ¯ 𝑋) 2 𝜎 2$

$= 1 (\sum (𝑋 𝑖 - ¯ 𝑋) 2) 2 𝜎 2 \sum (𝑋 𝑖 - ¯ 𝑋) 2$

$= 𝜎 2 \sum (𝑋 𝑖 - ¯ 𝑋) 2$

【計量経済学】回帰係数βの期待値、分散について｜丁寧に式を展開

回帰係数β

βの確率的表現

βの期待値

βの分散

回帰係数βの変形

βの確率的表現

βの期待値の変形