【計量経済学】BLUEとは｜最良線形不偏推定量について徹底解説

結論は以下の通りです。

線形推定量

最小二乗法の推定値ˆ𝛽は𝑌𝑖の線形関数（加重和）になっているので、線形推定量です。

ˆ𝛽 =𝑛∑𝑖=1(𝑋𝑖−¯𝑋)⁢𝑌𝑖𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2

線形不偏線形推定量

最小二乗法の推定量ˆ𝛽の期待値はβなので、βは線形不偏推定量です。不偏性の条件を満たしています。

最良線形不偏推定量

一般的な線形不偏推定量の式から、分散を計算し、「一般的な線形不偏推定量の分散は、最小二乗法の分散にマイナスではない分散を加えたもの」という形なることを導きだし、最小二乗法の推定量の分散が最小であることを証明します。

線形推定量

線形推定量とは、推定量ˆ𝛽が、𝑌𝑖の線形関数として表されるものです。最小二乗法は、以下のように表され、線形推定量です。

ˆ𝛽 =𝑛∑𝑖−1(𝑋𝑖−¯𝑋)⁢𝑌𝑖𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2

ˆ𝛽 =1𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2⁢𝑛∑𝑖−1(𝑋𝑖 −¯𝑋)⁢𝑌𝑖

ˆ𝛽 =1𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2⁢((𝑋1 −¯𝑋)⁢𝑌1 +(𝑋2 −¯𝑋)⁢𝑌2…(𝑋𝑛 −¯𝑋)⁢𝑌𝑛)

これは以下のように書くことができます。

ˆ𝛽 =𝑛∑𝑛=1𝑤𝑖⁢𝑌𝑖

𝑤𝑖は以下の式です。

𝑤𝑖 =(𝑋𝑖−ˆ𝑋)𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2

推定量ˆ𝛽が、𝑌𝑖の線形関数として表されることがわかります。

線形不偏推定量

まず不偏性があるために係数にどのような条件が必要かを考えて、最小二乗法がその条件を満たしていることを説明していきます。

線形推定量は一般に以下で表されます。

𝐶 =𝑐0 +𝑛∑𝑛=1𝑐𝑖⁢𝑌𝑖

不偏性があるということはCの期待値𝐸⁡(𝐶)が𝛽になるということです。𝛽を使った式にするため、𝑌𝑖に𝛼 +𝛽⁢𝑋𝑖を代入します。

𝐸⁡(𝐶)⁢ =𝑐𝑜 +𝑛∑𝑖=1𝑐𝑖⁢𝐸⁡(𝑌𝑖)

=𝑐0 +𝑛∑𝑖=1𝑐𝑖⁢(𝛼 +𝛽⁢𝑋𝑖)

=𝑐0 +𝛼⁢𝑛∑𝑖=1𝑐𝑖 +𝛽⁢𝑛∑𝑖−1𝑐𝑖⁢𝑋𝑖

Cの期待値𝐸⁡(𝐶)が𝛽になるためには、ウエートcに関して以下の条件が必要です。これが不偏性の条件になります。

𝑐𝑜 =0,𝑛∑𝑖=1𝑐𝑖 =0,𝑛∑𝑖=1𝑐𝑖⁢𝑋𝑖 =1

この条件が満たされれば、Cの期待値𝐸⁡(𝐶)が𝛽になります。

𝐸⁡(𝐶) =𝛽

不偏性の条件

Cの期待値が𝛽になるために、ウエートcに関して以下の条件が必要です。これが不偏性の条件になります。

𝑐𝑜 =0,𝑛∑𝑖=1𝑐𝑖 =0,𝑛∑𝑖=1𝑐𝑖⁢𝑋𝑖 =1

最小二乗法の場合のウエートは以下で表されます。これが不偏性の条件を満たしているかどうかを一つ一つ見ていきます。

ˆ𝛽 =𝑛∑𝑛=1𝑤𝑖⁢𝑌𝑖

た⁢だ⁢し、𝑤𝑖 =(𝑋𝑖−¯𝑋）𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2

最小二乗法が不偏性の条件を満たすためには以下の条件が必要です。𝑐𝑖を𝑤𝑖に変えただけです。

𝑐𝑜 =0,𝑛∑𝑖=1𝑤𝑖 =0,𝑛∑𝑖=1𝑤𝑖⁢𝑋𝑖 =1

𝑐0 =0について

ˆ𝛽 =𝑛∑𝑛=1𝑤𝑖⁢𝑌𝑖の式に定数項はないので、𝑐0 =0は満たされています。

𝑛∑𝑖=1　𝑤𝑖＝0について

「ウエート𝑤𝑖の総和がゼロ」は以下のように満たされています。

𝑛∑𝑖=1𝑤𝑖 =𝑛∑𝑖=1(𝑋𝑖−¯𝑋）𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2

=𝑛∑𝑖=1𝑋𝑖–𝑛∑𝑖=1¯𝑋𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2 =0

𝑛∑𝑖=1　𝑤𝑖⁢𝑋𝑖 =1について

「ウエート𝑤𝑖と𝑋𝑖の積の総和は1」は以下の式の変形で証明できます。

𝑛∑𝑖=1𝑤𝑖⁢𝑋𝑖 =𝑛∑𝑖=1(𝑋𝑖−¯𝑋)⁢𝑋𝑖𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2

𝑛∑𝑖=1(𝑋𝑖–¯𝑋)⁢𝑋𝑖 =𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2 という偏差に関する公式のうち「偏差の二乗和」を使うと、以下の式となります。

=𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2 =1

以上で、最小二乗法が不偏性を持つことが証明されました。

最良線形不偏推定量

最後に、線形不偏推定量の中で、最も分散が小さいことを証明します。最小二乗法のウエート以外の一般的な線形推定量を表すために、最小二乗法のウエート𝑤𝑖に𝑑𝑖を加えたウエート𝑐𝑖を考えます。𝑐𝑖 =𝑤𝑖 +𝑑𝑖です。𝑑𝑖が非負になることが証明できれば、最小二乗法以外の線形推定量の分散は、最小二乗法より大きいことが証明できます。

まず、この一般的な線形推定量が不偏性を持つための条件を導きだします。

一般的な推定量の不偏性の条件

この推定量を変形していきます。最後の式には、𝑌𝑖 =𝛼 +𝛽⁢𝑋𝑖 +𝑢𝑖を代入しています。

˜𝛽 =𝑛∑𝑖=1𝑐𝑖⁢𝑌𝑖

=𝑛∑𝑖=1(𝑤𝑖 +𝑑𝑖)⁢𝑌𝑖

=𝑛∑𝑖=1𝑤𝑖⁢𝑌𝑖 +𝑛∑𝑖=1𝑑𝑖⁢𝑌𝑖　

=𝑛∑𝑖=1𝑤𝑖⁢𝛼 +𝑛∑𝑖=1𝑤𝑖⁢𝛽⁢𝑋𝑖 +𝑛∑𝑖=1 +𝑤𝑖⁢𝑢𝑖⁢𝑛∑𝑖=1 +𝑑𝑖⁢𝛼 +𝑛∑𝑖=1𝑑𝑖⁢𝛽⁢𝑋𝑖 +𝑛∑𝑖=1𝑑𝑖⁢𝑢𝑖

不偏性の項で調べたように、最小二乗法のウエート𝑤𝑖には以下の性質があります。

• 𝑛∑𝑖=1　𝑤𝑖＝０
• 𝑛∑𝑖=1　𝑤𝑖⁢𝑋𝑖 =1

これを使うと上記式の第1項と第2項は以下のようになります。

∑𝑤𝑖⁢𝛼 =𝛼⁢∑𝑤𝑖 =0

∑𝑤𝑖⁢𝛽⁢𝑋𝑖 =𝛽⁢∑𝑤𝑖⁢𝑋𝑖 =𝛽

これを反映すると以下の式になります。

˜𝛽 =𝛽 +𝑛∑𝑖=1𝑤𝑖⁢𝑢𝑖 +𝑛∑𝑖=1𝑑𝑖⁢𝛼 +𝑛∑𝑖=1𝑑𝑖⁢𝛽⁢𝑋𝑖 +𝑛∑𝑖=1𝑑𝑖⁢𝑢𝑖

期待値をとると、誤差項の平均はゼロなので、𝐸⁡(𝑢𝑖)=0になります。

𝐸⁡(˜𝛽) =𝐸⁡[𝛽+𝑛∑𝑖=1𝑤𝑖⁢𝑢𝑖+𝑛∑𝑖=1𝑑𝑖⁢𝛼+𝑛∑𝑖=1𝑑𝑖⁢𝛽⁢𝑋𝑖+𝑛∑𝑖=1𝑑𝑖⁢𝑢𝑖]

=𝛽 +𝑛∑𝑖=1𝑑𝑖⁢𝛼 +𝑛∑𝑖=1𝑑𝑖⁢𝛽⁢𝑋𝑖

=𝛽 +𝛼⁢𝑛∑𝑖=1𝑑𝑖 +𝛽⁢𝑛∑𝑖=1𝑑𝑖⁢𝑋𝑖

そしてこれが不偏推定量になるためには、上の式が𝛽になる必要があるので、𝑑⁢𝑖に制約が加わります。

𝑑𝑖に関する不偏性の条件は、　𝑛∑𝑖=1𝑑𝑖 =0,𝑛∑𝑖=1𝑑𝑖⁢𝑋𝑖 =0です。

線形不偏推定量の分散

線形不偏推定量の一般形について、以下の形から出発します。上記で考えたのは、線形推定量でしたが、今回は線形不偏推定量なので、ˇ𝛽と記号を変えました。

ˇ𝛽 =𝑛∑𝑖=1𝑐𝑖⁢𝑌𝑖

=𝑛∑𝑖=1(𝑤𝑖 +𝑑𝑖)⁢𝑌𝑖

これを変形すると、以下の形になりました（上記不偏性の条件参照）。

ˇ𝛽 =𝛽 +𝑛∑𝑖=1𝑤𝑖⁢𝑢𝑖 +𝑛∑𝑖=1𝑑𝑖⁢𝛼 +𝑛∑𝑖=1𝑑𝑖⁢𝛽⁢𝑋𝑖 +𝑛∑𝑖=1𝑑𝑖⁢𝑢𝑖

不偏性の条件である、　𝑛∑𝑖=1𝑑𝑖 =0,𝑛∑𝑖=1𝑑𝑖⁢𝑋𝑖 =0を代入すると、より簡単な式になります。

ˇ𝛽 =𝛽 +𝑛∑𝑖=1𝑤𝑖⁢𝑢𝑖 +𝑛∑𝑖=1𝑑𝑖⁢𝑢𝑖

この推定量の分散を求めます。最後の式の変形には(𝑛∑𝑖=1𝑋𝑖)2 =𝑛∑𝑖=1𝑛∑𝑗=1𝑋𝑖⁢𝑋𝑗 という2重和の公式を使っています。

𝜎2ˇ𝛽 =𝐸⁢(ˇ𝛽−𝛽)2

=𝐸⁢[𝛽+𝑛∑𝑖=1𝑤𝑖⁢𝑢𝑖+𝑛∑𝑖=1𝑑𝑖⁢𝑢𝑖−𝛽]2

=𝐸⁢[∑(𝑤𝑖+𝑑𝑖)⁢𝑢𝑖]2

=𝐸⁢[𝑛∑𝑖=1(𝑤𝑖+𝑑𝑖)2⁢𝑢2𝑖 +∑∑𝑖≠𝑗(𝑤𝑖 +𝑑𝑖)⁢(𝑤𝑗 +𝑑𝑗)⁢𝑢𝑖⁢𝑢𝑗]

誤差項に𝐸⁡(𝑢𝑖⁢𝑢𝑗)=0(𝑖 ≠𝑗 について）を仮定すると、第2項は0になります。

=𝐸⁡[𝑛∑𝑖=1(𝑤𝑖+𝑑𝑖)2⁢𝑢2𝑖]

𝐸⁡(𝑢2𝑖)は常に𝜎2なので、かっこの前に出すことができます。

=𝐸⁡[𝑛∑𝑖=1(𝑤𝑖+𝑑𝑖)2⁢𝑢2𝑖]

=𝐸⁡(𝑢2𝑖)⁢𝑛∑𝑖=1(𝑤𝑖+𝑑𝑖)2

=𝜎2⁢(𝑛∑𝑖=1𝑤2𝑖 +2⁢𝑛∑𝑖=1𝑤𝑖⁢𝑑𝑖 +𝑛∑𝑖=1𝑑2𝑖)

∑𝑤2𝑖 について

ウエート𝑤𝑖の二乗和に𝜎2は、最小二乗法の誤差項の分散になります。

∑𝑤2𝑖 =∑(𝑋𝑖−¯𝑋∑(𝑋𝑖−¯𝑋)2)2

=∑(𝑋𝑖−¯𝑋)2(∑(𝑋𝑖−¯𝑋)2)2

=1𝑛∑𝑖=1(𝑋𝑖−¯𝑋)2

𝜎2⁢∑𝑤2𝑖 =𝜎2∑(𝑋𝑖−¯𝑋)2 =𝜎2ˆ𝛽

∑𝑤𝑖⁢𝑑𝑖について　

この項は、不偏性の条件である∑𝑑𝑖 =0,𝑑𝑖⁢𝑋𝑖 =0を使うとゼロになることがわかります。

∑𝑑𝑖⁡𝑤𝑖 =∑𝑑𝑖⁡((𝑥𝑖−ˆ𝑋)∑(𝑋𝑖−ˆ𝑋)2)　

=∑𝑑𝑖⁢𝑋𝑖–¯𝑋⁢∑𝑑𝑖∑(𝑋𝑖–¯𝑋)2 =0

最終的な分散の式

𝜎2ˇ𝛽 =𝜎2ˆ𝛽 +𝜎2⁢∑𝑑2𝑖

∑𝑑2𝑖は負にならないので、一般的な線形不偏推定量の分散は、最小二乗法の推定量の分散と等しいか、大きいということなります。このことから、最小二乗法の推定量の分散が最も小さいということが証明されました。