BLUEとは、最良線形不偏推定量(best linear unbiased estimator; BLUE)のことを表します。とても良い推定量ということで、最小二乗法はさまざまな仮定を満たせばBLUEになります。
ここでは以下の式の係数
結論は以下の通りです。
線形推定量
最小二乗法の推定値
線形不偏線形推定量
最小二乗法の推定量
最良線形不偏推定量
一般的な線形不偏推定量の式から、分散を計算し、「一般的な線形不偏推定量の分散は、最小二乗法の分散にマイナスではない分散を加えたもの」という形なることを導きだし、最小二乗法の推定量の分散が最小であることを証明します。
線形推定量
線形推定量とは、推定量
これは以下のように書くことができます。
推定量
線形不偏推定量
まず不偏性があるために係数にどのような条件が必要かを考えて、最小二乗法がその条件を満たしていることを説明していきます。
線形推定量は一般に以下で表されます。
不偏性があるということはCの期待値
Cの期待値
この条件が満たされれば、Cの期待値
不偏性の条件
Cの期待値が
最小二乗法の場合のウエートは以下で表されます。これが不偏性の条件を満たしているかどうかを一つ一つ見ていきます。
最小二乗法が不偏性の条件を満たすためには以下の条件が必要です。
について
について
「ウエート
について
「ウエート
以上で、最小二乗法が不偏性を持つことが証明されました。
最良線形不偏推定量
最後に、線形不偏推定量の中で、最も分散が小さいことを証明します。最小二乗法のウエート以外の一般的な線形推定量を表すために、最小二乗法のウエート
まず、この一般的な線形推定量が不偏性を持つための条件を導きだします。
一般的な推定量の不偏性の条件
この推定量を変形していきます。最後の式には、
不偏性の項で調べたように、最小二乗法のウエート
これを使うと上記式の第1項と第2項は以下のようになります。
これを反映すると以下の式になります。
期待値をとると、誤差項の平均はゼロなので、
そしてこれが不偏推定量になるためには、上の式が
線形不偏推定量の分散
線形不偏推定量の一般形について、以下の形から出発します。上記で考えたのは、線形推定量でしたが、今回は線形不偏推定量なので、
これを変形すると、以下の形になりました(上記不偏性の条件参照)。
不偏性の条件である、
この推定量の分散を求めます。最後の式の変形には
誤差項に
について
ウエート
について
この項は、不偏性の条件である