Nakładanie restrykcji na parametry modelu regresji

Prezentacja na temat: "Nakładanie restrykcji na parametry modelu regresji"— Zapis prezentacji:

1 Nakładanie restrykcji na parametry modelu regresji

2 Literatura Prezentacja przygotowana na podstawie B. Hansen (2019) Econometrics, rozdz. 8

3 Restrykcje liniowe W modelu projekcji liniowej:
można nałożyć liniowe restrykcje postaci: gdzie ma wymiary , oraz ma wymiary tzn. wszystkie ograniczenia są liniowo niezależne i nie ma zbędnych lub sprzecznych restrykcji

4 Restrykcje liniowe Przestrzeń parametrów: Przykładowa restrykcja:
czyli: oraz

5 Metoda najmniejszych kwadratów z restrykcjami
Estymator (constrained least squares) spełnia: Można wyprowadzić wzór stosując f. Lagrange’a:

6 Metoda najmniejszych kwadratów z restrykcjami
Pierwsze pochodne cząstkowe = 0: Po przemnożeniu przez mamy: gdzie Po podstawieniu z drugiego warunku mamy:

7 Metoda najmniejszych kwadratów z restrykcjami
Ważne jest, że oraz implikują Podstawiając jeszcze raz do pierwszego warunku otrzymujemy: co można też zapisać:

8 Metoda najmniejszych kwadratów z restrykcjami
Reszty z regresji: Jeżeli restrykcje zerowe (wykluczające wybrane zmienne): w to można szacować pozostałe parametry MNK: Estymator MNK po wykluczeniu zmiennych jest identyczny jak MNK z restrykcjami.

9 Własności modeli regresji z restrykcjami liniowymi
Rozważmy model regresji Można zapisać estymator i reszty jako funkcje składnika losowego:

10 Własności modeli regresji z restrykcjami liniowymi
Estymator MNK z restrykcjami nieobciążony: Wariancja estymatora w modelu homoskedastycznym:

11 Własności modeli regresji z restrykcjami liniowymi
Nieobciążony estymator tej wariancji można otrzymać wykorzystując: Wtedy średni błąd szacunku j-tego parametru:

12 Własności modeli regresji z restrykcjami liniowymi
Przyjmijmy model: Wtedy:

13 Własności modeli regresji z restrykcjami liniowymi
Zauważmy, że oraz nieskorelowane (czyli niezależne): Dodatkowo oraz to jest równanie Hausmanna różnica wariancji jest półdodatnio określona:

14 Estymator najmniejszej odległości
Zdefiniujmy: Macierz wag ma wymiary Minimum distance estimator : Estymator MNK z restrykcjami jest szczególnym przypadkiem, kiedy Wtedy

15 Estymator najmniejszej odległości
Wyprowadzamy stosując funkcję Lagrange’a: …i przyrównując pochodne do zera otrzymamy:

16 Asymptotyczne własności estymatora najmniejszej odległości
Założenia: Wtedy estymator zgodny:

17 Asymptotyczne własności estymatora najmniejszej odległości
Rozkład asymptotyczny estymatora

18 Asymptotyczne własności estymatora najmniejszej odległości
I szczególny przypadek: MNK z restrykcjami

19 Wariancja estymatorów z restrykcjami
Model heteroskedastyczny, reszty: Wariancja może być oszacowana: Wtedy estymator wariancji ma postać: …a estymator wariancji estymatora CLS:

20 Wariancja estymatorów z restrykcjami
Można też policzyć średni błąd szacunku dla liniowej kombinacji (niezależnej od liniowych ograniczeń):

21 Efektywny estymator najmniejszej odległości
Jeśli wstawimy To estymator efficient minimum distance estimator

22 Wariancja efektywnego estymatora najmniejszej odległości
Wariancja estymatora CLS jest zwykle większa niż estymatora EMD, dlatego estymator MD efektywniejszy niż MNK, gdy restrykcje są prawdziwe.

23 Wariancja efektywnego estymatora najmniejszej odległości
Reszty dla estymatora EMD: Estymator wariancji gdzie Estymator wariancji estymatora EMD: …a błąd szacunku :

24 Wariancja efektywnego estymatora najmniejszej odległości
Po wyskalowaniu estymatorów mamy: oraz: równanie Hausmanna różnica asymptotycznych wariancji efektywnego i nieefektywnego estymatora