Test encompassing prognoz: czy jedna prognoza zawiera informacje drugiej?

Załóżmy, że A i B prognozują ten sam cel. Test pyta, czy B pomaga wyjaśnić wynik po uwzględnieniu informacji z prognozy A. Przy określonej z góry kombinacji liniowej hipoteza zerowa, że A obejmuje B, oznacza, iż B nie dostarcza dodatkowej informacji prognostycznej. Odrzucenie hipotezy zerowej może wskazywać, że w danej specyfikacji B wnosi dodatkową informację.

To inne pytanie niż: „Która prognoza ma w tej próbie niższy RMSE?”. RMSE osobno podsumowuje wielkość błędów każdej prognozy. Encompassing bada, czy jedna prognoza lub jej błąd zawiera dodatkową informację po uwzględnieniu drugiej. B może mieć niższy RMSE, ale nie wnosić nic poza A; może też mieć wyższy RMSE, a mimo to zawierać dodatkową informację w określonym kierunku.

Chong i Hendry omawiają perspektywę encompassing w ocenie liniowych modeli makroekonomicznych. Wniosek ogranicza się do wskazanego celu, horyzontu, zbioru informacji i specyfikacji — nie dowodzi, że A jest poprawna w każdym znaczeniu (Chong i Hendry, 1986). {source:chongHendry1986ForecastEncompassing}

RMSE jest pierwiastkiem kwadratowym średniego błędu kwadratowego (MSE) prognozy. Najniższy RMSE oznacza mniejszy średni błąd kwadratowy dla danego celu, okresu, próby i miary. Test encompassing dotyczy relacji między prognozami. Nawet przy dopasowaniu tych samych dat wyniki nie muszą być zgodne.

Kilka dużych błędów B może podwyższyć RMSE, mimo że kierunek różnicy B i A nadal zawiera informację związaną z błędem A. Z kolei niższy RMSE dla B nie dowodzi, że B wnosi informację poza A. Tabelę dokładności pojedynczych prognoz przedstaw osobno od wyników kombinacji i encompassing.

Rozdziel także pytania stawiane przez powiązane testy. Test Diebolda–Mariano porównuje średnią stratę określoną funkcją straty. Test Clarka–Westa koryguje porównanie MSPE poza próbą dla modeli zagnieżdżonych. Przewodnik po łączeniu prognoz omawia uśrednianie i dobór wag. Test kalibracji Mincera–Zarnowitza ocenia kalibrację wyrazu wolnego i nachylenia. Ich pytania i hipotezy zerowe są różne.

Przy hipotezie zerowej korelacja błędów prognoz i struktura błędów estymacji mogą się różnić między konkurencyjnymi prognozami niezagnieżdżonymi a sytuacją, w której większy model zawiera model ograniczony. Statystyka OLS lub rozkład odniesienia właściwe w jednym przypadku nie muszą pasować do drugiego.

Harvey, Leybourne i Newbold wskazują, że rozkład zerowy naturalnego testu OLS encompassing nie jest odporny na nienormalność błędów prognoz i omawiają alternatywy. Samo uruchomienie OLS nie uzasadnia ogólnej wartości p. Opisz procedurę testową, wielkość próby, rozkład i zależność błędów oraz sposób generowania prognoz (Harvey, Leybourne i Newbold, 1998). {source:harveyLeybourneNewbold1998ForecastEncompassing}

Clark i McCracken analizują niestandardowe własności asymptotyczne i w próbie skończonej testów równej dokładności oraz encompassing w badanym przez nich jednoczłonowym projekcie prognoz poza próbą z zagnieżdżonych modeli liniowych. Wynik nie obejmuje automatycznie każdego projektu zagnieżdżonego ani porównania niezagnieżdżonego. Wyników tych nie należy traktować jako automatycznego rozkładu odniesienia dla modeli niezagnieżdżonych ani bezrefleksyjnie przenosić w drugą stronę (Clark i McCracken, 200100071-9)). {source:clarkMcCrackenNestedForecasts2001}

Jeśli prognoza zależy od oszacowanych współczynników regresji, niepewność estymacji wpływa na porównanie. West analizuje testy encompassing dla prognoz zależnych od oszacowanych parametrów regresji. Zachowaj dla każdego momentu prognozowania procedurę estymacji i okno treningowe, a nie tylko końcowy szereg prognoz (West, 2001). {source:west2001EstimatedForecastsEncompassing}

Niech \(y_t\) będzie celem, a \(f_{A,t}\) i \(f_{B,t}\) prognozami dla tego samego okresu i przy tym samym cutoffie informacji. Zdefiniujmy błąd prognozy bazowej i różnicę między prognozami:

\[ e_{A,t}=y_t-f_{A,t}, \qquad d_t=f_{B,t}-f_{A,t} \]

Prosta kombinacja ma postać \(f_{C,t}=f_{A,t}+w d_t\). Przy \(w=0\) używamy wyłącznie A, a przy \(w=1\) otrzymujemy B. Wartość pośrednia miesza obie prognozy. Waga spoza przedziału od 0 do 1 oznacza ekstrapolację poza jedną z prognoz.

Intuicyjnie nachylenie regresji \(e_A\) względem \(d\) pokazuje, czy różnica między B i A jest liniowo związana z błędem A. Nachylenie różne od zera może wskazywać na dodatkową informację przy danej procedurze i założeniach. To jednak intuicja, a nie uniwersalna statystyka lub wartość krytyczna wspólna dla każdej implementacji.

W regresji z wyrazem wolnym, \(e_{A,t}=a+w d_t+u_t\), \(a\) wiąże się z korektą średniego błędu, a \(w\) jest nachyleniem względem różnicy prognoz. Jeśli wyraz wolny ma także korygować prognozę łączną, otrzymujemy \(f_A+a+w d\). Specyfikacja bez wyrazu wolnego może dać inną estymację. Sprawdź równanie regresji w danym badaniu lub implementacji.

W populacji nachylenie regresji z wyrazem wolnym wynosi \(\beta=\operatorname{Cov}(e_A,d)/\operatorname{Var}(d)\). Gdy \(\operatorname{Var}(d)>0\), \(\beta=0\) oznacza brak liniowej kowariancji po skorygowaniu średniego błędu wyrazem wolnym; nie oznacza niezależności ani niezależności warunkowej \(e_A\) i \(d\). Regresja bez wyrazu wolnego narzuca surowy warunek momentowy \(E[e_A d]=0\). Jest on równoważny zerowej kowariancji tylko wtedy, gdy \(E[e_A]=0\) lub \(E[d]=0\), ponieważ \(\operatorname{Cov}(e_A,d)=E[e_A d]-E[e_A]E[d]\). Pominięcie wyrazu wolnego narzuca więc także \(\alpha=0\), czyli brak korekty średniego obciążenia

<!-- learn:illustration -->

Poniższe wartości są hipotetyczne i wyrażone w punktach bazowych (bp). Przyjmij \(d=f_B-f_A\), \(e_A=y-f_A\) i sześć momentów prognozowania.

OLS z wyrazem wolnym daje średni błąd \(\bar e_A=1/3\) bp. Suma iloczynów ze scentrowaną różnicą wynosi \(\sum d_t(e_{A,t}-\bar e_A)=16,4\), a \(\sum d_t^2=42\). Nachylenie to zatem \(16,4/42\approx0,3905\). W tym przykładzie korekta liniowa dodająca około 39% różnicy prognozy B względem A jest związana ze strukturą błędów A.

Jeśli wyraz wolny jest częścią prognozy łącznej, oszacowana korekta wynosi \(1/3+0,3905d_t\). Nie należy zakładać, że taka sama będzie waga z kombinacji bez wyrazu wolnego. Sześć obserwacji ilustruje jedynie rachunek współczynnika; nie wystarcza do podania wartości p, stwierdzenia istotności, przewagi poza próbą ani uogólnienia.

Encompassing bezwarunkowe i warunkowe odpowiadają na różne pytania. Określ, czy zbiór informacji obejmuje tylko dwie prognozy, czy także zmienne stanu, takie jak koniunktura lub zmienność. Sprawdź, czy każda zmienna była dostępna w danym momencie prognozowania. Dodanie informacji poznanej później zmienia pytanie o prognozę w czasie rzeczywistym.

Zdecyduj, czy waga kombinacji jest swobodna, czy ograniczona, na przykład do \(0\leq w\leq1\). Nieograniczony OLS może dać wagę spoza tego przedziału. To nie błąd rachunkowy: specyfikacja dopuszcza ekstrapolację, a nie tylko średnią dwóch prognoz. Kombinacje z ograniczeniami i bez nich są odrębnymi problemami estymacji.

Z góry ustal także, czy korygujesz obciążenie wyrazem wolnym i czy centrujesz zmienne. Zmienianie wyrazu wolnego, ograniczeń lub zmiennych warunkujących po obejrzeniu wyników łączy wybór specyfikacji z wnioskowaniem. Raportuj razem hipotezę zerową, równanie kombinacji, użyte informacje, próbę estymacyjną i procedurę wnioskowania.

Sprawdź, czy \(y_t\), \(f_A\) i \(f_B\) w każdym wierszu dotyczą tego samego celu, horyzontu, jednostki, momentu prognozowania i cutoffu informacji. Prognoza miesięcznej stopy zwrotu nie musi być porównywalna z prognozą skumulowanej stopy do końca kolejnego miesiąca. Zapisuj także opóźnienia publikacji i rewizje celu.

Każda prognoza powinna korzystać wyłącznie z danych dostępnych w danym momencie. Archiwizuj okno treningowe, wersję modelu, harmonogram ponownej estymacji, transformacje i wybór hiperparametrów. Jeśli prognoza zależy od oszacowanych parametrów, sprawdź, czy próba estymacyjna nie obejmuje okresu oceny ani przyszłych informacji. Dopasowania w próbie nie zastępują zapisanych w czasie rzeczywistym prognoz poza próbą.

Oddziel wybór wag i modeli od końcowej oceny. W momencie \(t\) użyj tylko wyników znanych przed \(t\), a następnie oceniaj A i B dla tego samego przyszłego celu. Nakładające się prognozy wielookresowe mogą powodować zależność błędów lub strat. Zastosuj wnioskowanie dopasowane do projektu zamiast traktować każdy wiersz jako niezależny.

Jeśli szeregi błędów regresji wykazują heteroskedastyczność i autokorelację, można rozważyć estymator macierzy kowariancji HAC dopasowany do projektu i horyzontu. Newey i West (1987) przedstawiają dodatnio półokreślony estymator macierzy kowariancji zgodny przy heteroskedastyczności i autokorelacji (Newey–West, 1987). {source:neweyWest1987} Podaj zastosowany estymator i regułę wyboru opóźnień. Błąd standardowy HAC sam nie rozwiązuje problemów rozkładu zerowego wynikających z nienormalności ani modeli zagnieżdżonych.

Nieodrzucenie hipotezy zerowej nie dowodzi, że prognozy są równoważne ani że A jest lepsza. Oznacza jedynie, że wybrany test nie wykrył wyraźnie dodatkowej informacji. Niska moc, krótka próba, silnie skorelowane błędy prognoz lub nietrafna specyfikacja mogą ukryć informację. Twierdzenie o równoważności wymaga projektu i marginesu właściwych dla testu równoważności.

Odrzucenie hipotezy zerowej także nie dowodzi, że B przynosi zysk lub pokonuje koszty transakcyjne. Informacja prognostyczna to nie to samo co wynik strategii po uwzględnieniu reguł decyzyjnych, cen realizacji, spreadu, prowizji, wpływu rynkowego, finansowania i limitów ryzyka. Przydatność dla strategii trzeba ocenić osobno.

Aby umożliwić replikację, raportuj cel i czas prognozy, sposób generowania obu prognoz, cutoff informacji, wyraz wolny i ograniczenia, zmienne warunkujące, okres próby, obsługę braków, hipotezę zerową, statystykę testową i metodę szacowania błędu standardowego. Podaj, czy modele są zagnieżdżone i jaką rolę mają szacowane parametry. RMSE przedstaw jako osobne pytanie.

• Chong i Hendry, “Econometric Evaluation of Linear Macro-Economic Models” (1986), *Review of Economic Studies*, 53(4), 671–690
• Harvey, Leybourne i Newbold, “Tests for Forecast Encompassing” (1998), *Journal of Business & Economic Statistics*, 16(2), 254–259
• Clark i McCracken, “Tests of Equal Forecast Accuracy and Encompassing for Nested Models” (2001), *Journal of Econometrics*, 105(1), 85–11000071-9)
• West, “Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters” (2001), *Journal of Business & Economic Statistics*, 19(1), 29–33
• Newey i West, “A Simple, Positive Semi-definite, Heteroskedasticity and Autocorrelation Consistent Covariance Matrix” (1987), *Econometrica*, 55(3), 703–708