Test Clarka–Westa dla zagnieżdżonych prognoz: wzór, przykład i ograniczenia

Załóżmy, że model ograniczony prognozuje stopę zwrotu w kolejnym miesiącu za pomocą stałej, a większy model dodaje wskaźnik wyceny. Model ograniczony jest zagnieżdżony w większym: ustawienie dodatkowego współczynnika na zero daje model odniesienia. Nawet jeśli ten współczynnik rzeczywiście wynosi zero, jego estymacja może dodać szum próby do prognoz większego modelu. W rezultacie zaobserwowany średni kwadratowy błąd prognozy (MSPE) może być większy, mimo że populacyjna zawartość predykcyjna obu modeli jest taka sama.

Korekta Clarka–Westa dotyczy tego problemu szumu estymacji w porównaniu błędów kwadratowych zagnieżdżonych prognoz poza próbą. W tej konfiguracji sprawdza, czy większy model wnosi dodatkową wartość predykcyjną względem modelu ograniczonego. To węższe pytanie niż ogólne porównanie w przewodniku Diebolda–Mariano, który zestawia sparowane straty prognoz i nie jest automatycznie poprawny przy standardowym rozkładzie odniesienia dla modeli zagnieżdżonych. Clark i McCracken analizują odmienne zachowanie asymptotyczne i w małych próbach testów dokładności oraz encompassing dla zagnieżdżonych prognoz; Clark i West opracowują skorygowaną procedurę MSPE i przybliżone wnioskowanie. Clark i McCracken (2001)00071-9); Clark i West (2007).

Niech ograniczony model odniesienia prognozuje ten sam cel (y_{t+h}) co większy wariant. Większy model musi zawierać specyfikację modelu odniesienia jako przypadek szczególny, zwykle po ustawieniu jednego lub kilku dodatkowych współczynników na zero. Sama większa złożoność, większa liczba zmiennych lub lepsze dopasowanie w próbie nie dowodzą zagnieżdżenia.

Dla każdego punktu początkowego prognozy utwórz obie prognozy, korzystając wyłącznie z informacji dostępnych w tym momencie. Estymuj modele na chronologicznym oknie treningowym, twórz prognozy dla późniejszego okna ewaluacyjnego i używaj tego samego celu, horyzontu, jednostek, punktów początkowych i zrealizowanych obserwacji. Ponowna estymacja rekurencyjna lub krocząca może być właściwa, ale opisz zastosowaną metodę i zachowaj prognozy rzeczywiście utworzone w każdym punkcie. Wielokrotne sprawdzanie okna ewaluacyjnego przy wyborze predyktorów, transformacji lub horyzontów włącza je do selekcji modelu zamiast pozostawić jako nietknięte dowody. Przewodnik CAViaR pokazuje, dlaczego prognozę kwantyla ogonowego również należy oceniać za pomocą straty dostosowanej do jej celu, a nie włączać do porównania prognoz średniej.

Korekta Clarka–Westa dotyczy szumu estymacji parametrów pod hipotezą zerową modelu zagnieżdżonego; nie naprawia look-ahead, niedopasowanych prób, zrewidowanych danych traktowanych tak, jakby były wcześniej znane, ani nieujawnionego przeszukiwania modeli. Podaj początkowe okno estymacji, liczbę punktów prognozowania, horyzont, wersję danych oraz aktualizacje kroczące lub rekurencyjne, aby czytelnik mógł ocenić, co rzeczywiście było poza próbą.

Oznaczmy przez f₀,t+h prognozę ograniczoną, przez f₁,t+h prognozę większego modelu, a przez eⱼ,t+h = yₜ₊ₕ − fⱼ,t+h błąd prognozy j. Dla straty opartej na błędzie kwadratowym skorygowana różnica Clarka–Westa w danym okresie wynosi

dCW,t+h = (e₀,t+h)² − [(e₁,t+h)² − (f₀,t+h − f₁,t+h)²]

Równoważnie: kwadrat błędu modelu ograniczonego minus kwadrat błędu większego modelu plus kwadrat odległości między prognozami. Ostatni składnik szacuje dodatkowy szum prognozy związany z dodatkowymi estymowanymi parametrami pod hipotezą zerową. Clark i West opisują korektę jako obniżenie próbnego MSPE większego modelu o ten składnik różnicy prognoz przed porównaniem go z modelem ograniczonym. Clark i West (2007).

Uśrednij skorygowane różnice dla wspólnych punktów ewaluacji: mean(dCW) = (1/P) Σ dCW,t+h. Jeśli wyniki i prognozy są mierzone w punktach bazowych, każdy błąd kwadratowy i skorygowana różnica mają jednostkę punktów bazowych do kwadratu. Dodatnia średnia skorygowana przemawia za większym modelem przy powyższej konwencji. To skorygowana miara porównawcza, a nie zrealizowany MSPE większego modelu ani prognoza do wykorzystania w handlu.

Typowe pytanie testu Clarka–Westa brzmi, czy większy model zagnieżdżony ma niższy oczekiwany MSPE niż model ograniczony. Hipoteza zerowa oznacza brak przyrostowej poprawy predykcyjnej dzięki dodatkowemu składnikowi modelu; jednostronna hipoteza alternatywna przemawia za większym modelem. Przy podanym wzorze dowodem na rzecz alternatywy jest dostatecznie dodatnia średnia skorygowana w relacji do jej błędu standardowego.

W notacji skorygowanej straty hipotezy robocze to H₀: E[dCW] = 0 wobec H₁: E[dCW] > 0. Dodatni kierunek wynika z umieszczenia straty modelu ograniczonego jako pierwszej. Odwrócenie odejmowania odwraca także znak, dlatego podaj konwencję razem z wynikiem.

Statystykę testową często zapisuje się jako średnią z próby dCW podzieloną przez jej oszacowany błąd standardowy. Clark i West zalecają w badanych przez siebie konfiguracjach przybliżony normalny test jednostronny z błędem standardowym zwykłym lub odpornym na autokorelację, zależnie od sytuacji. West (1996) rozwija wnioskowanie o momentach gładkich funkcji prognoz i błędów poza próbą, również wtedy, gdy prognozy zależą od estymowanych parametrów. Kierunek testu trzeba wybrać przed obejrzeniem wyników: dodatnia statystyka Clarka–Westa nie uzasadnia późniejszej zmiany na hipotezę dwustronną ani inną konwencję znaku.

Podana wartość p jest warunkowa względem zagnieżdżenia, konstrukcji prognoz, celu, straty, metody wnioskowania i założeń dotyczących próby. Nie jest prawdopodobieństwem, że większy model jest prawdziwy, ani dowodem, że dodatkowy predyktor powoduje zmianę celu.

Rozważ cztery hipotetyczne obserwacje w punktach bazowych. Wartości rzeczywiste to [0, 1, −1, 0], prognozy ograniczone [−1, 0, 0, 0], a prognozy większego zagnieżdżonego modelu [−1.5, 0.5, −0.5, 0.5]. Kwadraty błędów modelu ograniczonego wynoszą [1, 1, 1, 0], a średni MSPE to 0.75 bp². Kwadraty błędów większego modelu to [2.25, 0.25, 0.25, 0.25], również ze średnim MSPE 0.75 bp².

Kwadraty różnic między prognozami (f₀ − f₁)² wynoszą [0.25, 0.25, 0.25, 0.25]. Po zastosowaniu skorygowanej różnicy e₀² − e₁² + (f₀ − f₁)² otrzymujemy [−1, 1, 1, 0] bp². Średnia z próby wynosi 0.25 bp². Surowe MSPE są równe, natomiast średnia skorygowana jest dodatnia, ponieważ korekta uwzględnia szum estymacji prognoz większego modelu.

Te cztery okresy ilustrują wyłącznie rachunek. Jest ich zdecydowanie za mało, by wiarygodnie oszacować niepewność lub ustalić istotność statystyczną. Dodatnia średnia skorygowana sama w sobie nie dowodzi rzeczywistej przewagi prognostycznej; wartości są hipotetyczne, a nie zaobserwowane na rynku. <!-- learn:illustration -->

Nawet w prognozach jednokrokowych skorygowane różnice strat mogą być zależne szeregowo, ponieważ cel, predyktory lub okno estymacji zmieniają się w czasie. Przy nakładających się prognozach wielokrokowych sąsiednie punkty początkowe obejmują wspólne zrealizowane okresy celu, więc ich skorygowane różnice mogą być skorelowane z samej konstrukcji. Zwykły błąd standardowy zakładający niezależność każdego punktu może zaniżać niepewność.

Oszacuj błąd standardowy z szeregu skorygowanych różnic za pomocą metody wnioskowania odzwierciedlającej schemat próbkowania, na przykład estymatora wariancji długookresowej odpornego na heteroskedastyczność i autokorelację, jeśli spełnione są jego warunki. Clark i West wyraźnie wskazują błędy odporne na autokorelację przy autokorelacyjnych błędach prognoz. Podaj horyzont, estymator kowariancji, kernel i bandwidth, jeśli są używane, oraz metodę resamplingu lub wyznaczania wartości krytycznych. Przewodnik po bootstrapie blokowym wyjaśnia, dlaczego resampling zależnych obserwacji szeregu czasowego musi zachowywać ich kolejność; ogólny bootstrap nie implementuje automatycznie hipotezy zerowej Clarka–Westa.

Wymagane podejście do zależności zależy od schematu. Dłuższe horyzonty, trwałe cele, wielokrotna estymacja parametrów i zmiany zmienności mogą tworzyć zależności wykraczające poza proste nakładanie się okresów. Porównuj uzasadnione ustawienia wnioskowania i objaśniaj je, zamiast wybierać to, które daje najmniejszą wartość p.

Testy prognoz dla modeli zagnieżdżonych mogą mieć niestandardowe rozkłady pod hipotezą zerową, zwłaszcza gdy rosną jednocześnie próby estymacyjna i ewaluacyjna. Analiza Clarka i McCrackena pokazuje, że testy równej dokładności i encompassing dla zagnieżdżonych prognoz mają inne zachowanie asymptotyczne i w małych próbach niż znane porównanie modeli niezagnieżdżonych. Clark i West uzasadniają skorygowaną statystykę z użytecznym przybliżeniem normalnym w badanych schematach, ale nie jest to uniwersalna gwarancja dla prób skończonych. Clark i McCracken (2001)00071-9); Clark i West (2007).

Małe próby ewaluacyjne, wiele dodatkowych parametrów, źle określone modele odniesienia, wybór predyktorów na podstawie danych oraz decyzja między estymacją kroczącą i rekurencyjną mogą wpływać na rozmiar i moc testu. Jeśli próba lub schemat istotnie odbiegają od warunków analizowanych w artykułach, rozważ wartości krytyczne dostosowane do schematu albo starannie określoną procedurę symulacyjną/bootstrapową. Podaj wielkości prób estymacyjnej i ewaluacyjnej oraz wyjaśnij, który rozkład odniesienia posłużył do obliczenia wartości p.

Test Diebolda–Mariano pyta, czy dwa szeregi strat prognoz mają tę samą oczekiwaną stratę w ogólnym schemacie sparowanych strat. Korekta Clarka–Westa jest przeznaczona do porównań błędów kwadratowych, gdy jeden model jest zagnieżdżony w drugim, a dodatkowe estymowane parametry zniekształcają surową różnicę MSPE pod hipotezą zerową. Stosowanie tej korekty do niezwiązanych, niezagnieżdżonych modeli zmienia pytanie bez uzasadnienia. Oryginalny artykuł DM dopuszcza szeroki zakres miar strat i omawia błędy prognoz, które nie muszą być normalne ani niezależne; to pokrewna pozycja w literaturze, a nie synonim procedury dla modeli zagnieżdżonych. Diebold i Mariano (1995).

Żadna z tych metod nie rozwiązuje problemu stopni swobody badacza wynikającego z testowania wielu celów, horyzontów, modeli odniesienia i zestawów predyktorów. Jeśli końcowe porównanie pochodzi z szerokiego przeszukiwania, zachowaj rejestr rodziny kandydatów i zastosuj metodę przeznaczoną do pytania na poziomie całego przeszukiwania. Przewodnik po White’s Reality Check i Hansen’s SPA omawia wnioskowanie dla całej rodziny przeszukiwanych reguł transakcyjnych; sam test Clarka–Westa nie zmienia wybranego porównania prognoz w test potwierdzający.

Istotny wynik jednostronny jest dowodem — przy podanych założeniach — że większy model poprawia oczekiwaną dokładność prognozowaną błędem kwadratowym dla badanego celu i schematu ewaluacji. Nie pokazuje, że dodatkowy predyktor ma charakter przyczynowy, sygnał pozostanie stabilny ani że strategia wykorzystująca prognozę przyniesie dodatnie stopy zwrotu. Poprawa prognoz może być zbyt mała, by miała znaczenie dla decyzji, a największe korzyści modelu mogą przypadać na okresy, w których handel jest kosztowny.

Rentowność wymaga odrębnej reguły, nietkniętych danych ewaluacyjnych oraz realistycznego uwzględnienia spreadów, opłat, poślizgu, wpływu na rynek, finansowania, pożyczania i limitów ryzyka. Wnioski przyczynowe wymagają strategii identyfikacji dopasowanej do pytania; porównanie prognoz po zakończeniu próby nie jest schematem przyczynowym. Określ, co wynik Clarka–Westa rzeczywiście potwierdza, a pozostałe twierdzenia oprzyj na dowodach, które je testują.

Podaj model ograniczony i większy, wskaż dokładne restrykcje, które tworzą zagnieżdżenie, oraz zdefiniuj cel, horyzont, jednostki błędu kwadratowego, okno estymacji, harmonogram początków prognoz, daty ewaluacji i regułę wspólnej próby. Wyjaśnij, czy współczynniki są ponownie estymowane rekurencyjnie czy w oknie kroczącym oraz jak zachowywane są zbiór informacji i wersje danych.

Podaj oba surowe MSPE, średnią skorygowanej różnicy Clarka–Westa, konwencję znaku, błąd standardowy, alternatywę jednostronną, rozkład odniesienia lub wartości krytyczne, wartość p i estymator zależności. Ujawnij również liczbę dodatkowych parametrów, wielkości prób, przeszukiwanie predyktorów i horyzontów, wybór modelu odniesienia oraz to, czy okno ewaluacyjne wpłynęło na projekt modelu. Taki opis pozwala odróżnić skorygowany test modeli zagnieżdżonych od ogólnego porównania prognoz i ocenić pozostałą niepewność.